目录
@H_
126_11@
@H_360_13@
背景
在使用Go语言做爬虫时,使用http.Get(url)
去获取网页内容,状态码返回404,Body体为空。
http.Get(url)
是不需要设置header属性的http请求,比较简单快捷,但状态码返回418,表明我们需要设置其header属性,那么我们可以使用http.NewRequest
,在设置其header属性即可~
代码部分
func main7() {
client := &http.Client{}
url := "https://movie.douban.COM/top250?start=0&filter="
reqest, err := http.NewRequest("GET", url, nil)
//设置header属性
reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Applewebkit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
if err!=nil {
fmt.Println(err)
return
}
response, _ := client.Do(reqest)
defer response.Body.Close()
buf := make([]byte,4096)
VAR result string
for {
n,err:=response.Body.Read(buf)
if n == 0 {
fmt.Println("读取网页完成")
break
}
if err!=nil && err!=io.EOF {
fmt.Println("resp body err",err)
return
}
result += string(buf[:n])
//打印读取的网页
fmt.Println(result)
}
}
到此这篇关于Go语言做爬虫状态码返回418的问题解决的文章就介绍到这了,更多相关Go语言爬虫返回418内容请搜索脚本宝典以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本宝典!
脚本宝典总结
以上是脚本宝典为你收集整理的Go语言做爬虫状态码返回418的问题解决全部内容,希望文章能够帮你解决Go语言做爬虫状态码返回418的问题解决所遇到的问题。
如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。