Go语言通过http抓取网页的方法

发布时间:2022-04-19 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Go语言通过http抓取网页的方法脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

本文实例讲述了Go语言通过http抓取网页的方法。分享给大家供大家参考。具体实现方法如下:

复制代码 代码如下:

package main
import (
 "fmt"
 "LOG"
 "net/http"
 "net/url"
 "io/ioutil"
)
//指定代理ip
func getTransportFieldURL(Proxy_addr *string) (transport *http.Transport) {
 url_i := url.URL{}
 url_PRoxy, _ := url_i.Parse(*proxy_addr)
 transport = &http.Transport{Proxy : http.ProxyURL(url_proxy)}
 return
}
//从环境变量$http_proxy或$HTTP_PROXY中获取HTTP代理地址
func getTransportFromenvironment() (transport *http.Transport) {
 transport = &http.Transport{Proxy : http.ProxyFromEnvironment}
 return
}
func fetch(url , proxy_addr *string) (htML string) {
 transport := getTransportFieldURL(proxy_addr)
 client := &http.Client{Transport : transport}
 req, err := http.NewRequest("GET", *url, nil)
 if err != nil {
  log.Fatal(err.Error())
 }
 resp, err := client.Do(req)
 if err != nil {
  log.Fatal(err.Error())
 }
 if resp.statusCode == 200 {
  robots, err := ioutil.ReadAll(resp.Body);
  resp.Body.Close()
  if err != nil {
   log.Fatal(err.Error())
  }
  html = string(robots);
 } else {
  html = ""
 }
 return
}
func main() {
 proxy_addr := "http://183.221.250.137:80/"
 url := "http://www.baidu.COM/s?wd=ip"
 html := fetch(&url, &proxy_addr)
 fmt.Println(html)
}

希望本文所述对大家的Go语言程序设计有所帮助。

脚本宝典总结

以上是脚本宝典为你收集整理的Go语言通过http抓取网页的方法全部内容,希望文章能够帮你解决Go语言通过http抓取网页的方法所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。