Golang实现简单爬虫框架(1)——项目介绍与环境准备

发布时间:2019-08-06 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Golang实现简单爬虫框架(1)——项目介绍与环境准备脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

最近学习Go语言,看了慕课网Google工程师深度讲解go语言这门课,现在把课程中的爬虫项目整理出来,同时也作为自己学习的一个总结。本人菜鸟一枚,如有任何问题,欢迎大家指正。

一、环境准备

1、go语言安装

Go安装包下载网址:https://studygolang.com/dl

选择对应的版本下载即可

Golang实现简单爬虫框架(1)——项目介绍与环境准备


Windows用户推荐使用msi安装,简单方便,而且会自动配置好环境变量

打开Windows中的命令提示符(cmd.exe)执行命令:go version查看go语言版本

Golang实现简单爬虫框架(1)——项目介绍与环境准备

2、环境配置

然后我们需要设置Go语言工作空间gopath目录(Go语言开发的项目路径)

Windows 设置如下,新建一个环境变量名称叫做GOPATH,值为你的工作目录,例如GOPATH=D:Workspace

以上 %GOPATH% 目录约定有三个子目录:

src 存放代码(比如:.go .c .h .s等)

pkg 编译后生成的文件(比如:.a)

bin 编译后生成的可执行文件

bin和pkg目录可以不创建,go命令会自动创建(如 go install),只需要创建src目录即可。

3、Goland安装与破解

(1)安装

Goland官网:https://www.jetbrains.com/go/

选择对应版本下载安装即可

Golang实现简单爬虫框架(1)——项目介绍与环境准备

(2)破解

关于Goland的破解方式网上已经又很多文章,可以参考这篇:https://blog.csdn.net/dodod20...

二、项目介绍

本次爬虫爬取的是珍爱网的用户信息数据,爬取步骤为:

爬虫算法如下

Golang实现简单爬虫框架(1)——项目介绍与环境准备

在下篇博客中,会实现一个单机版的爬虫项目,敬请关注。

脚本宝典总结

以上是脚本宝典为你收集整理的Golang实现简单爬虫框架(1)——项目介绍与环境准备全部内容,希望文章能够帮你解决Golang实现简单爬虫框架(1)——项目介绍与环境准备所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。