脚本宝典收集整理的这篇文章主要介绍了python3.6+scrapy+mysql 爬虫实战,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
最近闲着,把之前写的小爬虫分享一下,才疏学浅,仅当参考。
[介绍文档]
python版本:python3.6
scrapy: 1.5.0
需要安装pyMySQL包支持访问mySQL数据库
可以使用pip安装: pip install pymysql
重要提示
*或者按照下述方法执行一键安装依赖:pip install -r requirements.txt
*重要事情说三遍:请确保你安装了mysql数据库! 请确保你安装了mysql数据库! 请确保你安装了mysql数据库!
*所有平台的Mysql下载地址为: https://dev.mysql.COM/downloads/挑选你需要的 MySQL CommUnity Server 版本及对应的平台。
爬虫工作配置
git clone git@github.com:caffreycc/jb51.com_crawler.git
或者直接到https://github.com/caffreycc/jb51.com_crawler.git 下载@R_304_1249@
* 第二步:安装依赖:
pip install -r requirements.txt
- 第三步:修改配置config.py:
Config.py 为项目配置文件
host = '127.0.0.1' #改成你的数据库地址,如果需要保存在线服务器请填写数据库IP
dbname = 'your database naem' # 数据库名字,请修改
user = 'your databse user' # 数据库账号,请修改
psw = 'your password' # 数据库密码,请修改
port = 3306 # 数据库端口,在dbhelPEr中使用,一般无需修改
- 第四步:运行小爬虫
命令行cd到你的项目文件夹,运行以下命令:
或者直接在你的爬虫文件夹内shift + 右键 打开命令提示符或者powershell,运行以下命令
scrapy crawl Common_crawler
爬取的内容会自动保存到 config.py 中配置的mysql数据库中
问题反馈
有任何关于项目的问题欢迎提issues
贡献代码
本项目基于PythonCrawler-scrapy-Mysql-File-template开发,感谢作者@lawlite19(https://github.com/lawlite19)的开源分享精神。
以上是脚本宝典为你收集整理的python3.6+scrapy+mysql 爬虫实战全部内容,希望文章能够帮你解决python3.6+scrapy+mysql 爬虫实战所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。