脚本宝典收集整理的这篇文章主要介绍了

写 Python 爬虫的助手

脚本宝典小编觉得挺不错的,现在分享给大家,也给大家做个参考,希望能帮助你少写一行代码,多一份安全和惬意。

写爬虫变成了这样:

from gspider.base import BaseSpider
from gspider.fields import PQField


class PythonDocSpider(BaseSpider):
    title = PQField('h1')  # select `h1` element from the page, you can use other css selectors too
    content = PQField('p')
spider = PythonDocSpider(
    'https://docs.python.org/3/library/base64.html'
)

>>> print(spider.title)
>>> 19.6. base64 — Base16, Base32, Base64, Base85 Data Encodings ¶

安装:

git clone https://github.com/ericls/gspider
cd gspider
python setup.py install

或者直接 clone 进自己的脚本目录,再解决requestspyquery两个依赖

更多信息:

Project Name: Gspider. (Pretty random name, isn't it?)

GitHub Repo: __https://github.com/ericls/gspider__

原文:http://leeeric.com/post/a-python-web-crawler-helper/

总结

以上是脚本宝典为你收集整理的

写 Python 爬虫的助手

全部内容,希望文章能够帮你解决

写 Python 爬虫的助手

所遇到的程序开发问题,欢迎加入QQ群277859234一起讨论学习。如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典网站推荐给程序员好友。 本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。

80%的人都看过