python制作一个简单网络爬虫

发布时间:2019-06-21 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了python制作一个简单网络爬虫脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

这章我们用python标准库urllib2来实现简单的网络爬虫(本章很简单适合小白,不喜勿喷)
一、urllib2定义了以下方法:
urllib2.urloPEn( URL, Data, timeout )
Data参数:POST数据提交(例如:账号密码发送给服务器判断登陆)
url参数:网页URL,@R_126_2575@request对象。
返回一个类似于open文件对象 从中读取网页数据
urllib2.Request( URL, Data=None, headers={} )
注意R大写
Data为None时,发送的是GET请求,反之POST
二、urllib2小案例
python制作一个简单网络爬虫

import urllib
import urllib2
import re

if __name__ == '__main__':
  url = "https://www.python.org/downloads/"
  # GET请求官网下载地址    返回 对象.read()取出网页数据
  res = urllib.urlopen(url).read()
  # 编译为Pattern模式 匹配 取出列表中第一个数据
  r = re.compile(r"Download the latest version for Windows[sS]+?</a>[
  sS]+?</a>").findall(res)[0]
  # 进行数据清洗
  li = re.compile(r'a class="button" href="(.*?)">(.*?)<').findall(r)
  # 进行输出
  py3x = li[0]
  py2x = li[1]
  PRint py3x[1]+":"+py3x[0]+"n"+py2x[1]+":"+py2x[0]

获得以下数据:
Download Python 3.6.0:https://www.python.org/ftp/py...
Download Python 2.7.13:https://www.python.org/ftp/py...
以上就是一个简单的网络爬虫,希望对你有所帮助。

脚本宝典总结

以上是脚本宝典为你收集整理的python制作一个简单网络爬虫全部内容,希望文章能够帮你解决python制作一个简单网络爬虫所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。