Python爬虫实战(3):安居客房产经纪人信息采集

发布时间:2019-08-05 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Python爬虫实战(3):安居客房产经纪人信息采集脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

图片描述

1, 引言

Python开网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫。为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示:
图片描述
本实战是上图中的“独立python爬虫”的一个实例,以采集安居客房产经纪人(http://shenzhen.anjuke.com/tycoon/nanshan/p1/ )信息为例,记录整个采集流程,包括python依赖库的安装,即便是python初学者,也可以跟着文章内容成功地完成运行。

2,Python和相关依赖库的安装

  • 运行环境:Windows10

2.1,安装Python3.5.2

2.2,lxml 3.6.0

2.3,下载网页内容提取器程序

网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类,使用这个类,可以大大减少信息采集规则的调试时间,具体参看《Python即时网络爬虫项目: 内容提取器的定义》

3,网络爬虫的源代码

# _*_coding:utf8_*_
# anjuke.py
# 爬取安居客房产经纪人

From urllib import request
from lxml import etree
from gooseeker import GsExtractor

class Spider:
    def getContent@H_796_126@(self, url):
        conn = request.urloPEn(url)
        output = etree.HTML(conn.read())
        return output

    def saveContent(self, filepath, content):
        file_obj = open(filepath, 'w', encoding='UTF-8')
        file_obj.wrITe(content)
        file_obj.close()

BBSExtra = GsExtractor() 
# 下面这句调用gooseeker的api来设置xslt抓取规则
# 第一个参数是app key,请到GooSeeker会员中心申请
# 第二个参数是规则名,是通过GooSeeker的图形化工具: 谋数台MS 来生成的
bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "安居客房产经纪人")  

url = "http://shenzhen.anjuke.COM/tycoon/nanshan/p"
totalpages = 50
anjukeSpider = Spider()
PRint("爬取开始")

for pagenumber in range(1 , totalpages):
    currenturl = url + str(pagenumber)
    print("正在爬取", currenturl)
    content = anjukeSpider.getContent(currenturl)
    outputxml = bbsExtra.extract(content)
    outputfile = "result" + str(pagenumber) +".xml"
    anjukeSpider.saveContent(outputfile , str(outputxml))

print("爬取结束")
@H_360_173@

运行过程如下:

  1. 将上面的代码保存到anjuke.py中,和前面2.3步下载的提取器类gooseeker.py放在同一个文件夹中

  2. 打开Windows CMD窗口,切换当前目录到存放anjuke.py的路径(cd xxxxxxx)

  3. 运行 python anjuke.py

请注意:为了让源代码更整洁,也为了让爬虫程序更有通用性,抓取规则是通过api注入到内容提取器bbsExtra中的,这样还有另外一个好处:如果目标网页结构变化了,只需通过MS谋数台重新编辑抓取规则,而本例的网络爬虫代码不用修改。为内容提取器下载采集规则的方法参看《Python即时网络爬虫:API说明》

4,爬虫结果

在项目目录下可以看到多个result**.xml文件,文件内容如下图所示:

5,总结

因为信息采集规则是通过api下载下来的,所以,本案例的源代码显得十分简洁。同时,整个程序框架变得很通用,因为最影响通用性的采集规则是从外部注入的。

6,集搜客GooSeeker开源代码下载源

  1. GooSeeker开源Python网络爬虫GitHub源

7,文档修改历史

2016.07.11:V1.0

脚本宝典总结

以上是脚本宝典为你收集整理的Python爬虫实战(3):安居客房产经纪人信息采集全部内容,希望文章能够帮你解决Python爬虫实战(3):安居客房产经纪人信息采集所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。