脚本宝典收集整理的这篇文章主要介绍了爬虫中scrapy.Request的更多参数,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
人的一生是短的,但如果无趣的过这一生,就太长了。
没有体会过别人的痛苦,就不要劝别人大度。
scrapy.Request(url[,callback,;method="GET",headers,body,cookies,meta,dont_filter=Fallse])
参数解释:
meta的作用:meta可以实现数据在不同的解析函数中的传递
在爬虫文件的parse方法中,增加一个函数parse_detail函数(用来解析另一个页面):
def parse(self,response): ... yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"ITem":item}) ...
def parse_detail(self,response): #获取之前传入的item item = resposne.meta["item"]
就相当于,把parse中解析的数据存到了meta字典中,对应的key为item;而在另一个函数(parse_detail)中,通过meta字典中的key:item来提取parse中的数据,从而实现不同页面数据的拼接
注意:
以上是脚本宝典为你收集整理的爬虫中scrapy.Request的更多参数全部内容,希望文章能够帮你解决爬虫中scrapy.Request的更多参数所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。