python爬虫之ajax请求

发布时间:2019-06-22 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了python爬虫之ajax请求脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

python爬虫之ajax请求

  • 爬取豆瓣网的分页浏览get请求:
import urllib.request
import urllib.parse

url = 'https://movie.douban.COM/j/chart/top_list?tyPE=5&interval_id=100%3A90&action=&'

page = int(input('请输入想要第几页的数据:'))
# start=0  limIT=20
# start=1
number = 20

# 构建get参数
data = {
    'start': (page - 1)*number,
    'limit': number,
}
# 将字典转化为query_string
query_string = urllib.parse.urlencode(data)
# 修改url
url += query_string

# 
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Applewebkit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
}
request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

PRint(response.read().decode())
  • 肯德基配送信息post请求
import urllib.request
import urllib.parse

post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'

city = input('请输入要查询的城市:')
page = input('请输入要查询第几页:')
size = input('请输入要多少个:')
formdata = {
    'cname': city,
    'pid': '', 
    'pageindex': page,
    'pageSize': size,
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
}

request = urllib.request.Request(url=post_url, headers=headers)
formdata = urllib.parse.urlencode(formdata).encode()

response = urllib.request.urlopen(request, data=formdata)

print(response.read().decode())

脚本宝典总结

以上是脚本宝典为你收集整理的python爬虫之ajax请求全部内容,希望文章能够帮你解决python爬虫之ajax请求所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。