python爬虫需要安装什么
脚本宝典收集整理的这篇文章主要介绍了python爬虫需要安装什么，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。
世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。
python爬虫需要安装相关库：
python爬虫涉及的库：
请求库，解析库，存储库，工具库
1. 请求库：urllib/re/requests
（1） urllib/re是python默认自带的库，可以通过以下命令进行验证：
没有报错信息输出，说明环境正常
（2） requests安装
2.1 打开CMD，输入
piP3 install requests
2.2 等待安装后，验证
（3） selenium安装（驱动浏览器进行网站访问行为）
3.1 打开CMD，输入
pip3 install selenium
3.2 安装chromedriver
网址：https://npm.taobao.org/
把下载完成后的压缩包解压，把exe放到D:\Python3.6.0\Scripts\
这个路径只要在PATH变量中就可以
3.3 等待安装完成后，验证
回车后弹出chrome浏览器界面
3.4 安装其他浏览器
无界面浏览器phantomjs
下载网址：http://phantomjs.org/
下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量
验证：
打开CMD
phantomjs console.LOG('phantomjs') CTRL+C python From selenium import webdriver driver = webdriver.PhantomJS() dirver.get('http://www.baidu.COM') driver.page_source
2. 解析库：
打开CMD
pip3 install lXMl
或者从https://pypi.python.org下载，例如，lxML-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件
pip3 install 文件名.whl
2.2 beautifulsoup
打开CMD，需要先安装好lxml
pip3 install beautifulsoup4
验证
python
from bs4 import BeautifulSoup
soup = BeautifulSoup('<html></html>','lxml')2.3 pyquery（类似jquery语法）
打开CMD
pip3 install pyquery
验证安装结果
python
from pyquery import PyQuery as pq
doc = pq('<html>hi</html>')
result = doc('html').text()
result
3. 存储库
安装：
pip3 install pymysql
安装后测试：
3.2 pymongo（操作MongoDB，key-value）
安装
pip3 install pymongo
验证
python
import pymongo
client = pymongo.MongoClient('localhost')
db = client['testdb']
db['table'].insert({'name':'bob'})
db['table'].find_one({'name':'bob'}) 
3.3 redis（分布式爬虫，维护爬取队列）
安装：
pip3 install redis
验证：
4.工具库
4.1 flask（WEB库）
pip3 install flask
4.2 Django（分布式爬虫维护系统）
pip3 install django
4.3 jupyter（运行在网页端的记事本，支持markdown，可以在网页上运行代码）
pip3 install jupyter
验证：
打开CMD
jupyter noteBook
之后就可以在网页直接创建记事本，代码块和Markdown块，支持打印
【相关推荐】
1. python爬虫库以及相关利器
2. python爬虫入门教程
以上就是python爬虫需要安装什么的详细内容，更多请关注脚本宝典其它相关文章！
脚本宝典总结
以上是脚本宝典为你收集整理的python爬虫需要安装什么全部内容，希望文章能够帮你解决python爬虫需要安装什么所遇到的问题。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。
- python怎么读excel 2022-05-15
- Python Pygame实战之打地鼠小游戏 2022-04-17
- Django admin实现TextField字段changelist页面换行、空格正常显示 2022-04-17
- 基于Python实现的恋爱对话小程序详解 2022-04-17
- 分享6 个值得收藏的 Python 代码 2022-04-17
- python+appium实现自动化测试的示例代码 2022-04-17
- Python实现带GUI界面的手写数字识别 2022-04-17
- Python类的继承与多态详细介绍 2022-04-17
- Python实战之MNIST手写数字识别详解 2022-04-17
- Python实现自动玩贪吃蛇程序 2022-04-17