脚本宝典收集整理的这篇文章主要介绍了Python 版本升级和scrapy 安装,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
升级Python
依赖包安装
yum install -y python-devel gcc gcc-c++ libffi-devel zlib zlib-dev oPEnssl-devel SQLITe-devel bzip2-devel
# 下载Python-2.7.4
wget http://python.org/ftp/python/2.7.4/Python-2.7.4.tgz
# 安装
tar -xvf Python-2.7.4.tgz
cd Python-2.7.4
./configure --PRefix=/usr/local/python2.7
make
make install
# 创建链接来使系统默认python变为python2.7
ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
# 查看Python版本
python –V
# 修改yum配置(否则yum无法正常运行)
vim /usr/bin/yum
将第一行的#!/usr/bin/python修改为系统原有的python版本地址#!/usr/bin/python2.6
安装pip
# 直接用yum命令安装 python-pip
yum install python-pip
安装scrapy
# 安装scrapy
pip install scrapy
# 创建软连接
ln -s /usr/local/python2.7/bin/scrapy /usr/bin/
安装MySQLdb的组件
pip install MySQL-python
创建项目
scrapy startproject 项目名称
# 创建测试代码
scrapy genspider dmoz_spider dmoz.org
# 运行
scrapy crawl 项目中name的名字
常见错误
# Twisted TLSVersion的问题
错误:twisted/internet/_sslverify.py", line 38, in TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1, AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'
修复:降低Twsited的版本号
sudo pip install Twsited==16.4.1
以上是脚本宝典为你收集整理的Python 版本升级和scrapy 安装全部内容,希望文章能够帮你解决Python 版本升级和scrapy 安装所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。