脚本宝典收集整理的这篇文章主要介绍了

Python 版本升级和scrapy 安装

脚本宝典小编觉得挺不错的,现在分享给大家,也给大家做个参考,希望能帮助你少写一行代码,多一份安全和惬意。

升级Python

依赖包安装

yum install -y python-devel gcc gcc-c++ libffi-devel zlib zlib-dev openssl-devel sqlite-devel bzip2-devel
# 下载Python-2.7.4
wget http://python.org/ftp/python/2.7.4/Python-2.7.4.tgz

# 安装
tar -xvf Python-2.7.4.tgz
cd Python-2.7.4
./configure --prefix=/usr/local/python2.7
make
make install

# 创建链接来使系统默认python变为python2.7
ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python

# 查看Python版本
python –V

# 修改yum配置(否则yum无法正常运行)
vim /usr/bin/yum
将第一行的#!/usr/bin/python修改为系统原有的python版本地址#!/usr/bin/python2.6

安装pip

# 直接用yum命令安装 python-pip
yum install python-pip

安装scrapy

# 安装scrapy
pip install scrapy

# 创建软连接
ln -s /usr/local/python2.7/bin/scrapy /usr/bin/

安装MySQLdb的组件

pip install MySQL-python

创建项目

scrapy startproject 项目名称
# 创建测试代码
scrapy genspider dmoz_spider dmoz.org

# 运行
scrapy crawl 项目中name的名字

常见错误

# Twisted TLSVersion的问题 
    错误:twisted/internet/_sslverify.py", line 38, in TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1, AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'
    
    修复:降低Twsited的版本号 
    sudo pip install Twsited==16.4.1

总结

以上是脚本宝典为你收集整理的

Python 版本升级和scrapy 安装

全部内容,希望文章能够帮你解决

Python 版本升级和scrapy 安装

所遇到的程序开发问题,欢迎加入QQ群277859234一起讨论学习。如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典网站推荐给程序员好友。 本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。

80%的人都看过