服务器上部署scrapy爬虫项目

发布时间:2019-06-12 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了服务器上部署scrapy爬虫项目脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

爬爬们,如果你已经开始部署项目了,那么你肯定也已经写好了完整的爬虫项目,恭喜你,你很优秀!
**今天忙了小天的服务器部署,跟大家分享一些心得

  1. 首先我们要有一台服务器,不好意思,这是废话,略过。。。。。
  2. 安装python

       # 下载安装包,好习惯可以自己创建文件夹/home/download/
       $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
       # 解压
       $ tar zxvf Python-3.4.1.tgz /us
       3进入解压后的目录,执行安装配置
       $ ./configure
       #或指定安装目录
       $ ./configure --PRefix=/opt/python3
       $ make
       $ make install
       #安装后建立一个链接,这样我们可以用python3直接运行程序,和python2区别开来。
       $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意:1.在安装之前最好要安装各种依赖包

yum -y install zlib-devel bzip2-devel oPEnssl-devel ncurses-devel SQLITe-devel readline-devel tk-devel GDBm-devel db4-devel libpcap-devel xz-devel

若已经安装python3并改软链接了,请修改/usr/bin/yum文件中的第一行python后加2.?版本号,还有一个文件需要修改叫什么我忘记了,同理

注意:2.piP3安装之前要建立pip3软连接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安装scrapy

在这里我们先安装scrapyd避免手动安装scrapy需要的插件
pip3 install scrapyd
pip3 install scrapy

注意:若没有在第二步安装依赖环境 sqlite-devel,那么在启动scrapyd的时候会报错。
安装各种依赖包最好创建虚拟环境,

#安装
pip3 install virtualenv
#建立软连接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#进入项目目录创建虚拟环境
$ virtualenv venv
# 在venv/bin目录下
source activate




脚本宝典总结

以上是脚本宝典为你收集整理的服务器上部署scrapy爬虫项目全部内容,希望文章能够帮你解决服务器上部署scrapy爬虫项目所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。