基础爬虫服务配置和安装

发布时间:2022-07-03 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了基础爬虫服务配置和安装脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
  1. 首先建立独立的安装包目录:makir 姓名全拼
  2. 安装Anaconda
  • wget https://repo.continuum.io/Archive/Anaconda3-2020.02-Linux-x86_64.sh
  • 在Anaconda存在的目录下执行bash Anaconda3-2020.02-Linux-x86_64.sh 指定安装
  1. 安装piP3
  • wget https://files.pythonhosted.org/packages/69/81/52b68d0a4de760a2F1979b0931ba7889202f302072cc7a0d614211bc7579/pip-18.0.tar.gz
  • 当前目录下执行解压:tar -zxvf pip-18.0.tar.gz
  • 执行安装:cd pip-18.0 后 python SETUP.py install
  1. 安装 Chrome
  • 配置yum
    • 首先安装GOOGLEEPEL源 vi /etc/yum.repos.d/google.repo
    • [google] name=Google-x86_64 baseurl=http://dl.google.COM/linux/rpm/stable/x86_64 enabled=1 gpgcheck=0 gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub
    • 更新源 yum update
  • 安装google chrome浏览器
    • yum -y install google-chrome-stable
  • 找到chrome路径,并做个软连接,方便使用
    • which google-chrome-stable
    • ln -s 路径 /bin/chrome
  • 解决root用户不能运行chrome
    • vim /opt/google/chrome/google-chrome
    • 改写最后一行 exec -a "$0" "$HERE/chrome" "$@" --no-sandbox $HOME
  1. 安装MySQL
  • 下载并安装MySQL官方的 Yum ReposITory
    • 下载 wget -i -c http://dev.mysql.com/get/mysql57-commUnity-release-el7-10.noarch.rpm
    • 安装 yum -y install mysql57-community-release-el7-10.noarch.rpm
    • 启动服务 yum -y install mysql-community-server
  • ySQL数据库设置
    • 首先启动MySQL Systemctl start mysqld.service
    • 查看MySQL运行状态 systemctl status mysqld.service
    • 通过如下命令可以在日志文件中找出密码(首次进入)grep "password" /VAR/LOG/mysqld.log
    • 进入数据库 mysql -uroot -p
    • 修改密码参数
      • set global validate_password_length=1;
      • set global validate_password_policy=0;
      • update user set authentication_string=passworD("test") where user='root';
    • 修改密码 ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';
    • 以后每次yum操作都会自动更新,需要把这个卸载掉 yum -y remove mysql57-community-release-el7-10.noarch
  • 权限设置
    • 所有用户登录 GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY 'admin123' `WITH GRANT OPTION;
    • 指定用户登录 GRANT ALL PRIVILEGES ON *.* TO 'myuser'``@``'192.168.1.104' IDENTIFIED BY 'admin123' WITH GRANT OPTION;
@H_116_126@
  • 端口设置
    • 开启火墙
      • systemctl start firewalld.service
    • 通过以下命令开放http 80 端口
      • firewall-cmd --add-service=http --PErmanent
      • firewall-cmd --add-port=80/tcp --permanent
    • 重启防火墙
      • firewall-cmd --reload
    1. 配置redis
    • 安装reids 和 官网步骤相同
    • 配置redis 配置文件 redis.conf
      • 后台启动服务 daemonize 值设为yes
      • 修改密码
        • requirepass 123 指定密码123(如果已启动redis 修改完配置文件要先杀死redis进程在重启才会生效
      • 启动令 ./src/redis-server ./redis.conf

    脚本宝典总结

    以上是脚本宝典为你收集整理的基础爬虫服务配置和安装全部内容,希望文章能够帮你解决基础爬虫服务配置和安装所遇到的问题。

    如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

    本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
    如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。