Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

发布时间:2022-07-01 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

还没有搭建Hadoop,欢迎看看我前面的一篇文章F1a;Hadoop集群搭建(步骤图文超详细版)

目录

    • 一、前置条件
    • 二、安装MySQL
    • 三、安装Hive
    • 四、安装Sqoop

一、前置条件

需要安装下载方法
Hive-1.2.1官网下载链接, 提取码:nzyu
Sqoop-1.4.6百度网盘下载 , 提取码:82IT
JDBC驱动包官网下载链接, 提取码:7t8d
以上三个的合集包百度网盘下载,提取码:;m9dq
MobaXterm百度网盘下载,提取码:f64v

二、安装MySQL

安装从网上下载文件的wget命令,命令↓

yum -y install wget

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

下载mysql的repo,命令↓

wget http://repo.mysql.com/mysql-commUnity-release-el7-5.noarch.rpm 

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

安装mysql-community-release-el7-5.noArch.rpm包,命令↓

rpm -ivh mysql-community-release-el7-5.noarch.rpm

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

查看下获得两个mysql的yum repo源,命令↓

ls -1 /etc/yum.repos.d/mysql-community*

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

安装mysql,命令↓

yum install mysql-server

过程中询问都输入 y

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

开启Mysql服务,命令↓

service mysqld start

查看Mysql目前的状态,命令↓

service mysqld status

Active中显示running则表示正在运行中!

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

netstat –nptl (查看3306端口是否开启)

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

登录Mysql(密码为空,回车),命令↓

mysql -u root -p

查看Mysql版本,命令行输入↓ 注意!mysql命令行中以分号;作为结束,千万不要漏了!!

select version()

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

为了后续操作,我们需要为MySQL数据库设置一个秘密,还是先进入MySQL,命令↓

mysql -u root -p
SET PASSWORD = PASSWORD('123456');

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

我们为MySQL设置允许远程登录权限,在MySQL命令行输入↓

//设置允许远程登录
grant all PRivileges on *.* to 'root'@'%' identified by '123456' with grant option;
//是更新的权限表加载到内存
flush privileges;

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

到此,Mysql安装完成啦!

三、安装Hive

为了统一管理,将下载的Hive压缩包放在 /Software 目录下

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

cd/software 目录下,将hive压缩包进行解压,命令↓

tar -xzvf apache-hive-1.2.1-bin.tar.gz

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

解压后我们在 MobaXterm 左边的/software目录下找到 apache-hive-1.2.1-bin 这个文件夹,将它改名为 hive,方便后续操作

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

接着我们修改全局配置文件,命令↓

vi /etc/profile

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

进入以下界面,按键盘上的 i 进入插入模式, 在末尾加入Hive文件的路径,命令↓

export HIVE_HOME=/software/hive
export PATH=$PATH:$HIVE_HOME/bin

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

输入完后,按键盘上的 esc,再输入 :wq 保存退出!

退出后我们刷新一下全局配置文件,让系统重新寻找路径,命令↓

source /etc/profile

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

接下来我们修改Hive的配置文件将Hive默认的元数据库存储介质由自带的Derby数据库替换为MySQL数据库!

进入hive文件,来到 /conf 目录下以 .template 后缀结尾的模板文件将其后缀删除,若用Xshell或者MobaXterm软件的直接在左边目录进行rename就行,如果没用的也可以通过以下指令进行改名,命令↓

cp hive-env.sh.template hive-env.sh
cp beeline-LOG4j.proPErties.template beeline-log4j.properties
cp hive-default.XMl.template hive-default.xML
cp hive-exec-log4j.properties.template hive-exec-log4j.properties
cp hive-log4j.properties.template hive-log4j.properties

更改后↓

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

然后修改 hive-env.sh 配置文件,添加Hadoop环境变量,hive的conf配置文件还有hive的lib文件路径,命令↓

export HADOOP_HOME=/software/hadoop
export HIVE_CONF_DIR=/software/hive/conf
export HIVE_AUX_JARS_PATH=/software/hive/lib

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

保存退出,接着我们还要在 /conf 文件夹下创建一个 hive-site.xml 配置文件,用来配置MySQL相关信息,可以在目录下右键创建文件,也可以使用命令↓

vi hive-site.xml

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

hive-site.xml 配置文件中添加以下内容↓

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseifNotExist=true</value>
        <description>JDBC connect string for a JDBC metaStore</description>    
    </property>   
    <property> 
        <name>javax.jdo.option.ConnectionDriverName</name> 
        <value>com.mysql.jdbc.Driver</value> 
        <description>Driver class name for a JDBC metastore</description>     
    </property>               
    <property> 
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>
    <property>  
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        <description>password to use against metastore database</description>  
    </property>          
</configuration>

保存退出

我们由于使用了MySQL数据库,所以就会用到MySQL的JDBC连接驱动包,我们把从最上面链接中下载的JDBC的jar包放到hive的lib目录下↓

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

启动 hive,命令↓

hive

若配置文件有错,这里将会提示错误!!

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

验证hive是否使用了MySQL数据库,进入MySQL,命令↓

mysql -u root -p
show databases;

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

到此,Hive就配置成功啦!

四、安装Sqoop

为了统一管理,将下载的Sqoop压缩包放在 /software 目录下

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

cd/software 目录下,将hive压缩包进行解压,命令↓

tar -xzvf apache-hive-1.2.1-bin.tar.gz

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

解压后我们在 MobaXterm 左边的/software目录下找到 sqoop-1.4.6.bin_hadoop-2.0 这个文件夹,将它改名为 sqoop,方便后续操作

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

接着我们修改全局配置文件,命令↓

vi /etc/profile

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

进入以下界面,按键盘上的 i 进入插入模式, 在末尾加入Hive文件的路径,命令↓

export HIVE_HOME=/software/hive
export PATH=$PATH:$HIVE_HOME/bin

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

输入完后,按键盘上的 esc,再输入 :wq 保存退出!

退出后我们刷新一下全局配置文件,让系统重新寻找路径,命令↓

source /etc/profile

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

我们来到 /software/sqoop/conf 目录下,将sqoop-env-template.sh文件中的 -template 给删除

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

更改后↓

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

然后修改 sqoop-env.sh 配置文件,添加Hadoop环境变量和hive文件的路径,命令↓

export HADOOP_COMMON_HOME=/software/hadoop
export HADOOP_MAPred_HOME=/software/hadoop
export HIVE_HOME=/software/hive

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

保存退出,接着我们同样为sqoop添加MySQL的JDBC连接驱动包,来到 /software/sqoop/lib 目录下,添加驱动文件↓

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

测试sqoop,我们用sqoop list-databases命令输出一下本地mysql数据库中的所有数据库,命令↓

sqoop list-databases --username root --password '123456' --connect jdbc:mysql://localhost:3306/

Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)

能看到数据库中的数据库名就说明Sqoop配置完毕啦! 上述的 Warning 是因为那些软件我们没安装而已。

本次分享到此结束!谢谢大家阅读!!

脚本宝典总结

以上是脚本宝典为你收集整理的Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)全部内容,希望文章能够帮你解决Hadoop安装MySQL、Hive以及Sqoop(步骤图文超详细版)所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。