脚本宝典收集整理的这篇文章主要介绍了Hadoop2.7.3环境搭建之伪分布式,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
目录
实验环境
实验目录
准备工作
安装步骤
jdk安装
安装hadoop
伪分布式配置
mkdir tools
mkdir training
tar -zvxf jdk-8u171-linux-x64.tar.gz -C /training/
vi ~/.bash_PRofile
添加如下内容:
#JAVA
@R_360_995@ JAVA_HOME=/training/jdk1.8.0_171
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin;
source ~/.bash_profile
验证jdk是否安装成功,执行:
java -version
设置虚拟机主机名,执行:
hostnamectl --static set-hostname hadoop001
虚拟机中配置主机名与虚拟机之间的映射关系,执行:
vi /etc/hosts
在文件末尾添加类似于:192.168.88.100 hadoop001(也就是ip地址加虚拟机名称)
Windows系统下配置映射关系,进入到C:WindowsSystem32driversetc文件夹下,找到hosts文件,用记事本打开(以管理员身份运行),在末尾添加类似于:192.168.88.100 hadoop001(也就是ip地址加虚拟机名称)
关闭防火墙
systemctl status firewalld.service
systemctl stop firewalld.service
systemctl disable firewalld.service
配置免密登录,执行:
ssh-keygen -t rsa (执行命令后,只需敲三次回车键)
cd ~/.ssh/
ssh-copy-id -i id_rsa.pub root@hadoop001
tar -zvxf hadoop-2.7.3.tar.gz -C /training/
vi ~/.bash_profile
添加如下内容
#HADOOP
export HADOOP_HOME=/training/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bash_profile
验证hadoop是否安装成功,执行:hDFs或hadoop
mkdir tmp
hadoop-env.sh
hdfs-sITe.XMl
core-site.xML
mapred-site.xml
yarn-site.xml
export JAVA_HOME=/training/jdk1.8.0_171
配置hdfs-site.xml文件,在<configuration></configuration>之间添加:
<proPErty>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
配置core-site.xml文件,在<configuration></configuration>之间添加:
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/training/hadoop-2.7.3/tmp</value>
</property>
配置mapred-site.xml文件,在<configuration></configuration>之间添加:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop001:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop001:19888</value>
</property>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.LOG-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<!--配置Log Server -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop001:19888/jobhistory/logs</value>
</property>
格式化hdfs,执行:
hdfs namenode -format
进入/training/hadoop-2.7.3/sbin目录下启动hadoop环境,执行:
start-all.sh
进入/training/hadoop-2.7.3目录下启动mr历史服务,执行:
mr-jobhistory-daemon.sh start historyserver
# 访问HDFS:
http://hadoop001:50070
# 访问Yarn:
http://hadoop001:8088
正常会出现:
hdfs:
Yarn:
@H_777_261@
此后使用jps命令,查看是否有以下进程:
NameNode
DataNode
SecondaryNameNode
ReourceManager
NodeManager
ok,小主人,恭喜你。到这里你应该配置完成啦!
注意:本文参考其他博客,如有错误,请指正。非常感谢!
以上是脚本宝典为你收集整理的Hadoop2.7.3环境搭建之伪分布式全部内容,希望文章能够帮你解决Hadoop2.7.3环境搭建之伪分布式所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。