完全分布式Hadoop2.X的搭建_心得技巧

心得技巧

html5 HTML/Xhtml CSS XML/XSLT Dreamweaver教程 Frontpage教程心得技巧

上一篇: 浅谈 Xamarin Community Toolkit... 下一篇:不知道写什么标题~

完全分布式Hadoop2.X的搭建

发布时间：2022-07-05 发布网站：脚本宝典

脚本宝典收集整理的这篇文章主要介绍了完全分布式Hadoop2.X的搭建，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

@H_126_0@准备工作：

安装jdk

克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】（虚拟机的克隆，前面的博客，三台虚拟机都要开机）

这里我们安装的是Hadoop2.7.6版本：https://hadoop.apache.org/releases.htML

1、设置主机名与ip的映射，修改配置文件命令：vi /etc/hosts

2、将hosts文件拷贝到node1和node2节点

命令：

scp /etc/hosts node1:/etc/hosts

scp /etc/hosts node2:/etc/hosts

这里我们可以在bin目录下面写一个分发的脚本

cd /bin/

vim xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough arguement!
  exIT;
fi
#2. 遍历集群所有机器
for host in master node1 node2
do
 echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4. 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

注意：完成上述操作后，三台需要刷新一下配置环境变量的文件：source /etc/PRofile

4、关闭防火墙（三台都要操作），使用命令：service iptables stop

5、关闭防火墙的自动启动（三台都要操作），使用命令：chkconfig iptables off

6、设置ssh免密码登录（只在Master 这台主机操作）

主节点执行命令 ssh-keygen -t rsa 产生密钥一直回车

执行命令

完全分布式Hadoop2.X的搭建

7、将密钥拷贝到其他两个子节点，命令如下：

ssh-copy-id -i node1

ssh-copy-id -i node2

实现免密码登录到子节点。

8、将hadoop的jar包先上传到虚拟机/usr/local/module，使用xftp来上传

9、解压Hadoop

tar -xvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

10、配置环境变量

这是我配置的环境变量，一定要有jdk和Hadoop

vim /etc/profile

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
export redIS_HOME=/usr/local/soft/redis/
export PATH=$PATH:$REDIS_HOME/bin
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完全分布式Hadoop2.X的搭建

分发给node1与node2：xsync /etc/profile

完全分布式Hadoop2.X的搭建

三台都需要：source /etc/profile

11、修改配置文件

hadoop 配置文件在/usr/local/soft/hadoop-2.7.6/etc/hadoop/

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

11.1、hadoop-env.sh ： Hadoop 环境配置文件vim hadoop-env.sh修改JAVA_HOMEexport JAVA_HOME=/usr/local/soft/jdk1.8.0_171

完全分布式Hadoop2.X的搭建

11.2、slaves ：从节点列表（datanode）vim slaves增加node1, node2

完全分布式Hadoop2.X的搭建

11.3、core-site.XMl ： hadoop核心配置文件vim core-site.xml

在configuration中间增加以下内容

<proPErty>
<name>fs.defaultFS</name>
<value>hDFs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

完全分布式Hadoop2.X的搭建

11.4、hdfs-site.xml ： hdfs配置文件

vim hdfs-site.xml

在configuration中间增加以下内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

完全分布式Hadoop2.X的搭建

11.5、yarn-site.xml： yarn配置文件

vim yarn-site.xml

在configuration中间增加以下内容

<property>
<name>yarn.resourcemanager.hostname</name>
<value>;master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.LOG-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

<property>  
<name>yarn.nodemanager.resource.memory-mb</name>  
<value>20480</value>  
</property>  

<property>  
<name>yarn.scheduler.minimum-allocation-mb</name>  
<value>2048</value>  
</property>  

<property>  
<name>yarn.nodemanager.vmem-pmem-ratio</name>  
<value>2.1</value>  
</property>

完全分布式Hadoop2.X的搭建

11.6、mapred-site.xml： mapreduce配置文件

在这里需要重命名mapred-site.xml.template

命令：mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在configuration中间增加以下内容

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master:10020</value>  
</property>  

<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master:19888</value>  
</property>

完全分布式Hadoop2.X的搭建

12、将hadoop安装文件同步到子节点

xsync /usr/local/soft/hadoop-2.7.6

13、格式化namenode

hdfs namenode -format

14、启动hadoop

在Hadoop的sbin目录下执行：

　　　　/usr/local/soft/hadoop-2.7.6/sbin

　　　　启动命令：start-all.sh

15、访问hdfs页面验证是否安装成功

http://master:50070

完全分布式Hadoop2.X的搭建

用Java内部命令jps来看是否成功

完全分布式Hadoop2.X的搭建

这里同样我们可以使用脚本查看三台节点的jps

在cd /bin/ 目录下 vim jpsall

#!/bin/bash

for i in hadoop102 hadoop103 hadoop104
do
        echo =============== $i ===============
        ssh $i "$*" "/usr/local/soft/jdk1.8.0_212/bin/jps"
done

完全分布式Hadoop2.X的搭建

16、如果安装失败stop-all.sh再次重启的时候1需要手动将每个节点的tmp目录删除: 所有节点都要删除rm -rf /usr/local/soft/hadoop-2.7.6/tmp然后执行将namenode格式化2在主节点执行命令:hdfs namenode -format3启动hadoopstart-all.sh

脚本宝典总结

以上是脚本宝典为你收集整理的完全分布式Hadoop2.X的搭建全部内容，希望文章能够帮你解决完全分布式Hadoop2.X的搭建所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。

标签：agg hadoop hdfs java load load mapreduce master php python redis redis shuffle vim vim 参数参数安装安装安装jdk 安装jdk 程序员程序员遍历遍历

上一篇: 浅谈 Xamarin Community Toolkit... 下一篇:不知道写什么标题~

猜你在找的心得技巧相关文章

clion结合vcpkg以及GTest的使用 2022-07-07
EGF 2022-06-06
ExtJS 布局-Column布局（Column layout） 2022-06-05
颜色之ARGB与RGB、RGBA的区别与介绍 2022-04-15
rgba中的a是什么意思 CSS之RGBA颜色指南 2022-04-15
rootfs -根文件系统制作 2022-07-07
网页简单布局之结构与表现原则分享 2022-04-15
小项目中怎么防止Vue的闪现画面效果 2022-04-15
隐藏 Web 中的元素方法及优缺点教程详解 2022-04-15
告别硬编码让你的前端表格自动计算的实例代码 2022-04-15

全站导航更多