脚本宝典收集整理的这篇文章主要介绍了Hadoop集群 增加节点/增加磁盘,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
在虚拟机中新建一个机器。
设置静态IP
将修改/etc/hosts
@H_777_13@192.168.102.10 master 192.168.102.11 slave-1 192.168.102.12 slave-2 192.168.102.13 slave-3 192.168.102.14 slave-4
在然后在其他节点hosts文件中增加
192.168.102.14 slave-4
修改hostname 命令hostnamectl set-hostname Slave-4 通过hostname命令查看修改结果
关闭防火墙
Systemctl stop firewalld.service //停止firewall
systemctl disable firewalld.service //禁止firewall开机启动
systemctl status firewalld.service //查看防火墙状态
节点免密码登录 使用命令
ssh-keygen -t rsa(一路回车)
生成id_rsa(私钥)、id_rsa.pub(公钥)然后
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将Salve-4的公钥拷贝到其他节点上,再将其他节点的公钥拷贝到Salve-4上
Salve-4节点上执行
ssh-copy-id -i Master
ssh-copy-id -i slave-1
ssh-copy-id -i slave-2
ssh-copy-id -i slave-3(这里没有执行,待把slave-3修复了再执行)
在其他节点执行
ssh-copy-id -i slave-4
再用ssh验证相互之间的免密码登陆
ssh slave-4(master,等hostname)
在/usr/local/hadoop2.7.2/etc/hadoop/slaves 中增加slave-4
将其他一个节点的/etc/PRofile,/usr/local目录下文件传输到slave-4中,目录位置不变
scp -r /etc/profile root@slave-4:/etc/
scp -r /usr/local root@slave-4:/usr/
修改系统默认JDK
update-alternatives --install /usr/bin/java java /usr/local/jdk1.8/bin/java 300
update-alternatives --install /usr/bin/java javac /usr/local/jdk1.8/bin/javac 300
update-alternatives --install /usr/bin/jar jar /usr/local/jdk1.8/bin/jar 300
update-alternatives --config java
然后选择
4 /usr/local/jdk1.8/bin/java
这一行
在虚拟磁盘扩容,已经实现了虚拟机中的扩容(分区,创建文件系统,挂载),这里实现HDFS中识别出增加的容量 删除hdfs-sITe.XMl中dfs.data.dir指定的文件
<proPErty>
<name>dfs.data.dir</name>
<value>/usr/local/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
删除core-site.xML中hadoop.tmp.dir指定的文件,删除/usr/local/hadoop 放着各个节点ID会不一样。
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
格式化namenode
hdfs namenode -format
格式化完毕,原来的数据全部被清空了。产生了一个新的hdfs 查看信息
hdfs dfsadmin -report
11.第10个步骤可能是多余的没必要 在增加磁盘的情况下,只需要在挂载完硬盘之后修改hdfs-site.xml文件即可。
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data,/newdisk/hadoop-data/</value>
<description>datanode上数据块的物理存储位置</description>
以上是脚本宝典为你收集整理的Hadoop集群 增加节点/增加磁盘全部内容,希望文章能够帮你解决Hadoop集群 增加节点/增加磁盘所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。