脚本宝典收集整理的这篇文章主要介绍了我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
最近在和粉丝的交流中,说到白嫖的服务器还没开始用,这里我提供一种使用方式:
她提到伪分布式部署Hadoop的概念启发了我。
由于我接的私活经常需要使用到Hadoop集群,本地启动有启动速度慢、操作麻烦和占用内存等诟病,
有鉴于此何不部署云集群,选择的是Hadoop3.x的伪分布式部署方法。
之前发过一篇白嫖服务器的指南:
阿里云双十一服务器注册流程 不过现在活动结束了。当然如果你是学生,买服务器还是很便宜的,只需要9.9元/月, 阿里云开发者成长计划
这里选择的是轻量服务器,系统镜像和应用镜像不需要改变,保持默认值就行(WordPress, CentOS 7.3)
这里需要设置root权限和密码
设置成功后通过本地terminal(;mAC)或者cmd(Windows)来构建ssh
ssh root@****
然后输入之前设置的root的权限的密码(注意:这里的密码是不会有任何显示的)
若出现上图的情况,需要清理一下之前的key
ssh-keygen -R XX.XX.XX.XX
然后再次用ssh连接,然后yes
好,到此我们进入到了阿里云的服务器
首先下载java的jdk
wget@H_636_126@ https://download.java.net/oPEnjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
然后解压
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
移动位置并且配置java路径
mv java-se-8u41-ri/ /usr/java8
echo 'export JAVA_HOME=/usr/java8' >> /etc/PRofile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile
检查是否安装成功
java -version
这是理想情况,若安装成功会出现如下结果
# 借助清华源下载Hadoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz这儿是清华的镜像源,国内的小伙伴下载比较快
按照惯例解压
tar -zxvf hadoop-3.2.2.tar.gz -C /opt/
mv /opt/hadoop-3.2.2 /opt/hadoop
配置地址
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile
配置yarn和hadoop
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
查看Hadoop 安装情况
hadoop version
若出现上图情况,则说明安装成功
vim /opt/hadoop/etc/hadoop/core-site.XMl
进入vim环境
按下i(insert)修改
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>location to Store temporary files</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
然后按下esc,停止修改,然后打":wq"(实际无“”)退出vim修改
同理操作hdfs-site
vim /opt/hadoop/etc/hadoop/hdfs-site.xML
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/tmp/dfs/data</value>
</property>
配置master和slave连接,运行如下指令,并且一直回车,直至出现如下图
ssh-keygen -t rsa
运行如下代码
cd .ssh
cat id_rsa.pub >> authorized_keys
启动Hadoop
hadoop namenode -format
start-dfs.sh
start-yarn.sh
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation
这里踩了一个小坑,
解决方案:
https://blog.csdn.net/ystyaoshengting/article/details/103026872
查看是否配置成功
jps
成功图
最后你就可以在浏览器输入XX.XX.XX.XX**:9870 或者**XX.XX.XX.XX:8088来在浏览器上访问你的Hadoop
效果图如下
以及
📢博客主页:https://manor.bLOG.csdn.net 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📢本文由 manor 原创,首发于 CSDN博客🙉 ⚠️ 若本文所采用图片或相关引用侵犯了您的合法权益,请联系我进行删除。 😄 欢迎大家指出文章错误,与我交流 ~
以上是脚本宝典为你收集整理的我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境全部内容,希望文章能够帮你解决我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。