hadoop集群崩了,用了一天才重新弄好。

发布时间:2022-07-05 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了hadoop集群崩了,用了一天才重新弄好。脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

  今天弄虚拟机的时候发现打开Hadoop集群的那个sbin/start-DFs.sh命令不好使了,报了一堆错,是这样的

PErmission denied (publickey,gssapi-keyex,gssapi-wITh-mic,password)

咋打也打不开,网页搜索http://hadoop102:9870也搜不到了,遇到这种集群崩了的处理办法,我总结了我的处理方法,当启动Hadoop报上面那个错误的时候是因为你的ssh免密登录出现了问题。

在网上也是查找了很多的修改方法,大同小异,无非是让你修改sshd_config文件,再创建密钥,修改权限,但我发现一点效果也没有,而且修改完成之后我连xshell都连不上虚拟机了,当时非常崩溃

所以我建议大家尽量不要相信网上的修改方法,因为不懂虚拟机的运行原理,有可能越改越乱,最后啥也弄不好了。

  我知道我是ssh免密登录没弄好,所以我回过头去整了一下我的ssh发现确实少了个文件,可能是写代码的时候用idea删掉了。

  解决方法:进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动。

无论你之前是安好hadoop之后又崩坏的还是一直没安好出现的这个问题,按照我的方法都适用。

 下面是具体的ssh免密配置方法:

(1)免密登录原理

hadoop集群崩了,用了一天才重新弄好。

 

 

(2)生成公钥和私钥[atguigu@hadoop102 .ssh]$ pwd/home/atguigu/.ssh[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)

(3)将公钥拷贝到要免密登录的目标机器上[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

   

注意:还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102、hadoop103、hadoop104;

3).ssh 文件夹下(~/.ssh)的文件功能解释

known_hosts :记录 ssh 访问过计算机的公钥(public key)id_rsa :生成的私钥id_rsa.pub : 生成的公钥authorized_keys :存放授权过的无密登录服务器公钥

 

脚本宝典总结

以上是脚本宝典为你收集整理的hadoop集群崩了,用了一天才重新弄好。全部内容,希望文章能够帮你解决hadoop集群崩了,用了一天才重新弄好。所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。