脚本宝典收集整理的这篇文章主要介绍了

NodeManager OOM挂掉问题解决

脚本宝典小编觉得挺不错的,现在分享给大家,也给大家做个参考,希望能帮助你少写一行代码,多一份安全和惬意。

博客原文
hackershell

在更换JDK1.625到JDK1.745后,集群出现频繁死掉NM,出现结果为如下:

2015-08-12 16:35:06,662 FATAL org.apache.hadoop.yarn.YarnUncaughtExceptionHandler: Thread Thread[process reaper,10,system] threw an Error. Shutting down now... java.lang.OutOfMemoryError: Requested array size exceeds VM limit at java.lang.UNIXProcess$ProcessPipeInputStream.drainInputStream(UNIXProcess.java:267) at java.lang.UNIXProcess$ProcessPipeInputStream.processExited(UNIXProcess.java:280) at java.lang.UNIXProcess.processExited(UNIXProcess.java:187) at java.lang.UNIXProcess$3.run(UNIXProcess.java:175) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744)  

和类似的

2015-08-12 16:37:56,893 FATAL org.apache.hadoop.yarn.YarnUncaughtExceptionHandler: Thread Thread[process reaper,10,system] threw an Error. Shutting down now... java.lang.OutOfMemoryError: Java heap space at java.lang.UNIXProcess$ProcessPipeInputStream.drainInputStream(UNIXProcess.java:267) at java.lang.UNIXProcess$ProcessPipeInputStream.processExited(UNIXProcess.java:280) at java.lang.UNIXProcess.processExited(UNIXProcess.java:187) at java.lang.UNIXProcess$3.run(UNIXProcess.java:175) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744)  

在google搜索关键字hadoop UNIXProcess drainInputStream,找到关于JDK7的一些bug,在NM负载高的情况下,出现OOM问题。 详情请看HADOOP-10146

和一些相关解释:

JDK-8027348

JDK-8024521

后来更换JDK1.7_67则没出现OOM的问题

总结

以上是脚本宝典为你收集整理的

NodeManager OOM挂掉问题解决

全部内容,希望文章能够帮你解决

NodeManager OOM挂掉问题解决

所遇到的程序开发问题,欢迎加入QQ群277859234一起讨论学习。如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典网站推荐给程序员好友。 本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。

80%的人都看过