摘要:博客原文在更換到后,集群出現(xiàn)頻繁死掉,出現(xiàn)結(jié)果為如下和類似的在搜索關(guān)鍵字,找到關(guān)于的一些,在負(fù)載高的情況下,出現(xiàn)問(wèn)題。詳情請(qǐng)看和一些相關(guān)解釋后來(lái)更換則沒(méi)出現(xiàn)的問(wèn)題
博客原文
hackershell
在更換JDK1.625到JDK1.745后,集群出現(xiàn)頻繁死掉NM,出現(xiàn)結(jié)果為如下:
2015-08-12 16:35:06,662 FATAL org.apache.hadoop.yarn.YarnUncaughtExceptionHandler: Thread Thread[process reaper,10,system] threw an Error. Shutting down now... java.lang.OutOfMemoryError: Requested array size exceeds VM limit at java.lang.UNIXProcess$ProcessPipeInputStream.drainInputStream(UNIXProcess.java:267) at java.lang.UNIXProcess$ProcessPipeInputStream.processExited(UNIXProcess.java:280) at java.lang.UNIXProcess.processExited(UNIXProcess.java:187) at java.lang.UNIXProcess$3.run(UNIXProcess.java:175) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744)
和類似的
2015-08-12 16:37:56,893 FATAL org.apache.hadoop.yarn.YarnUncaughtExceptionHandler: Thread Thread[process reaper,10,system] threw an Error. Shutting down now... java.lang.OutOfMemoryError: Java heap space at java.lang.UNIXProcess$ProcessPipeInputStream.drainInputStream(UNIXProcess.java:267) at java.lang.UNIXProcess$ProcessPipeInputStream.processExited(UNIXProcess.java:280) at java.lang.UNIXProcess.processExited(UNIXProcess.java:187) at java.lang.UNIXProcess$3.run(UNIXProcess.java:175) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744)
在google搜索關(guān)鍵字hadoop UNIXProcess drainInputStream,找到關(guān)于JDK7的一些bug,在NM負(fù)載高的情況下,出現(xiàn)OOM問(wèn)題。 詳情請(qǐng)看HADOOP-10146
和一些相關(guān)解釋:
JDK-8027348
JDK-8024521
后來(lái)更換JDK1.7_67則沒(méi)出現(xiàn)OOM的問(wèn)題
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/64452.html
摘要:主要由兩個(gè)組件構(gòu)成調(diào)度器和應(yīng)用程序管理器,。主要負(fù)責(zé)該節(jié)點(diǎn)內(nèi)所有容器的生命周期的管理,監(jiān)視資源和跟蹤節(jié)點(diǎn)健康。主要用來(lái)處理來(lái)自的命令。一個(gè)節(jié)點(diǎn)啟動(dòng)時(shí),它會(huì)向進(jìn)行注冊(cè)并推送可用資源信息。應(yīng)用運(yùn)行結(jié)束后,向注銷自己,并允許屬于它的被收回。 作者:幻好來(lái)源:恒生LIGHT云社區(qū)基本概述Apache YARN (Yet...
摘要:由于配置流是從關(guān)系型數(shù)據(jù)庫(kù)中讀取,速度較慢,導(dǎo)致實(shí)時(shí)數(shù)據(jù)流流入數(shù)據(jù)的時(shí)候,配置信息還未發(fā)送,這樣會(huì)導(dǎo)致有些實(shí)時(shí)數(shù)據(jù)讀取不到配置信息。從數(shù)據(jù)庫(kù)中解析出來(lái),再去統(tǒng)計(jì)近兩周占比。 Flink 學(xué)習(xí) https://github.com/zhisheng17/flink-learning 麻煩路過(guò)的各位親給這個(gè)項(xiàng)目點(diǎn)個(gè) star,太不易了,寫了這么多,算是對(duì)我堅(jiān)持下來(lái)的一種鼓勵(lì)吧! showI...
閱讀 790·2021-11-09 09:47
閱讀 1581·2019-08-30 15:44
閱讀 1149·2019-08-26 13:46
閱讀 2114·2019-08-26 13:41
閱讀 1279·2019-08-26 13:32
閱讀 3783·2019-08-26 10:35
閱讀 3532·2019-08-23 17:16
閱讀 462·2019-08-23 17:07