摘要：問題日志頁面出現(xiàn)異常原因是根目錄空間不足，解決問題的辦法之一是清理根目錄下不必要的文件，解決辦法二就是，上面也就有提示了，不多說了。

博客原文：
hackershell

問題1：在程序的日志中看到，在reduce階段出現(xiàn)了異常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打開文件，系統(tǒng)默認(rèn)為1024，也可以通過ulimit -a查看

編輯文件/etc/security/limits.conf 在文件后面添加：

# End of file
*       soft       nofile  102400
*       hard       nofile  409600

遇到這種錯誤網(wǎng)上也有不同的可能解決方法和解釋，你們可以自己找找。

問題2： yarn日志頁面出現(xiàn)異常：

Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file:
   /tmp/hsperfdata_hdp/6676
Try using the -Djava.io.tmpdir= option to select an alternate temp location

原因是根目錄空間不足，解決問題的辦法之一是清理根目錄下不必要的文件，解決辦法二就是，上面也就有提示了，不多說了。

/tmp/hsperfdata_username 目錄的作用是什么呢？

jvm運(yùn)行時(shí)在linux下默認(rèn)在/tmp下生成上面的目錄，目錄下存放pid文件，和一些jvm進(jìn)程信息，jmap、jstack等工具會讀取該目錄下的pid文件獲取鏈接信息

問題3： 當(dāng)任務(wù)不能跑滿集群的時(shí)，為什么集群的節(jié)點(diǎn)會出現(xiàn)幾個節(jié)點(diǎn)跑滿容器，而其他節(jié)點(diǎn)則非?？臻e？

原因是集群調(diào)度器默認(rèn)處于批處理模式下，一個心跳會盡可能的分配任務(wù)，心跳先到達(dá)則會優(yōu)先領(lǐng)取任務(wù)，我們可以通過參數(shù)yarn.scheduler.fair.max.assign參數(shù)設(shè)置為1，就可以大致的均衡任務(wù)到不同的節(jié)點(diǎn)

更新時(shí)間2015-07-18