資訊專欄INFORMATION COLUMN
摘要：集群運(yùn)行慢時，通常會在日志中可以查找到明顯的異常，或者花費(fèi)時間長的操作。檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)管理群集上部署的各種服務(wù)。如果主節(jié)點(diǎn)遇到性能問題，整個群集都會受到影響。工作的不均衡分配可能會導(dǎo)致處理速度較慢。
查看任務(wù)執(zhí)行時控制臺輸出的log，檢查是否有ERROR
2.查看任務(wù)執(zhí)行日志若任務(wù)為后臺執(zhí)行或定時任務(wù)，首先需要知道失敗的任務(wù)ID，可通過獲取日志詳情分析日志報錯（查詢?nèi)罩痉椒梢?a target="_blank" rel="noopener">日志查看）
Tips: 常見任務(wù)失敗ERROR可參考常見任務(wù)ERROR
- 在集群的“監(jiān)控視圖”頁面查看集群或者節(jié)點(diǎn)的監(jiān)控數(shù)據(jù)，判斷是否有異常。
2.查看服務(wù)日志- 各個節(jié)點(diǎn)上的/var/log下面有各個服務(wù)的日志 - 通過web-yarn的頁面或者h(yuǎn)ue可以查看到任務(wù)運(yùn)行的日志情況
在向技術(shù)支持提交故障時，可以在提交信息中附帶以下內(nèi)容以便快速定位故障：
- 群集的標(biāo)識符 - 啟動群集的區(qū)域和可用區(qū) - 如何操作會出現(xiàn)這個異常 - 異常的現(xiàn)象的具體描述
2.檢查集群的配置修改- 上一次正確運(yùn)行的配置和環(huán)境變量是否有做修改。
3.檢查日志通常提交的任務(wù)可以在hadoop-yarn的界面可以看到，如無法查看任務(wù)通常有以下幾種情況：
- spark任務(wù)用本地模式提交 - hive任務(wù)用本地提交（hive-server2默認(rèn)會將一些小任務(wù)用本地模式跑）
- 檢查任務(wù)日志，如果一個或多個失敗任務(wù)，請調(diào)查對應(yīng)的任務(wù)嘗試的日志，以了解更詳細(xì)的錯誤信息。 - 檢查服務(wù)日志，在每個節(jié)點(diǎn)的/var/log目錄下，每個服務(wù)都有各自的存檔目錄。集群運(yùn)行慢時，通常會在日志中可以查找到明顯的異常，或者花費(fèi)時間長的操作。
3. 檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)- master：管理群集上部署的各種服務(wù)。如果主節(jié)點(diǎn)遇到性能問題，整個群集都會受到影響。 - core：處理 map-reduce 任務(wù),保持 Hadoop 分布式文件系統(tǒng) (HDFS),hbase的regionserver。 - task：處理 map-reduce 任務(wù)。這些純粹是計算資源，并不存儲數(shù)據(jù)。您可以向群集添加任務(wù)節(jié)點(diǎn)，提高性能速度，或移除不需要的任務(wù)節(jié)點(diǎn)。
4. 檢查輸入數(shù)據(jù)注解：在task節(jié)點(diǎn)運(yùn)行的任務(wù)會通過網(wǎng)絡(luò)從core節(jié)點(diǎn)上獲取數(shù)據(jù)，所以在某些情況下增加task節(jié)點(diǎn)并不能夠縮短任務(wù)的運(yùn)行時間。
- 請查看您的輸入數(shù)據(jù)。它是否在鍵值之間均勻分配？ 如果您的數(shù)據(jù)嚴(yán)重偏向一個或幾個鍵值，那么可能將處理負(fù)載映射到少量節(jié)點(diǎn)，而其他節(jié)點(diǎn)則閑置。工作的不均衡分配可能會導(dǎo)致處理速度較慢。 - 不平衡數(shù)據(jù)集的示例是，依據(jù)按字母順序排列的詞運(yùn)行群集，但有一個數(shù)據(jù)集僅包含以字母“a”開始的詞。當(dāng)工作被映射時，以“a”開始的節(jié)點(diǎn)處理值會過量，而以其他字母開始的節(jié)點(diǎn)處理詞會處于閑置狀態(tài)。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/127198.html
摘要：也可以將托管集群設(shè)置為快捷方式，通過左側(cè)快捷方式菜單欄點(diǎn)擊進(jìn)入。框架集群中僅部署。用于做存儲集群，有專屬的節(jié)點(diǎn)機(jī)型。節(jié)點(diǎn)管理節(jié)點(diǎn)，負(fù)責(zé)協(xié)調(diào)整個集群服務(wù)。目前僅節(jié)點(diǎn)支持綁定。通過云主機(jī)內(nèi)網(wǎng)進(jìn)行登錄。登錄密碼為集群創(chuàng)建時設(shè)置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務(wù)本文檔將帶領(lǐng)您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務(wù)。創(chuàng)建集群本章簡單介紹了用戶使用UHadoop服務(wù)...
.png?v=1644489545)
摘要：架構(gòu)架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時可在控制臺開啟元數(shù)據(jù)獨(dú)立管理。若項目中已開啟過元數(shù)據(jù)獨(dú)立管理，則新集群開啟該功能時，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構(gòu)元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫獨(dú)立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數(shù)據(jù)庫，可在控制臺對其做管理。產(chǎn)品...
摘要：查看上的歷史日志查看上的歷史日志任務(wù)的日志在任務(wù)運(yùn)行結(jié)束之后會上傳到上，當(dāng)日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機(jī)上執(zhí)行 常用操作本篇目錄應(yīng)用的Web接口查看日志配置NFS掛載hdfs到本地應(yīng)用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務(wù)會在主節(jié)點(diǎn)上運(yùn)行（Active NameNode或...
摘要：產(chǎn)品價格產(chǎn)品價格產(chǎn)品價格托管集群價格根據(jù)節(jié)點(diǎn)類型及配置不同，北京上海廣州香港可用區(qū)詳細(xì)價格如下，其他可用區(qū)價格請咨詢技術(shù)支持。 產(chǎn)品價格托管 Hadoop 集群價格根據(jù)節(jié)點(diǎn)類型及配置不同 ，北京、上海、廣州、香港可用區(qū)詳細(xì)價格如下，其他可用區(qū)價格請咨詢技術(shù)支持。 節(jié)點(diǎn)類型機(jī)型名稱CPU內(nèi)存(G)硬盤(G)華北一E價格(元/月)國內(nèi)其他可用區(qū)價格（元/月）Master&?Task?計算優(yōu)化實例...
閱讀 454·2024-11-07 18:25
閱讀 130762·2024-02-01 10:43
閱讀 943·2024-01-31 14:58
閱讀 904·2024-01-31 14:54
閱讀 83000·2024-01-29 17:11
閱讀 3263·2024-01-25 14:55
閱讀 2056·2023-06-02 13:36
閱讀 3166·2023-05-23 10:26
