成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Hadoop集群數(shù)據(jù)均衡處理案例

IT那活兒 / 2579人閱讀
Hadoop集群數(shù)據(jù)均衡處理案例
點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。。?/strong>
一

背  景

某hadoop集群的某個(gè)datanode節(jié)點(diǎn)主機(jī)有壞盤(pán)，但是沒(méi)有配件及時(shí)更換，當(dāng)幾天后更換，啟動(dòng)datanode節(jié)點(diǎn)時(shí)，CM界面顯示對(duì)應(yīng)的XDYDAT10主機(jī)可用空間告警。如下圖：
檢查該datanode空間使用情況：hdfs使用率86.88%，剩余空間976.62GB，但是主機(jī)單個(gè)磁盤(pán)空間大都100%。如下圖：
而且執(zhí)行數(shù)據(jù)均衡時(shí)，顯示“Thecluster is balanced”，程序退出。

二

處理方法

通過(guò)CM界面，在HDFS實(shí)例界面，選擇XDYDAT10，停止其datanode服務(wù)。如下圖：
若干小時(shí)后(本次操作是3小時(shí)左右后)，通過(guò)CM界面，在HDFS實(shí)例界面，選擇XDYDAT10，啟動(dòng)其datanode服務(wù)。如下圖：
XDYDAT10主機(jī)datanode服務(wù)啟動(dòng)后，再次檢查空間使用情況：可用空間都在400GB以上。如下圖：
并且檢查所有datanode節(jié)點(diǎn)，停止和啟動(dòng)節(jié)點(diǎn)前后，hdfs使用情況：停止datanode服務(wù)前，很多空間使用達(dá)100%(如下左圖)；停止再次啟動(dòng)后，空間有所均衡，無(wú)100%使用情況(如下右圖)。
最后，再次執(zhí)行均衡操作，能正常執(zhí)行數(shù)據(jù)均衡，等待數(shù)據(jù)均衡即可。

三

均衡詳解

因當(dāng)前發(fā)生問(wèn)題的為老版本的cloudera集群（CDH5.2.1），在CDH5.10以前，balancer程序只會(huì)在節(jié)點(diǎn)之間平衡，當(dāng)所有節(jié)點(diǎn)與集群之間已經(jīng)平衡的情況下，運(yùn)行balancer程序并不會(huì)發(fā)生任何數(shù)據(jù)的遷移和轉(zhuǎn)移，只能采用本文使用的方法進(jìn)行嘗試，停止磁盤(pán)空間緊張的節(jié)點(diǎn)，讓hdfs為了維持?jǐn)?shù)據(jù)的3副本在其他數(shù)據(jù)節(jié)點(diǎn)生成已停止的datanode那部分冗余數(shù)據(jù)，然后再啟動(dòng)停止的datanode，以達(dá)到遷移數(shù)據(jù)的目的，釋放部分緊張的空間，但是此法并不智能。
在CDH5.10以后，hdfs加入了diskbalancer程序，可以在某個(gè)數(shù)據(jù)節(jié)點(diǎn)內(nèi)部，對(duì)多個(gè)磁盤(pán)數(shù)據(jù)使用率偏差太大的情況進(jìn)行平衡，此方法更智能更安全。
參數(shù)如下圖：
本案例，啟停磁盤(pán)空間不足的datanode節(jié)點(diǎn)后，再使用hdfsbalancer -threshold 1運(yùn)行均衡器進(jìn)行數(shù)據(jù)均衡，最終達(dá)到集群數(shù)據(jù)均衡。
HDFS均衡器是Hadoop提供的工具，使用該工具可以將數(shù)據(jù)從空間使用率高的datanodes移動(dòng)數(shù)據(jù)塊到利用不足的datanode節(jié)點(diǎn)，從而均衡集群的DataNode數(shù)據(jù)。其中threshold參數(shù)表示每個(gè)datanode的HDFS使用率于集群的平均DFS利用率的偏差百分比。另外，若直接運(yùn)行hdfsbalancer時(shí)，偏差百分比默認(rèn)值為10%。
希望以上解釋說(shuō)明對(duì)各位有所幫助。


本文作者：孫華偉（上海新炬王翦團(tuán)隊(duì)）

本文來(lái)源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129239.html

相關(guān)文章

  • Hadoop 托管Hadoop集群 UHadoop

    摘要：如果長(zhǎng)時(shí)間之后，集群的數(shù)據(jù)量還是不均衡，可以在集群管理頁(yè)面提交數(shù)據(jù)均衡請(qǐng)求，如下圖數(shù)據(jù)均衡數(shù)據(jù)均衡也可以在節(jié)點(diǎn)提交均衡命令是判斷集群是否平衡的目標(biāo)參數(shù)。 Hadoop本篇目錄訪問(wèn)HDFS數(shù)據(jù)提示Operation category READ is not supported in state standby？為什么HDFS實(shí)際可用空間比配置的?。繛槭裁?home/hadoop/etc/had...

    ernest.wang 評(píng)論0 收藏2864

  • Hadoop學(xué)習(xí)熱身——HDFS概念

    摘要：助輔助做元數(shù)據(jù)的備份。元數(shù)據(jù)存儲(chǔ)在內(nèi)存和磁盤(pán)中，這是因?yàn)榇疟P(pán)的讀寫(xiě)效率較低，而保存到內(nèi)存又有斷電消失的隱患。但磁盤(pán)中的元數(shù)據(jù)并不是最新的，內(nèi)存中的元數(shù)據(jù)才是實(shí)時(shí)的。將中的和復(fù)制到自身節(jié)點(diǎn)上并加載進(jìn)內(nèi)存，根據(jù)的記錄操作更改元數(shù)據(jù)信息。 HDFS(Hadoop Distributed File System ) 前言：最近正式進(jìn)入了大數(shù)據(jù)框架的學(xué)習(xí)階段，文章來(lái)自個(gè)人OneNote筆記全部...

    AnthonyHan 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<