智能大數(shù)據(jù)平臺-存儲類服務(wù)管理 USDP

ernest.wang 發(fā)布于2022-07-12 17:44 / 898人閱讀

摘要：服務(wù)配置文件修改服務(wù)配置文件修改參考服務(wù)配置文件管理方式。其他存儲類服務(wù)管理其他存儲類服務(wù)管理其他存儲類服務(wù)管理其他存儲服務(wù)還有等，對這些存儲服務(wù)的管理方式，均與本篇指南中服務(wù)管理的管理方式類似，此處不再過多贅述。

存儲類服務(wù)管理

本篇目錄

Zookeeper服務(wù)管理 HDFS服務(wù)管理其他存儲類服務(wù)管理

在USDP1.0.0.0版本中，集群存儲類服務(wù)組件主要有Elasticsearch、HBase、HDFS、Kafka、KUDU、Zookeeper在內(nèi)的6個服務(wù)組件，下面將以Zookeeper及HDFS為代表展示存儲類組件的管理操作方式。

通過本篇指南，您可以了解到：

Zookeeper服務(wù)管理 HDFS服務(wù)管理其他存儲類服務(wù)管理

Zookeeper服務(wù)管理

點(diǎn)擊選擇左邊菜單導(dǎo)航欄-“服務(wù)管理”-“存儲類”，在展開的子類中點(diǎn)擊“ZOOKEEPER”，即可在右側(cè)窗口打開Zookeeper的管理頁面，如下圖：

storage_zk

Zookeeper 服務(wù)詳情概覽

USDP會對支持的單個組件服務(wù)實(shí)現(xiàn)監(jiān)控，并在USDP控制臺進(jìn)行相關(guān)監(jiān)控指標(biāo)的可視化展示。

Zookeeper服務(wù)管理首頁展示了Zookeeper服務(wù)的監(jiān)控指標(biāo)（Leader數(shù)量、Followers數(shù)量、未同步的Followers數(shù)量、等待同步的數(shù)量、臨時節(jié)點(diǎn)數(shù)、數(shù)據(jù)大小、Znode數(shù)量，以及該服務(wù)不同角色對應(yīng)的一些更細(xì)致的指標(biāo)情況）如下圖所示：

storage_zk_details

控制臺監(jiān)控指標(biāo)可視化支持按時間進(jìn)行查看，USDP預(yù)置了一些時間周期（默認(rèn)為“1小時內(nèi)”，還有“6小時內(nèi)”、“12小時內(nèi)”、“1天內(nèi)”、“7天內(nèi)”、“15天內(nèi)”、“30天內(nèi)”），也支持時間周期“自定義”，如下圖所示：

storage_zk_details_time

Zookeeper服務(wù)相關(guān)組件管理

在Zookeeper組件管理頁面種，點(diǎn)擊“組件管理”選項(xiàng)卡，打開Zookeeper相關(guān)組件管理列表，如下圖所示：

storage_zk_subpart

在該管理頁面中，支持對Zookeeper分布的多臺節(jié)點(diǎn)上的QuarumPeermain組件進(jìn)行單一/批量節(jié)點(diǎn)操作（服務(wù)的啟動、停止、重啟、刪除等），如下圖所示：

storage_zk_subpart_operate

例如，對所有節(jié)點(diǎn)上的QuarumPeermain組件進(jìn)行“停止”運(yùn)行狀態(tài)操作時，管理平臺將自動檢測所選組件當(dāng)前的工作狀態(tài)，如下圖所示：

storage_zk_subpart_operate_stop

例如，對所有節(jié)點(diǎn)上的QuarumPeermain組件進(jìn)行“刪除”操作時，管理平臺將給您做出警示提醒，請您仔細(xì)閱讀提示信息，確保此次操作不是誤操作。如下圖所示：

storage_zk_subpart_operate_delete

點(diǎn)擊“確認(rèn)”刪除按鈕，管理平臺將自動檢測所選組件當(dāng)前的工作狀態(tài)，QuarumPeermain組件正在運(yùn)行（“已啟動”狀態(tài)）時，是不允許直接刪除的。如下圖所示：

storage_zk_subpart_operate_delete_true

若確認(rèn)需要刪除所選QuarumPeermain組件，請先“停止”運(yùn)行，并再次執(zhí)行“刪除”操作。

Zookeeper 服務(wù)組件擴(kuò)展

USDP管理控制臺支持對當(dāng)前Zookeeper服務(wù)擴(kuò)展更多節(jié)點(diǎn)。如下圖所示：

storage_zk_subpart_add

點(diǎn)擊“新增組件”按鈕，進(jìn)入“新增組件或服務(wù)”向?qū)В缦聢D所示：

storage_zk_subpart_add_guide1

選擇QuarumPeermain組件需要擴(kuò)展的節(jié)點(diǎn)主機(jī)，如下對話框截圖所示：

storage_zk_subpart_add_guide2

管理平臺檢測出，已加入該平臺的所有節(jié)點(diǎn)主機(jī)中，udp02節(jié)點(diǎn)上暫未運(yùn)行QuarumPeermain組件，“勾選”udp02左側(cè)的復(fù)選框，點(diǎn)擊“確定”按鈕，進(jìn)入“部署信息總覽”向?qū)ы?，如下圖所示：

storage_zk_subpart_add_guide3

經(jīng)瀏覽確認(rèn)無誤，點(diǎn)擊“開始部署”按鈕，管理平臺將為udp02節(jié)點(diǎn)安全QuarumPeermain組件，安裝無誤，將顯示安裝成功狀態(tài)，平臺會自動啟動該組件，如下圖所示：

storage_zk_subpart_add_guide4

安裝進(jìn)度完成后，點(diǎn)擊“完成”按鈕。如下圖所示：

storage_zk_subpart_add_guide5

此時，可根據(jù)向?qū)е斜韱我螅x擇需要擴(kuò)展的新集群節(jié)點(diǎn)及服務(wù)預(yù)覽等，點(diǎn)擊“開始部署”即可完成服務(wù)擴(kuò)展操作。

Zookeeper服務(wù)配置文件修改

參考服務(wù)配置文件管理方式。

HDFS服務(wù)管理

點(diǎn)擊選擇左邊菜單導(dǎo)航欄-“服務(wù)管理”-“存儲類”，在展開的子類中點(diǎn)擊“HDFS”，即可在右側(cè)窗口打開Hdfs的管理頁面，如下圖：

storage_hdfs

HDFS 服務(wù)詳情概覽

HDFS服務(wù)管理首頁展示了HDFS服務(wù)的監(jiān)控指標(biāo)（NameNode是否存活、NameNode Active正常、JournalNode是否存活、ZKFC是否存活、Datanode死亡數(shù)、Datanode存活數(shù)、Datanode心跳超時數(shù)、HDFS空間使用率、HDFS塊丟失數(shù)、Block副本損壞個數(shù)、壞盤數(shù)量、Block個數(shù)、HDFS文件及目錄個數(shù)、HDFS已用容量、HDFS副本不足的Block數(shù)、未分配給HDFS的磁盤大小、可用堆內(nèi)存、初始堆內(nèi)存等）如下圖所示：

storage_hdfs_details