摘要:創(chuàng)建集群時(shí)磁盤管理方式默認(rèn)為清理日志。集群運(yùn)行中選磁盤管理,然后可以修改磁盤管理方式和磁盤使用率閾值,調(diào)整后立即生效。
磁盤管理方式包括自動清理日志和無操作,清理日志即為當(dāng)磁盤到達(dá)設(shè)定的閾值時(shí)開始清理日志文件,避免由于磁盤寫滿導(dǎo)致Kafka服務(wù)不可用。
清理日志當(dāng)集群中某個(gè)節(jié)點(diǎn)的磁盤使用率達(dá)到您設(shè)定的閾值時(shí),UKafka會開始自動清理日志。
清理策略為:根據(jù)當(dāng)前節(jié)點(diǎn)上各 topic 實(shí)際占用比例與磁盤總?cè)萘?,按比例?jì)算要清理到磁盤閾值之下時(shí)各 topic 的占用,以這個(gè)值設(shè)置 topic 保留大小。當(dāng)磁盤使用率降低到閾值之下后,會恢復(fù) topic 的保留大小設(shè)置。
每個(gè) topic partition 在磁盤上會對應(yīng)多個(gè) segment 數(shù)據(jù)文件,segment 文件是可操作的最小單位,因此清理的最小粒度也是 1G。
當(dāng)集群磁盤使用達(dá)到閾值時(shí),如果 topic partition 的實(shí)際占用小于節(jié)點(diǎn)磁盤的 2%,為了防止 topic 限制過小導(dǎo)致不可用,清理服務(wù)會跳過這類 topic。
當(dāng) topic 占用增長過快時(shí),磁盤清理可能會被頻繁觸發(fā),磁盤清理策略可以預(yù)防磁盤寫滿導(dǎo)致 Kafka 服務(wù)不可用,但制定的清理策略只能被動的根據(jù) topic 實(shí)際占比來決定,并不是最符合實(shí)際業(yè)務(wù)需求的方案,因此當(dāng)出現(xiàn)這種情況時(shí),建議您根據(jù)自身業(yè)務(wù)對 topic 保留策略進(jìn)行調(diào)整。
開啟清理日志如果集群中所有 topic partition 都沒有達(dá)到清理限制的大小,但是因?yàn)?topic partition 總數(shù)太多導(dǎo)致磁盤占用率達(dá)到閾值,這時(shí)日志清理服務(wù)將不會進(jìn)行工作,這種情況必須由用戶自己調(diào)整 topic 或者擴(kuò)容集群
集群創(chuàng)建時(shí)和集群運(yùn)行中都可以開啟該功能。
創(chuàng)建集群時(shí)磁盤管理方式默認(rèn)為“清理日志”。不建議您選擇“無操作”,這樣會導(dǎo)致磁盤寫滿之后kafka服務(wù)不可用。
磁盤使用率閾值默認(rèn)為80%,可選范圍為70%~90%。
集群運(yùn)行中選“磁盤管理”,然后可以修改磁盤管理方式和磁盤使用率閾值,調(diào)整后立即生效。
無操作若選擇不由UKafka管理磁盤,十分建議您在監(jiān)控中開啟磁盤使用率告警,在磁盤使用率達(dá)到80%時(shí),可在控制臺清理各topic的舊日志。
清理方法為,選擇“topic管理”中的“更新配置”,在彈出窗口中調(diào)小“日志保存時(shí)間”。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/126904.html
摘要:大量的和分區(qū)會嚴(yán)重影響集群性能。介紹可參考收到離線分區(qū)總數(shù)異常告警一般是某個(gè)節(jié)點(diǎn)宕機(jī)或者服務(wù)異常導(dǎo)致。若服務(wù)卡住,可在評估后在控制臺重啟該節(jié)點(diǎn)服務(wù)。若想了解當(dāng)前請求延時(shí)情況,建議關(guān)注平均請求延時(shí)監(jiān)控項(xiàng)。 FAQs本篇目錄一個(gè)UKafka集群可以創(chuàng)建多少個(gè)Topic?如何增加Topic的副本數(shù)量(ReplicationFactor)?收到離線分區(qū)總數(shù)>=10.0個(gè)告警,離線分區(qū)總數(shù)是什么,怎么...
摘要:集群管理集群管理集群管理本篇目錄創(chuàng)建集群創(chuàng)建集群調(diào)整集群參數(shù)調(diào)整集群參數(shù)創(chuàng)建集群創(chuàng)建集群創(chuàng)建集群點(diǎn)擊控制臺左上角全部產(chǎn)品選擇消息隊(duì)列也可鎖定到左側(cè)菜單欄。選擇完畢后,進(jìn)入集群設(shè)置頁面,可對集群參數(shù)進(jìn)行配置。 集群管理本篇目錄創(chuàng)建集群調(diào)整集群參數(shù)創(chuàng)建集群1. 點(diǎn)擊控制臺左上角全部產(chǎn)品選擇Kafka消息隊(duì)列 UKafka,也可鎖定到左側(cè)菜單欄。2. 進(jìn)入U(xiǎn)Kafka操作界面,點(diǎn)擊創(chuàng)建集群進(jìn)行UK...
摘要:概覽概覽產(chǎn)品簡介操作指南集群管理節(jié)點(diǎn)管理磁盤管理管理管理監(jiān)控視圖監(jiān)控項(xiàng)說明開發(fā)指南快速開始認(rèn)證配置與外網(wǎng)訪問客戶端性能測試連接器產(chǎn)品介紹快速開始產(chǎn)品功能性能測試產(chǎn)品價(jià)格產(chǎn)品價(jià)格 概覽產(chǎn)品簡介操作指南集群管理節(jié)點(diǎn)管理磁盤管理Topic管理ConsumerGroup管理監(jiān)控視圖監(jiān)控項(xiàng)說明開發(fā)指南快速開始認(rèn)證配置與外網(wǎng)訪問客戶端SDK性能測試FAQsKafka連接器產(chǎn)品介紹快速開始產(chǎn)品功能性能測試...
摘要:監(jiān)控視圖監(jiān)控視圖監(jiān)控視圖集群監(jiān)控集群監(jiān)控提供小時(shí)至天多個(gè)維度的集群流入流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控,生產(chǎn)者消費(fèi)者監(jiān)控?cái)?shù)據(jù),以及相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控節(jié)點(diǎn)監(jiān)控提供每個(gè)上的磁盤網(wǎng)卡,服務(wù),以及監(jiān)控?cái)?shù)據(jù) 監(jiān)控視圖集群監(jiān)控提供1小時(shí)至15天多個(gè)維度的集群流入、流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控,Kafka生產(chǎn)者、消費(fèi)者監(jiān)控?cái)?shù)據(jù),以及Zookeeper相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控提供每個(gè)Broker上的CPU、MEM、磁...
摘要:快速開始本例以數(shù)據(jù)同步到來做說明。創(chuàng)建連接器點(diǎn)擊創(chuàng)建連接器按鈕,打開配置頁面。若下游為,則需配置路徑,若為,則需填寫信息。連接器列表詳情頁數(shù)據(jù)驗(yàn)證參考,為集群創(chuàng)建,并寫入消息到其中??焖匍_始本例以UKafka數(shù)據(jù)同步到UHadoop來做說明。創(chuàng)建連接器點(diǎn)擊【創(chuàng)建連接器】按鈕,打開配置頁面。配置連接器基本信息配置按需填寫?!旧嫌巍恳鉃镵afka連接器上游的Kafka集群,【下游】意為Kafka...
摘要:性能測試性能測試性能測試上游,下游是的連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型速度消息數(shù)核核核核核核核上游,下游是連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型版本機(jī)型節(jié)點(diǎn)數(shù)分片數(shù)副本數(shù)速度消息數(shù)核核核核核核核核核 性能測試上游UKafka,下游是UHadoop的HDFS 連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)broker數(shù)消息大小/byteskafka機(jī)型hadoopmasterhadoopcore速度(消息數(shù)/s)1331024...
閱讀 484·2024-11-07 18:25
閱讀 130851·2024-02-01 10:43
閱讀 961·2024-01-31 14:58
閱讀 925·2024-01-31 14:54
閱讀 83048·2024-01-29 17:11
閱讀 3312·2024-01-25 14:55
閱讀 2086·2023-06-02 13:36
閱讀 3208·2023-05-23 10:26