摘要:集群管理集群管理集群管理本篇目錄創(chuàng)建集群創(chuàng)建集群調(diào)整集群參數(shù)調(diào)整集群參數(shù)創(chuàng)建集群創(chuàng)建集群創(chuàng)建集群點(diǎn)擊控制臺(tái)左上角全部產(chǎn)品選擇消息隊(duì)列也可鎖定到左側(cè)菜單欄。選擇完畢后,進(jìn)入集群設(shè)置頁(yè)面,可對(duì)集群參數(shù)進(jìn)行配置。
1. 點(diǎn)擊控制臺(tái)左上角“全部產(chǎn)品”選擇“Kafka消息隊(duì)列 UKafka”,也可鎖定到左側(cè)菜單欄。
2. 進(jìn)入U(xiǎn)Kafka操作界面,點(diǎn)擊“創(chuàng)建集群”進(jìn)行UKafka集群創(chuàng)建。
3. 選擇相應(yīng)Kafka版本和業(yè)務(wù)需求量,以及節(jié)點(diǎn)機(jī)型與數(shù)量,集群最小規(guī)模至少3個(gè)節(jié)點(diǎn)。選擇完畢后,進(jìn)入集群設(shè)置頁(yè)面,可對(duì)集群參數(shù)進(jìn)行配置。
集群可選機(jī)型可參考:機(jī)型列表
集群可配置參數(shù)見(jiàn)下表(集群已有默認(rèn)配置,以下配置請(qǐng)您在確認(rèn)實(shí)際需求后再更改):
參數(shù)名稱(chēng)參數(shù)類(lèi)型參數(shù)范圍釋義auto.create.topics.enablebooltrue/false是否允許自動(dòng)創(chuàng)建Topicauto.leader.rebalance.enablebooltrue/false是否開(kāi)啟節(jié)點(diǎn)間數(shù)據(jù)均衡default.replication.factorint1-10默認(rèn)復(fù)制因子數(shù)量delete.topic.enablebooltrue/false是否允許刪除topic信息log.cleaner.delete.retention.msint1-2147483646壓縮日志最長(zhǎng)保留時(shí)間log.cleaner.enablebooltrue/false是否開(kāi)啟壓縮日志清理log.cleanup.policystringdelete/compact日志清理策略,刪除/壓縮log.retention.hoursint1-10000日志最小保留時(shí)間log.segment.bytesint1-2147483646每個(gè)segment文件的大小message.max.bytesint1-2147483646消息體的最大大小num.io.threadsint1-32處理磁盤(pán)IO的線(xiàn)程數(shù)num.network.threadsint1-32處理網(wǎng)絡(luò)請(qǐng)求的線(xiàn)程數(shù)num.partitionsint1-1000分區(qū)數(shù)量replica.fetch.max.bytesint1-2147483646副本同步時(shí)消息的最大尺寸zookeeper.session.timeout.msint1-2147483646zksession超時(shí)時(shí)間zookeeper.connection.timeout.msint1-2147483646客戶(hù)端連接zk超時(shí)時(shí)間zookeeper.sync.time.msint1-2147483646zk信息同步間隔replica.fetch.max.bytes須大于等于message.max.bytes;
num.io.threads與num.network.threads可控制節(jié)點(diǎn)負(fù)載與集群性能均衡。
同創(chuàng)建集群,創(chuàng)建完畢后,也可調(diào)整Kafka服務(wù)的配置參數(shù)。參數(shù)內(nèi)容詳見(jiàn)上表。
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/126898.html
摘要:大量的和分區(qū)會(huì)嚴(yán)重影響集群性能。介紹可參考收到離線(xiàn)分區(qū)總數(shù)異常告警一般是某個(gè)節(jié)點(diǎn)宕機(jī)或者服務(wù)異常導(dǎo)致。若服務(wù)卡住,可在評(píng)估后在控制臺(tái)重啟該節(jié)點(diǎn)服務(wù)。若想了解當(dāng)前請(qǐng)求延時(shí)情況,建議關(guān)注平均請(qǐng)求延時(shí)監(jiān)控項(xiàng)。 FAQs本篇目錄一個(gè)UKafka集群可以創(chuàng)建多少個(gè)Topic?如何增加Topic的副本數(shù)量(ReplicationFactor)?收到離線(xiàn)分區(qū)總數(shù)>=10.0個(gè)告警,離線(xiàn)分區(qū)總數(shù)是什么,怎么...
摘要:快速開(kāi)始本例以數(shù)據(jù)同步到來(lái)做說(shuō)明。創(chuàng)建連接器點(diǎn)擊創(chuàng)建連接器按鈕,打開(kāi)配置頁(yè)面。若下游為,則需配置路徑,若為,則需填寫(xiě)信息。連接器列表詳情頁(yè)數(shù)據(jù)驗(yàn)證參考,為集群創(chuàng)建,并寫(xiě)入消息到其中??焖匍_(kāi)始本例以UKafka數(shù)據(jù)同步到UHadoop來(lái)做說(shuō)明。創(chuàng)建連接器點(diǎn)擊【創(chuàng)建連接器】按鈕,打開(kāi)配置頁(yè)面。配置連接器基本信息配置按需填寫(xiě)?!旧嫌巍恳鉃镵afka連接器上游的Kafka集群,【下游】意為Kafka...
摘要:概覽概覽產(chǎn)品簡(jiǎn)介操作指南集群管理節(jié)點(diǎn)管理磁盤(pán)管理管理管理監(jiān)控視圖監(jiān)控項(xiàng)說(shuō)明開(kāi)發(fā)指南快速開(kāi)始認(rèn)證配置與外網(wǎng)訪(fǎng)問(wèn)客戶(hù)端性能測(cè)試連接器產(chǎn)品介紹快速開(kāi)始產(chǎn)品功能性能測(cè)試產(chǎn)品價(jià)格產(chǎn)品價(jià)格 概覽產(chǎn)品簡(jiǎn)介操作指南集群管理節(jié)點(diǎn)管理磁盤(pán)管理Topic管理ConsumerGroup管理監(jiān)控視圖監(jiān)控項(xiàng)說(shuō)明開(kāi)發(fā)指南快速開(kāi)始認(rèn)證配置與外網(wǎng)訪(fǎng)問(wèn)客戶(hù)端SDK性能測(cè)試FAQsKafka連接器產(chǎn)品介紹快速開(kāi)始產(chǎn)品功能性能測(cè)試...
摘要:監(jiān)控視圖監(jiān)控視圖監(jiān)控視圖集群監(jiān)控集群監(jiān)控提供小時(shí)至天多個(gè)維度的集群流入流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控,生產(chǎn)者消費(fèi)者監(jiān)控?cái)?shù)據(jù),以及相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控節(jié)點(diǎn)監(jiān)控提供每個(gè)上的磁盤(pán)網(wǎng)卡,服務(wù),以及監(jiān)控?cái)?shù)據(jù) 監(jiān)控視圖集群監(jiān)控提供1小時(shí)至15天多個(gè)維度的集群流入、流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控,Kafka生產(chǎn)者、消費(fèi)者監(jiān)控?cái)?shù)據(jù),以及Zookeeper相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控提供每個(gè)Broker上的CPU、MEM、磁...
摘要:性能測(cè)試性能測(cè)試性能測(cè)試在不同機(jī)型集群默認(rèn)配置下,利用腳本進(jìn)行性能基準(zhǔn)測(cè)試測(cè)試結(jié)果下載 性能測(cè)試在不同機(jī)型 ukafka 集群默認(rèn)配置下,利用 kafka-producer-perf-test.sh 腳本進(jìn)行性能基準(zhǔn)測(cè)試測(cè)試結(jié)果下載
閱讀 836·2025-02-07 13:29
閱讀 644·2024-11-07 18:25
閱讀 131094·2024-02-01 10:43
閱讀 1060·2024-01-31 14:58
閱讀 1022·2024-01-31 14:54
閱讀 83215·2024-01-29 17:11
閱讀 3497·2024-01-25 14:55
閱讀 2217·2023-06-02 13:36