1. JDK 1.8

2. Zookeeper

3. kafka_2.11-2.0.0

1. zookeeper：3臺(tái)節(jié)點(diǎn)機(jī)集群
   

2. kafka：3臺(tái)節(jié)點(diǎn)機(jī)集群

1. 準(zhǔn)備好kafka安裝包，獲取kafka_2.11-2.0.0版本包。

2. 下載好kafka安裝包后，將其解壓到指定目錄下（例如/usr/local目錄下），刪除壓縮包。

3. 示例將搭建三個(gè)節(jié)點(diǎn)作為kafka集群，分別是10.183.157.212，10.183.156.159，10.183.151.113。

4. 修改kafka啟動(dòng)內(nèi)存

   Vi kafka-server-start.sh

   修改export KAFKA_HEAP_OPTS="-Xmx4G -Xms1G"

5. 進(jìn)入kafka的config目錄查看配置文件，zookeeper.properties為zookeeper集群配置文件，server.properties為kafka配置文件
   
   

6. 首先建立zookeeper集群，編輯zookeeper.properties，三個(gè)機(jī)器上的zookeeper.properties文件配置相同，需要注意的是日志保存路徑dataLogDir不會(huì)自動(dòng)生成，需要自己手動(dòng)建立相關(guān)的路徑。dataDir目錄，為zookeeper目錄，也需要手動(dòng)進(jìn)行創(chuàng)建。

   

7. 創(chuàng)建myid文件，進(jìn)入步驟5中創(chuàng)建的dataDir目錄，創(chuàng)建myid文件，myid是zk集群用來(lái)發(fā)現(xiàn)彼此的標(biāo)識(shí)，必須創(chuàng)建，且不能相同。將三個(gè)服務(wù)器上的myid文件分別寫入1，2，3，對(duì)應(yīng)步驟6中的server.1、server.2、server.3，如圖：

   
   

8. 進(jìn)入kafka的bin目錄執(zhí)行啟動(dòng)zookeeper命令：sh zookeeper-server-start.sh /usr/local/kafka_2.11-0.10.1.1/bin/zookeeper.properties &，三臺(tái)機(jī)器都執(zhí)行啟動(dòng)命令，沒(méi)有報(bào)錯(cuò)就說(shuō)明zookeeper集群?jiǎn)?dòng)成功了。

9. 搭建kafka集群，修改server.properties配置文件，server.properties配置文件的修改主要在開頭和結(jié)尾，中間保持默認(rèn)配置即可；需要注意的點(diǎn)是broker.id的值三個(gè)節(jié)點(diǎn)要配置不同的值，分別配置為0，1，2；log.dirs必須保證目錄存在，不會(huì)根據(jù)配置文件自動(dòng)生成。，需要修改的配置項(xiàng)如下：

   #非負(fù)整數(shù)，用于唯一標(biāo)識(shí)broker，每個(gè)節(jié)點(diǎn)要配置不同的值

   broker.id=0

   #broker接收連接請(qǐng)求的端口

   port 9091

   #broker 處理消息的最大線程數(shù)

   num.network.threads=32

   #broker處理磁盤IO 的線程數(shù) ，數(shù)值應(yīng)該大于你的硬盤數(shù)

   num.io.threads=8

   #kafka持久化數(shù)據(jù)存儲(chǔ)的路徑，可以指定多個(gè)，以逗號(hào)分隔

   log.dirs=/tmp/kafka-logs

   #每個(gè)topic的分區(qū)個(gè)數(shù)，若是在topic創(chuàng)建時(shí)候沒(méi)有指定的話 會(huì)被topic創(chuàng)建時(shí)的指定參數(shù)覆蓋

   num.partitions=18

   #數(shù)據(jù)存儲(chǔ)的最大時(shí)間 超過(guò)這個(gè)時(shí)間 會(huì)根據(jù)log.cleanup.policy設(shè)置的策略處理數(shù)據(jù)，也就是消費(fèi)端能夠多久去消費(fèi)數(shù)據(jù)

   log.retention.hours=48

   zookeeper.connect=10.183.157.212:2181,10.183.156.159:2181, 10.183.151.113:2181

   

10. 啟動(dòng)kafka集群，進(jìn)入kafka的bin目錄，執(zhí)行如下命令 ：

    sh kafka-server-start.sh -daemon ../config/server.properties &

    三個(gè)節(jié)點(diǎn)均要啟動(dòng)；啟動(dòng)無(wú)報(bào)錯(cuò)，即搭建成功，可以生產(chǎn)和消費(fèi)消息，來(lái)檢測(cè)是否搭建成功。

Kafka常用命令介紹

（均需要進(jìn)入kafka的bin目錄下執(zhí)行）

列舉topic

sh kafka-topics.sh --zookeeper 10.183.157.212:2181,10.183.156.159:2181,10.183.151.113:2181 --list

END

更多精彩干貨分享

點(diǎn)擊下方名片關(guān)注

IT那活兒