摘要：什么是是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。這些數(shù)據(jù)通常是由于吞吐量的要求而通過(guò)處理日志和日志聚合來(lái)解決。高吞吐量即使是非常普通的硬件也可以支持每秒數(shù)百萬(wàn)的消息。

什么是kafka

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。 這種動(dòng)作（網(wǎng)頁(yè)瀏覽，搜索和其他用戶的行動(dòng)）是在現(xiàn)代網(wǎng)絡(luò)上的許多社會(huì)功能的一個(gè)關(guān)鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過(guò)處理日志和日志聚合來(lái)解決。 對(duì)于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又要求實(shí)時(shí)處理的限制，這是一個(gè)可行的解決方案。Kafka的目的是通過(guò)Hadoop的并行加載機(jī)制來(lái)統(tǒng)一線上和離線的消息處理，也是為了通過(guò)集群來(lái)提供實(shí)時(shí)的消費(fèi)。

kafka特性
通過(guò)O(1)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，這種結(jié)構(gòu)對(duì)于即使數(shù)以TB的消息存儲(chǔ)也能夠保持長(zhǎng)時(shí)間的穩(wěn)定性能。
高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒數(shù)百萬(wàn)的消息。
支持通過(guò)Kafka服務(wù)器和消費(fèi)機(jī)集群來(lái)分區(qū)消息。
支持Hadoop并行數(shù)據(jù)加載。

kafka術(shù)語(yǔ)含義
broker（代理）
　　Kafka集群包含一個(gè)或多個(gè)服務(wù)器，這種服務(wù)器被稱為broker
Topic
　　每條發(fā)布到Kafka集群的消息都有一個(gè)類別，這個(gè)類別被稱為Topic（可以理解為隊(duì)列queue或者目錄）。物理上不同Topic的消息分開存儲(chǔ)，邏輯上一個(gè)Topic的消息雖然保存于一個(gè)或多個(gè)broker上但用戶只需指定消息的Topic即可生產(chǎn)或消費(fèi)數(shù)據(jù)而不必關(guān)心數(shù)據(jù)存于何處?！　?br> Partition
Parition是物理上的概念（可以理解為文件夾），每個(gè)Topic包含一個(gè)或多個(gè)Partition。
Producer　　
　　生產(chǎn)者，負(fù)責(zé)發(fā)布消息到Kafka broker。
Consumer
　　消息消費(fèi)者，向Kafka broker讀取消息的客戶端。
Consumer Group
　　每個(gè)Consumer屬于一個(gè)特定的Consumer Group（可為每個(gè)Consumer指定group name，若不指定group name則屬于默認(rèn)的group）。

同zk一樣在192.168.1.11,192.168.1.12,192.168.1.13三臺(tái)機(jī)器上安裝

zk集群準(zhǔn)備
kafka通過(guò)Zookeeper管理集群配置，選舉leader，以及在Consumer Group發(fā)生變化時(shí)進(jìn)行rebalance。Producer使用push模式將消息發(fā)布到broker，Consumer使用pull模式從broker訂閱并消費(fèi)消息。雖然kafka自帶zk,不過(guò)只是standalone模式。zookeeper集群安裝可以看前面的文章。

download and install

wget http://mirrors.hust.edu.cn/ap...
mv kafka_2.12-0.11.0.1.tgz /usr/local
tar -xzf kafka_2.12-0.11.0.1.tgz
cd kafka_2.12-0.11.0.1.tgz

修改配置文件
vi config/server.properties

分發(fā)到另外2臺(tái)機(jī)器

scp -r /kafka_2.12-0.11.0.1 [email protected]:/usr/local
scp -r /kafka_2.12-0.11.0.1 [email protected]:/usr/local

分別修改server.properties中的broker.id的參數(shù)，保證3個(gè)節(jié)點(diǎn)的值不重復(fù)
listeners 中的監(jiān)聽ip改成本機(jī)ip
然后分別啟動(dòng)kafka服務(wù)

nohup /bin/kafka-server-start.sh config/server.properties > /dev/null &

檢查集群是否安裝成功
在192.168.1.13機(jī)器上創(chuàng)建一個(gè)topic

bin/kafka-topics.sh --create --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181 --replication-factor 3 --partitions 5 --topic kafka-distrub-test

在192.168.1.11上查看該topic的信息

bin/kafka-topics.sh --describe --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181  --topic kafka-distrub-test

返回結(jié)果如下則表示kafka集群安裝成功

如果將broker.id=2的機(jī)器上的kafka服務(wù)關(guān)閉，集群會(huì)自動(dòng)重新選舉一個(gè)broker作為leader。所有kafka的動(dòng)態(tài)擴(kuò)容是非常方便的。

因?yàn)槲覍懥藗€(gè)用java程序模擬consumer和producer，所有這里就不對(duì)這兩個(gè)命令做介紹了，demo地址：