kafka是一個(gè)分布式、支持分區(qū)的（partition）、多副本的（replica），基于zookeeper協(xié)調(diào)的分布式消息系統(tǒng)，它的最大的特性就是可以實(shí)時(shí)的處理大量數(shù)據(jù)以滿足各種需求場(chǎng)景。

2.1 基礎(chǔ)架構(gòu)與名詞解釋

• Producer：Producer即生產(chǎn)者，消息的產(chǎn)生者，是消息的入口。
• Broker：Broker是kafka實(shí)例，每個(gè)服務(wù)器上有一個(gè)或多個(gè)kafka的實(shí)例，我們姑且認(rèn)為每個(gè)broker對(duì)應(yīng)一臺(tái)服務(wù)器。每個(gè)kafka集群內(nèi)的broker都有一個(gè)不重復(fù)的編號(hào)，如圖中的broker-0、broker-1等……
• Topic：消息的主題，可以理解為消息的分類(lèi)，kafka的數(shù)據(jù)就保存在topic。在每個(gè)broker上都可以創(chuàng)建多個(gè)topic。
• Partition：Topic的分區(qū)，每個(gè)topic可以有多個(gè)分區(qū)，分區(qū)的作用是做負(fù)載，提高kafka的吞吐量。同一個(gè)topic在不同的分區(qū)的數(shù)據(jù)是不重復(fù)的，partition的表現(xiàn)形式就是一個(gè)一個(gè)的文件夾！
• Replication:每一個(gè)分區(qū)都有多個(gè)副本，副本的作用是做備胎。當(dāng)主分區(qū)（Leader）故障的時(shí)候會(huì)選擇一個(gè)備胎（Follower）上位，成為L(zhǎng)eader。在kafka中默認(rèn)副本的最大數(shù)量是10個(gè)，且副本的數(shù)量不能大于Broker的數(shù)量，follower和leader絕對(duì)是在不同的機(jī)器，同一機(jī)器對(duì)同一個(gè)分區(qū)也只可能存放一個(gè)副本（包括自己）。
• Message：每一條發(fā)送的消息主體。
• Consumer：消費(fèi)者，即消息的消費(fèi)方，是消息的出口。
• Consumer Group：我們可以將多個(gè)消費(fèi)組組成一個(gè)消費(fèi)者組，在kafka的設(shè)計(jì)中同一個(gè)分區(qū)的數(shù)據(jù)只能被消費(fèi)者組中的某一個(gè)消費(fèi)者消費(fèi)。同一個(gè)消費(fèi)者組的消費(fèi)者可以消費(fèi)同一個(gè)topic的不同分區(qū)的數(shù)據(jù)，這也是為了提高kafka的吞吐量！
• Zookeeper：kafka集群依賴(lài)zookeeper來(lái)保存集群的的元信息，來(lái)保證系統(tǒng)的可用性。

2.2 工作流程分析

2.2.1 發(fā)送數(shù)據(jù)

kafka為什么要做分區(qū)呢？分區(qū)的主要目的是：

• 方便擴(kuò)展：因?yàn)橐粋€(gè)topic可以有多個(gè)partition，所以我們可以通過(guò)擴(kuò)展機(jī)器去輕松的應(yīng)對(duì)日益增長(zhǎng)的數(shù)據(jù)量。
• 提高并發(fā)：以partition為讀寫(xiě)單位，可以多個(gè)消費(fèi)者同時(shí)消費(fèi)數(shù)據(jù)，提高了消息的處理效率。

• partition在寫(xiě)入的時(shí)候可以指定需要寫(xiě)入的partition，如果有指定，則寫(xiě)入對(duì)應(yīng)的partition。
• 如果沒(méi)有指定partition，但是設(shè)置了數(shù)據(jù)的key，則會(huì)根據(jù)key的值hash出一個(gè)partition。
• 如果既沒(méi)指定partition，又沒(méi)有設(shè)置key，則會(huì)輪詢(xún)選出一個(gè)partition。

通過(guò)上圖中的通過(guò)ACK應(yīng)答機(jī)制！在生產(chǎn)者向隊(duì)列寫(xiě)入數(shù)據(jù)的時(shí)候可以設(shè)置參數(shù)來(lái)確定是否確認(rèn)kafka接收到數(shù)據(jù)，這個(gè)參數(shù)可設(shè)置的值為0、1、all。

• 0代表producer往集群發(fā)送數(shù)據(jù)不需要等到集群的返回，不確保消息發(fā)送成功。安全性最低但是效率最高。
• 1代表producer往集群發(fā)送數(shù)據(jù)只要leader應(yīng)答就可以發(fā)送下一條，只確保leader發(fā)送成功。
• all代表producer往集群發(fā)送數(shù)據(jù)需要所有的follower都完成從leader的同步才會(huì)發(fā)送下一條，確保leader發(fā)送成功和所有的副本都完成備份。安全性最高，但是效率最低。

2.2.2 保存數(shù)據(jù)

log文件就實(shí)際是存儲(chǔ)message的地方，我們?cè)趐roducer往kafka寫(xiě)入的也是一條一條的message，那存儲(chǔ)在log中的message是什么樣子的呢？消息主要包含消息體、消息大小、offset、壓縮類(lèi)型……等等！

我們重點(diǎn)需要知道的是下面三個(gè)：

• offset：offset是一個(gè)占8byte的有序id號(hào)，它可以唯一確定每條消息在parition內(nèi)的位置！
• 消息大?。合⒋笮≌加?byte，用于描述消息的大小。
• 消息體：消息體存放的是實(shí)際的消息數(shù)據(jù)（被壓縮過(guò)），占用的空間根據(jù)具體的消息而不一樣。

無(wú)論消息是否被消費(fèi)，kafka都會(huì)保存所有的消息。那對(duì)于舊數(shù)據(jù)有什么刪除策略呢？

• 基于時(shí)間，默認(rèn)配置是168小時(shí)（7天）。
• 基于大小，默認(rèn)配置是1073741824。

2.2.3 消費(fèi)數(shù)據(jù)

一般消息系統(tǒng)，consumer存在兩種消費(fèi)模型：

• push：優(yōu)勢(shì)在于消息實(shí)時(shí)性高。劣勢(shì)在于沒(méi)有考慮consumer消費(fèi)能力和飽和情況，容易導(dǎo)致producer壓垮consumer。
• pull：優(yōu)勢(shì)在可以控制消費(fèi)速度和消費(fèi)數(shù)量，保證consumer不會(huì)出現(xiàn)飽和。劣勢(shì)在于當(dāng)沒(méi)有數(shù)據(jù)，會(huì)出現(xiàn)空輪詢(xún)，消耗cpu。

• 1）先找到offset的368801message所在的segment文件（利用二分法查找），這里找到的就是在第二個(gè)segment文件。
• 2）打開(kāi)找到的segment中的.index文件（也就是368796.index文件，該文件起始偏移量為368796+1，我們要查找的offset為368801的message在該index內(nèi)的偏移量為368796+5=368801，所以這里要查找的相對(duì)offset為5）。由于該文件采用的是稀疏索引的方式存儲(chǔ)著相對(duì)offset及對(duì)應(yīng)message物理偏移量的關(guān)系，所以直接找相對(duì)offset為5的索引找不到，這里同樣利用二分法查找相對(duì)offset小于或者等于指定的相對(duì)offset的索引條目中最大的那個(gè)相對(duì)offset，所以找到的是相對(duì)offset為4的這個(gè)索引。
• 3）根據(jù)找到的相對(duì)offset為4的索引確定message存儲(chǔ)的物理偏移位置為256。打開(kāi)數(shù)據(jù)文件，從位置為256的那個(gè)地方開(kāi)始順序掃描直到找到offset為368801的那條Message。