一、概述

Kafka 是一個(gè)消息系統(tǒng)，原本開發(fā)自 LinkedIn，用作 LinkedIn 的活動(dòng)流數(shù)據(jù)（Activity Stream）和運(yùn)營(yíng)數(shù)據(jù)處理管道（Pipeline）的基礎(chǔ)。現(xiàn)在它已被多家公司作為多種類型的數(shù)據(jù)管道和消息系統(tǒng)使用。

• 活動(dòng)流數(shù)據(jù) 是幾乎所有站點(diǎn)在對(duì)其網(wǎng)站使用情況做報(bào)表時(shí)都要用到的數(shù)據(jù)中最常規(guī)的部分。活動(dòng)數(shù)據(jù)包括頁面訪問量（Page View）、被查看內(nèi)容方面的信息以及搜索情況等內(nèi)容。這種數(shù)據(jù)通常的處理方式是先把各種活動(dòng)以日志的形式寫入某種文件，然后周期性地對(duì)這些文件進(jìn)行統(tǒng)計(jì)分析。
• 運(yùn)營(yíng)數(shù)據(jù) 指的是服務(wù)器的性能數(shù)據(jù)（CPU、IO 使用率、請(qǐng)求時(shí)間、服務(wù)日志等等數(shù)據(jù))，總的來說，運(yùn)營(yíng)數(shù)據(jù)的統(tǒng)計(jì)方法種類繁多。

Kafka通常用于應(yīng)用中的兩種廣播類型：

• 在系統(tǒng)和應(yīng)用間建立實(shí)時(shí)的數(shù)據(jù)管道，能夠可信賴的獲取數(shù)據(jù)。
• 建立實(shí)時(shí)的流應(yīng)用，可以處理或者響應(yīng)數(shù)據(jù)流。

由此可見，kafka給自身的定位并不只是一個(gè)消息系統(tǒng)，而是通過發(fā)布訂閱消息這種機(jī)制實(shí)現(xiàn)了流平臺(tái)。

作為一個(gè)分布式流平臺(tái)，通過需要具備以下三個(gè)關(guān)鍵能力：

1. 發(fā)布訂閱記錄流，和消息隊(duì)列或者企業(yè)新消息系統(tǒng)類似。
2. 以可容錯(cuò)、持久的方式保存記錄流
3. 當(dāng)記錄流產(chǎn)生時(shí)就進(jìn)行處理

Kafka和大多數(shù)消息系統(tǒng)一樣，搭建好kafka集群后，生產(chǎn)者向特定的topic生產(chǎn)消息，而消費(fèi)者通過訂閱topic，能夠準(zhǔn)實(shí)時(shí)的拉取到該topic新消息，進(jìn)行消費(fèi)。如下圖：

screenshot

kafka主要有以下特性：

• 消息持久化
• 高吞吐量
• 可擴(kuò)展性

尤其是高吞吐量，是他的最大賣點(diǎn)。kafka之所以能夠?qū)崿F(xiàn)高吞吐量，是基于他自身優(yōu)良的設(shè)計(jì)，及集群的可擴(kuò)展性。

Kafka應(yīng)用場(chǎng)景

• 消息系統(tǒng)
• 日志系統(tǒng)
• 流處理

二、基本術(shù)語

1. Broker：Kafka 集群包含一個(gè)或多個(gè)服務(wù)器，這種服務(wù)器被稱為 broker。

2. Topic：每條發(fā)布到 Kafka 集群的消息都有一個(gè)類別（主題），這個(gè)類別被稱為 Topic。（物理上不同 Topic 的消息分開存儲(chǔ)，邏輯上一個(gè) Topic 的消息雖然保存于一個(gè)或多個(gè) broker 上，但用戶只需指定消息的 Topic 即可生產(chǎn)或消費(fèi)數(shù)據(jù)而不必關(guān)心數(shù)據(jù)存于何處）。
   kafka中消息訂閱和發(fā)送都是基于某個(gè)topic。比如有個(gè)topic叫做NBA賽事信息，那么producer會(huì)把NBA賽事信息的消息發(fā)送到此topic下面。所有訂閱此topic的consumer將會(huì)拉取到此topic下的消息。Topic就像一個(gè)特定主題的收件箱，producer往里丟，consumer取走。

3. Partition：Partition 是物理上的概念，每個(gè) Topic 包含一個(gè)或多個(gè) Partition。

4. Producer：負(fù)責(zé)發(fā)布消息到 Kafka broker。

5. Consumer：消息消費(fèi)者，向 Kafka broker 讀取消息的客戶端。

6. Consumer Group：每個(gè) Consumer 屬于一個(gè)特定的 Consumer Group（可為每個(gè) Consumer 指定 group name，若不指定 group name 則屬于默認(rèn)的 group）。

三、主題（Topic）和日志（Log）

一個(gè)Topic可以認(rèn)為是一類消息，每個(gè)topic將被分成多個(gè)partition(區(qū)),每個(gè)partition在存儲(chǔ)層面是append log文件。任何發(fā)布到此partition的消息都會(huì)被直接追加到log文件的尾部，每條消息在文件中的位置稱為offset（偏移量），offset為一個(gè)long型數(shù)字，它用來唯一標(biāo)記某個(gè)分區(qū)內(nèi)的一條消息。kafka并沒有提供其它額外的索引機(jī)制來存儲(chǔ)offset，因?yàn)樵趉afka中幾乎不允許對(duì)消息進(jìn)行“隨機(jī)讀寫”。

screenshot

四、Consumer與topic關(guān)系以及機(jī)制

Kafka和其它消息系統(tǒng)有一個(gè)不一樣的設(shè)計(jì)，在consumer之上加了一層group。同一個(gè)group的consumer可以并行消費(fèi)同一個(gè)topic的消息，但是同group的consumer，不會(huì)重復(fù)消費(fèi)。這就好比多個(gè)consumer組成了一個(gè)團(tuán)隊(duì)，一起干活，當(dāng)然干活的速度就上來了。group中的consumer是如何配合協(xié)調(diào)的，其實(shí)和topic的分區(qū)相關(guān)聯(lián)，后面我們會(huì)詳細(xì)論述。

如果同一個(gè)topic需要被多次消費(fèi)，可以通過設(shè)立多個(gè)consumer group來實(shí)現(xiàn)。每個(gè)group分別消費(fèi)，互不影響。

• 如果所有的consumer都具有相同的group，這種情況和JMS queue模式很像，消息將會(huì)在consumers之間負(fù)載均衡。
• 如果所有的consumer都具有不同的group，那這就是"發(fā)布-訂閱"，消息將會(huì)廣播給所有的消費(fèi)者。

在kafka中，一個(gè)partition中的消息只會(huì)被group中的一個(gè)consumer消費(fèi)(同一時(shí)刻)，每個(gè)group中consumer消息消費(fèi)互相獨(dú)立，我們可以認(rèn)為一個(gè)group是一個(gè)"訂閱"者。一個(gè)Topic中的每個(gè)partions只會(huì)被一個(gè)"訂閱者"中的一個(gè)consumer消費(fèi)，不過一個(gè)consumer可以同時(shí)消費(fèi)多個(gè)partitions中的消息。

kafka只能保證一個(gè)partition中的消息被某個(gè)consumer消費(fèi)時(shí)是順序的。事實(shí)上，從Topic角度來說,，當(dāng)有多個(gè)partitions時(shí)，消息仍不是全局有序的。

通常情況下，一個(gè)group中會(huì)包含多個(gè)consumer，這樣不僅可以提高topic中消息的并發(fā)消費(fèi)能力，而且還能提高"故障容錯(cuò)"性。如果group中的某個(gè)consumer失效，那么其消費(fèi)的partitions將會(huì)有其他consumer自動(dòng)接管。kafka的設(shè)計(jì)原理決定對(duì)于一個(gè)topic，同一個(gè)group中不能有多于partitions個(gè)數(shù)的consumer同時(shí)消費(fèi)，否則將意味著某些consumer將無法得到消息。

---

參考文章如下：
作者：稀有氣體
來源：CSDN
原文：https://blog.csdn.net/liyiming2017/article/details/82790040