Overview
Apache RocketMQ是一個(gè)具有低延遲、高性能和可靠性、萬(wàn)億級(jí)容量和靈活可伸縮性的分布式消息流和流媒體平臺(tái)。它由四個(gè)部分組成:名稱服務(wù)器、代理(brokers)、生產(chǎn)者和消費(fèi)者。它們的每一個(gè)都可以橫向擴(kuò)展,而不會(huì)出現(xiàn)單點(diǎn)故障。如上圖所示。
命名服務(wù)器集群
名稱服務(wù)器提供輕量級(jí)服務(wù)發(fā)現(xiàn)和路由。每個(gè)名稱服務(wù)器記錄完整的路由信息,提供相應(yīng)的讀寫(xiě)服務(wù),支持快速存儲(chǔ)擴(kuò)展。
Broker 集群
代理通過(guò)提供輕量級(jí)的TOPIC和QUEUE機(jī)制來(lái)處理消息存儲(chǔ)。它們支持推(Push)和拉(Pull)模型,包含容錯(cuò)機(jī)制(2個(gè)副本或3個(gè)副本),并通過(guò)在原始的時(shí)間順序中積累以百萬(wàn)的信息,提供強(qiáng)大的峰值和容量填充。此外,代理還提供了災(zāi)難恢復(fù)、豐富的度量數(shù)據(jù)和警報(bào)機(jī)制,這些都是傳統(tǒng)消息傳遞系統(tǒng)中所缺少的。
Producer 集群
生產(chǎn)者支持分布式部署。分布式生產(chǎn)者通過(guò)多種負(fù)載均衡模式將消息發(fā)送到代理集群。發(fā)送過(guò)程支持快速失敗和低延遲。
Consumer 集群
消費(fèi)者也支持在推和拉模型中進(jìn)行分布式部署。它還支持集群消費(fèi)和消息廣播。它提供實(shí)時(shí)消息訂閱機(jī)制,可以滿足大多數(shù)客戶需求。RocketMQ的網(wǎng)站為感興趣的用戶提供了一個(gè)簡(jiǎn)單的快速入門(mén)指南。
NameServer
NameServer是一個(gè)功能完備的服務(wù)器,主要包括兩個(gè)特性:
- Broker 管理,NameServer接受來(lái)自Broker集群的注冊(cè),并提供心跳機(jī)制來(lái)檢查Broker是否還活著。
- 路由管理,每個(gè)名稱服務(wù)器將保存關(guān)于代理集群的整個(gè)路由信息和客戶查詢的隊(duì)列信息。
如我們所知,RocketMQ客戶端(生產(chǎn)者/消費(fèi)者)將從NameServer查詢隊(duì)列路由信息,但是客戶端如何找到NameServer地址?
有四種方法可以向客戶端提供NameServer地址列表:
- 編程的方式,如
rocketmq.namesrv.addr
- Java參數(shù),使用
rocketmq.namesrv.addr
- 環(huán)境變量,使用
NAMESRV_ADDR
- HTTP端點(diǎn)
關(guān)于如何找到NameServer地址的更多細(xì)節(jié)請(qǐng)查閱 here.
Broker Server
代理服務(wù)器負(fù)責(zé)消息存儲(chǔ)和投遞、消息查詢、HA保證等等。
正如下圖所示,代理服務(wù)器有一些重要的子模塊:
- Remoting模塊,代理的入口,處理來(lái)自客戶端的請(qǐng)求。
- 客戶端管理,管理客戶端(生產(chǎn)者/消費(fèi)者)并維護(hù)消費(fèi)者的主題訂閱。
- 存儲(chǔ)服務(wù),提供在物理磁盤(pán)中存儲(chǔ)或查詢消息的簡(jiǎn)單api。
- HA服務(wù),提供master broker和slave broker之間的數(shù)據(jù)同步功能。
- 索引服務(wù),通過(guò)指定的鍵為消息構(gòu)建索引,并提供快速的消息查詢。