RocketMQ 架構(gòu)

img

Overview

Apache RocketMQ是一個(gè)具有低延遲、高性能和可靠性、萬億級容量和靈活可伸縮性的分布式消息流和流媒體平臺。它由四個(gè)部分組成:名稱服務(wù)器、代理(brokers)、生產(chǎn)者和消費(fèi)者。它們的每一個(gè)都可以橫向擴(kuò)展,而不會出現(xiàn)單點(diǎn)故障。如上圖所示。

命名服務(wù)器集群

名稱服務(wù)器提供輕量級服務(wù)發(fā)現(xiàn)和路由。每個(gè)名稱服務(wù)器記錄完整的路由信息,提供相應(yīng)的讀寫服務(wù),支持快速存儲擴(kuò)展。

Broker 集群

代理通過提供輕量級的TOPICQUEUE機(jī)制來處理消息存儲。它們支持推(Push)和拉(Pull)模型,包含容錯(cuò)機(jī)制(2個(gè)副本或3個(gè)副本),并通過在原始的時(shí)間順序中積累以百萬的信息,提供強(qiáng)大的峰值和容量填充。此外,代理還提供了災(zāi)難恢復(fù)、豐富的度量數(shù)據(jù)和警報(bào)機(jī)制,這些都是傳統(tǒng)消息傳遞系統(tǒng)中所缺少的。

Producer 集群

生產(chǎn)者支持分布式部署。分布式生產(chǎn)者通過多種負(fù)載均衡模式將消息發(fā)送到代理集群。發(fā)送過程支持快速失敗和低延遲。

Consumer 集群

消費(fèi)者也支持在推和拉模型中進(jìn)行分布式部署。它還支持集群消費(fèi)和消息廣播。它提供實(shí)時(shí)消息訂閱機(jī)制,可以滿足大多數(shù)客戶需求。RocketMQ的網(wǎng)站為感興趣的用戶提供了一個(gè)簡單的快速入門指南。

NameServer

NameServer是一個(gè)功能完備的服務(wù)器,主要包括兩個(gè)特性:

  • Broker 管理,NameServer接受來自Broker集群的注冊,并提供心跳機(jī)制來檢查Broker是否還活著。
  • 路由管理,每個(gè)名稱服務(wù)器將保存關(guān)于代理集群的整個(gè)路由信息和客戶查詢的隊(duì)列信息。

如我們所知,RocketMQ客戶端(生產(chǎn)者/消費(fèi)者)將從NameServer查詢隊(duì)列路由信息,但是客戶端如何找到NameServer地址?

有四種方法可以向客戶端提供NameServer地址列表:

  • 編程的方式,如rocketmq.namesrv.addr
  • Java參數(shù),使用rocketmq.namesrv.addr
  • 環(huán)境變量,使用NAMESRV_ADDR
  • HTTP端點(diǎn)

關(guān)于如何找到NameServer地址的更多細(xì)節(jié)請查閱 here.

Broker Server

代理服務(wù)器負(fù)責(zé)消息存儲和投遞、消息查詢、HA保證等等。

正如下圖所示,代理服務(wù)器有一些重要的子模塊:

  • Remoting模塊,代理的入口,處理來自客戶端的請求。
  • 客戶端管理,管理客戶端(生產(chǎn)者/消費(fèi)者)并維護(hù)消費(fèi)者的主題訂閱。
  • 存儲服務(wù),提供在物理磁盤中存儲或查詢消息的簡單api。
  • HA服務(wù),提供master broker和slave broker之間的數(shù)據(jù)同步功能。
  • 索引服務(wù),通過指定的鍵為消息構(gòu)建索引,并提供快速的消息查詢。
img
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容