RocketMQ 架構(gòu)

img

Overview

Apache RocketMQ是一個(gè)具有低延遲、高性能和可靠性、萬(wàn)億級(jí)容量和靈活可伸縮性的分布式消息流和流媒體平臺(tái)。它由四個(gè)部分組成:名稱服務(wù)器、代理(brokers)、生產(chǎn)者和消費(fèi)者。它們的每一個(gè)都可以橫向擴(kuò)展,而不會(huì)出現(xiàn)單點(diǎn)故障。如上圖所示。

命名服務(wù)器集群

名稱服務(wù)器提供輕量級(jí)服務(wù)發(fā)現(xiàn)和路由。每個(gè)名稱服務(wù)器記錄完整的路由信息,提供相應(yīng)的讀寫(xiě)服務(wù),支持快速存儲(chǔ)擴(kuò)展。

Broker 集群

代理通過(guò)提供輕量級(jí)的TOPICQUEUE機(jī)制來(lái)處理消息存儲(chǔ)。它們支持推(Push)和拉(Pull)模型,包含容錯(cuò)機(jī)制(2個(gè)副本或3個(gè)副本),并通過(guò)在原始的時(shí)間順序中積累以百萬(wàn)的信息,提供強(qiáng)大的峰值和容量填充。此外,代理還提供了災(zāi)難恢復(fù)、豐富的度量數(shù)據(jù)和警報(bào)機(jī)制,這些都是傳統(tǒng)消息傳遞系統(tǒng)中所缺少的。

Producer 集群

生產(chǎn)者支持分布式部署。分布式生產(chǎn)者通過(guò)多種負(fù)載均衡模式將消息發(fā)送到代理集群。發(fā)送過(guò)程支持快速失敗和低延遲。

Consumer 集群

消費(fèi)者也支持在推和拉模型中進(jìn)行分布式部署。它還支持集群消費(fèi)和消息廣播。它提供實(shí)時(shí)消息訂閱機(jī)制,可以滿足大多數(shù)客戶需求。RocketMQ的網(wǎng)站為感興趣的用戶提供了一個(gè)簡(jiǎn)單的快速入門(mén)指南。

NameServer

NameServer是一個(gè)功能完備的服務(wù)器,主要包括兩個(gè)特性:

  • Broker 管理,NameServer接受來(lái)自Broker集群的注冊(cè),并提供心跳機(jī)制來(lái)檢查Broker是否還活著。
  • 路由管理,每個(gè)名稱服務(wù)器將保存關(guān)于代理集群的整個(gè)路由信息和客戶查詢的隊(duì)列信息。

如我們所知,RocketMQ客戶端(生產(chǎn)者/消費(fèi)者)將從NameServer查詢隊(duì)列路由信息,但是客戶端如何找到NameServer地址?

有四種方法可以向客戶端提供NameServer地址列表:

  • 編程的方式,如rocketmq.namesrv.addr
  • Java參數(shù),使用rocketmq.namesrv.addr
  • 環(huán)境變量,使用NAMESRV_ADDR
  • HTTP端點(diǎn)

關(guān)于如何找到NameServer地址的更多細(xì)節(jié)請(qǐng)查閱 here.

Broker Server

代理服務(wù)器負(fù)責(zé)消息存儲(chǔ)和投遞、消息查詢、HA保證等等。

正如下圖所示,代理服務(wù)器有一些重要的子模塊:

  • Remoting模塊,代理的入口,處理來(lái)自客戶端的請(qǐng)求。
  • 客戶端管理,管理客戶端(生產(chǎn)者/消費(fèi)者)并維護(hù)消費(fèi)者的主題訂閱。
  • 存儲(chǔ)服務(wù),提供在物理磁盤(pán)中存儲(chǔ)或查詢消息的簡(jiǎn)單api。
  • HA服務(wù),提供master broker和slave broker之間的數(shù)據(jù)同步功能。
  • 索引服務(wù),通過(guò)指定的鍵為消息構(gòu)建索引,并提供快速的消息查詢。
img
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,732評(píng)論 6 539
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,214評(píng)論 3 426
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事。” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 177,781評(píng)論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 63,588評(píng)論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 72,315評(píng)論 6 410
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 55,699評(píng)論 1 327
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,698評(píng)論 3 446
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 42,882評(píng)論 0 289
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,441評(píng)論 1 335
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 41,189評(píng)論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,388評(píng)論 1 372
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,933評(píng)論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,613評(píng)論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 35,023評(píng)論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 36,310評(píng)論 1 293
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 52,112評(píng)論 3 398
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,334評(píng)論 2 377

推薦閱讀更多精彩內(nèi)容