RocketMQ最佳實踐

最近在業務中開始大量使用RocketMQ,記錄一下心得。

Producer最佳實踐

一、發送消息注意事項

  1. 一個應用盡可能用一個Topic,消息子類型用tags來標識,tags可以由應用自由設置。只有發送消息設置了tags,消費方在訂閱消息時,才可以利用tags在broker做消息過濾。
message.setTags("TagA");
  1. 每個消息在業務層面的唯一標識碼,要設置到keys字段,方便將來定位消息丟失問題。服務器會為每個消息創建索引(哈希索引),應用可以通過topic,key來查詢這條消息內容,以及消息被誰消費。由于是哈希索引,請務必保證key盡可能唯一,這樣可以避免潛在的哈希沖突。
// 訂單Id
String orderId = "20034568923546";
message.setKeys(orderId);
  1. 消息發送成功或者失敗,要打印消息日志,務必要打印sendresult和key字段。
  2. send消息方法,只要不拋異常,就代表發送成功。但是發送成功會有多個狀態,在sendResult里定義。
  • SEND_OK
    消息發送成功
  • FLUSH_DISK_TIMEOUT
    消息發送成功,但是服務器刷盤超時,消息已經進入服務器隊列,只有此時服務器宕機,消息才會丟失
  • FLUSH_SLAVE_TIMEOUT
    消息發送成功,但是服務器同步到Slave時超時,消息已經進入服務器隊列,只有此時服務器宕機,消息才會丟失
  • SLAVE_NOT_AVAILABLE
    消息發送成功,但是此時slave不可用,消息已經進入服務器隊列,只有此時服務器宕機,消息才會丟失
  1. 對于消息不可丟失應用,務必要有消息重發機制
    例如如果消息發送失敗,存儲到數據庫,能有定時程序嘗試重發,或者人工觸發重發。

二、消息發送失敗如何處理

Producer的send方法本身支持內部重試,重試邏輯如下:

  1. 至多重試3次。
  2. 如果發送失敗,則輪轉到下一個Broker。
  3. 這個方法的總耗時時間不超過sendMsgTimeout設置的值,默認10s。
    所以,如果本身向broker發送消息產生超時異常,就不會再做重試。

以上策略仍然不能保證消息一定發送成功,為保證消息一定成功,建議應用這樣做
如果調用send同步方法發送失敗,則嘗試將消息存儲到db,由后臺線程定時重試,保證消息一定到達Broker。

Consumer最佳實踐

如下:

  • 消費過程要做到冪等(即消費端去重);
  • 盡量使用批量方式消費方式,可以很大程度上提高消費吞吐量;
  • 優化每條消息消費過程。

RocketMQ消費端去重方法

RocketMQ無法避免消息重復,所以如果業務對消費重復非常敏感,務必要在業務層面去重,有以下幾種去重方式:

  1. 將消息的唯一鍵,可以是msgId,也可以是消息內容中的唯一標識字段,例如訂單Id等,消費之前判斷是否在Db或Tair(全局KV存儲)中存在,如果不存在則插入,并消費,否則跳過。(實際過程要考慮原子性問題,判斷是否存在可以嘗試插入,如果報主鍵沖突,則插入失敗,直接跳過);
  2. 使用業務層面的狀態機去重

三、其他配置

1、線上應該關閉autoCreateTopicEnable,即在配置文件中將其設置為false。

RocketMQ在發送消息時,會首先獲取路由信息。如果是新的消息,由于MQServer上面還沒有創建對應的Topic,這個時候,如果上面的配置打開的話,會返回默認Topic的(RocketMQ會在每臺broker上面創建名為TBW102的Topic)路由信息,然后Producer會選擇一臺Broker發送消息,選中的broker在存儲消息時,發現消息的Topic還沒有創建,就會自動創建Topic。后果就是:以后所有該Topic的消息,都將發送到這臺broker上,達不到負載均衡的目的。

所以基于目前RocketMQ的設計,建議關閉自動創建Topic的功能,然后根據消息量的大小,手動創建Topic。

2、關于RocketMQ 版本

官方推薦使用RocketMQ 3.4.6及以后版本。

參考資料

RocketMQ 最佳實踐:https://github.com/vintagewang/document/blob/master/rocketmq/RocketMQ%20%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.docx

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,836評論 6 540
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,275評論 3 428
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,904評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,633評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,368評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,736評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,740評論 3 446
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,919評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,481評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,235評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,427評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,968評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,656評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,055評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,348評論 1 294
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,160評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,380評論 2 379

推薦閱讀更多精彩內容

  • 分布式開放消息系統(RocketMQ)的原理與實踐 來源:http://www.lxweimin.com/p/453...
    meng_philip123閱讀 13,005評論 6 104
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,818評論 18 139
  • 根據上面的模型,我們可以深入研究一些關于消息系統設計的主題: 消費者并發性 消費者熱點問題 消費者負載均衡 消息路...
    Kohler閱讀 2,302評論 1 4
  • kafka的定義:是一個分布式消息系統,由LinkedIn使用Scala編寫,用作LinkedIn的活動流(Act...
    時待吾閱讀 5,351評論 1 15
  • 握緊手中系著粉紅色蝴蝶結的禮盒,地隱獨自坐在公園的長椅上,低著頭看不出表情。一對卿卿我我的小情侶路過,感受到了一...
    天閬閱讀 493評論 0 0