如何才能讓Spring Boot與RabbitMQ結合實現延遲隊列

顧名思義,延遲隊列就是進入該隊列的消息會被延遲消費的隊列。而一般的隊列,消息一旦入隊了之后就會被消費者馬上消費。

延遲隊列能做什么?

延遲隊列多用于需要延遲工作的場景。最常見的是以下兩種場景:

延遲消費。比如:

用戶生成訂單之后,需要過一段時間校驗訂單的支付狀態,如果訂單仍未支付則需要及時地關閉訂單。

用戶注冊成功之后,需要過一段時間比如一周后校驗用戶的使用情況,如果發現用戶活躍度較低,則發送郵件或者短信來提醒用戶使用。

延遲重試。比如消費者從隊列里消費消息時失敗了,但是想要延遲一段時間后自動重試。

如果不使用延遲隊列,那么我們只能通過一個輪詢掃描程序去完成。這種方案既不優雅,也不方便做成統一的服務便于開發人員使用。但是使用延遲隊列的話,我們就可以輕而易舉地完成。

如何實現?

別急,在下文中,我們將詳細介紹如何利用Spring BootRabbitMQ來實現延遲隊列。

實現思路

在介紹具體的實現思路之前,我們先來介紹一下RabbitMQ的兩個特性,一個是Time-To-Live Extensions,另一個是Dead Letter Exchanges。

Time-To-Live Extensions

RabbitMQ允許我們為消息或者隊列設置TTL(time to live),也就是過期時間。TTL表明了一條消息可在隊列中存活的最大時間,單位為毫秒。也就是說,當某條消息被設置了TTL或者當某條消息進入了設置了TTL的隊列時,這條消息會在經過TTL秒后“死亡”,成為Dead Letter。如果既配置了消息的TTL,又配置了隊列的TTL,那么較小的那個值會被取用。更多資料請查閱 官方文檔 。

Dead Letter Exchange

剛才提到了,被設置了TTL的消息在過期后會成為Dead Letter。其實在RabbitMQ中,一共有三種消息的“死亡”形式:

消息被拒絕。通過調用basic.reject或者basic.nack并且設置的requeue參數為false。

消息因為設置了TTL而過期。

消息進入了一條已經達到最大長度的隊列。

如果隊列設置了Dead Letter Exchange(DLX),那么這些Dead Letter就會被重新publish到Dead Letter Exchange,通過Dead Letter Exchange路由到其他隊列。更多資料請查閱 官方文檔 。

流程圖

聰明的你肯定已經想到了,如何將RabbitMQ的TTL和DLX特性結合在一起,實現一個延遲隊列。

針對于上述的延遲隊列的兩個場景,我們分別有以下兩種流程圖:

延遲消費

延遲消費是延遲隊列最為常用的使用模式。如下圖所示,生產者產生的消息首先會進入緩沖隊列(圖中紅色隊列)。通過RabbitMQ提供的TTL擴展,這些消息會被設置過期時間,也就是延遲消費的時間。等消息過期之后,這些消息會通過配置好的DLX轉發到實際消費隊列(圖中藍色隊列),以此達到延遲消費的效果。

Java架構進階群:554355695

延遲重試

延遲重試本質上也是延遲消費的一種,但是這種模式的結構與普通的延遲消費的流程圖較為不同,所以單獨拎出來介紹。

如下圖所示,消費者發現該消息處理出現了異常,比如是因為網絡波動引起的異常。那么如果不等待一段時間,直接就重試的話,很可能會導致在這期間內一直無法成功,造成一定的資源浪費。那么我們可以將其先放在緩沖隊列中(圖中紅色隊列),等消息經過一段的延遲時間后再次進入實際消費隊列中(圖中藍色隊列),此時由于已經過了“較長”的時間了,異常的一些波動通常已經恢復,這些消息可以被正常地消費。

Java架構進階群:554355695

如果你想學習Java工程化、高性能及分布式、高性能、深入淺出。性能調優、Spring,MyBatis,Netty源碼分析和大數據等知識點可以來找我。

而現在我就有一個平臺可以提供給你們學習,讓你在實踐中積累經驗掌握原理。主要方向是JAVA架構師。如果你想拿高薪,想突破瓶頸,想跟別人競爭能取得優勢的,想進BAT但是有擔心面試不過的,可以加我的Java架構進階群:554355695

代碼實現

接下來我們將介紹如何在Spring Boot中實現基于RabbitMQ的延遲隊列。我們假設讀者已經擁有了Spring Boot與RabbitMQ的基本知識。如果想快速了解Spring Boot的相關基礎知識,可以參考我之前寫的一篇文章。

初始化工程

首先我們在Intellij中創建一個Spring Boot工程,并且添加spring-boot-starter-amqp擴展。

配置隊列

從上述的流程圖中我們可以看到,一個延遲隊列的實現,需要一個緩沖隊列以及一個實際的消費隊列。又由于在RabbitMQ中,我們擁有兩種消息過期的配置方式,所以在代碼中,我們一共配置了三條隊列:

delay_queue_per_message_ttl:TTL配置在消息上的緩沖隊列。

delay_queue_per_queue_ttl:TTL配置在隊列上的緩沖隊列。

delay_process_queue:實際消費隊列。

我們通過Java Config的方式將上述的隊列配置為Bean。由于我們添加了spring-boot-starter-amqp擴展,Spring Boot在啟動時會根據我們的配置自動創建這些隊列。為了方便接下來的測試,我們將delay_queue_per_message_ttl以及delay_queue_per_queue_ttl的DLX配置為同一個,且過期的消息都會通過DLX轉發到delay_process_queue。

delay_queue_per_message_ttl

首先介紹delay_queue_per_message_ttl的配置代碼:

```

@BeanQueuedelayQueuePerMessageTTL(){ return QueueBuilder.durable(DELAY_QUEUE_PER_MESSAGE_TTL_NAME) .withArgument("x-dead-letter-exchange", DELAY_EXCHANGE_NAME) // DLX,dead letter發送到的exchange.withArgument("x-dead-letter-routing-key", DELAY_PROCESS_QUEUE_NAME) // dead letter攜帶的routing key.build();}

```

其中,x-dead-letter-exchange聲明了隊列里的死信轉發到的DLX名稱,x-dead-letter-routing-key聲明了這些死信在轉發時攜帶的routing-key名稱。

delay_queue_per_queue_ttl

類似地,delay_queue_per_queue_ttl的配置代碼:

```

@BeanQueuedelayQueuePerQueueTTL(){ return QueueBuilder.durable(DELAY_QUEUE_PER_QUEUE_TTL_NAME) .withArgument("x-dead-letter-exchange", DELAY_EXCHANGE_NAME) // DLX.withArgument("x-dead-letter-routing-key", DELAY_PROCESS_QUEUE_NAME) // dead letter攜帶的routing key.withArgument("x-message-ttl", QUEUE_EXPIRATION) // 設置隊列的過期時間.build();}

```

delay_queue_per_queue_ttl隊列的配置比delay_queue_per_message_ttl隊列的配置多了一個x-message-ttl,該配置用來設置隊列的過期時間。

delay_process_queue

delay_process_queue的配置最為簡單:

```

@BeanQueuedelayProcessQueue(){ return QueueBuilder.durable(DELAY_PROCESS_QUEUE_NAME) .build();}

```

配置Exchange

配置DLX

首先,我們需要配置DLX,代碼如下:

```

@BeanDirectExchangedelayExchange(){ return new DirectExchange(DELAY_EXCHANGE_NAME);}

```

然后再將該DLX綁定到實際消費隊列即delay_process_queue上。這樣所有的死信都會通過DLX被轉發到delay_process_queue:

```

@BeanBindingdlxBinding(Queue delayProcessQueue, DirectExchange delayExchange){ return BindingBuilder.bind(delayProcessQueue) .to(delayExchange) .with(DELAY_PROCESS_QUEUE_NAME);}

```

配置延遲重試所需的Exchange

從延遲重試的流程圖中我們可以看到,消息處理失敗之后,我們需要將消息轉發到緩沖隊列,所以緩沖隊列也需要綁定一個Exchange。 在本例中,我們將delay_process_per_queue_ttl作為延遲重試里的緩沖隊列 。具體代碼是如何配置的,這里就不贅述了,大家可以查閱我 Github 中的代碼。

定義消費者

我們創建一個最簡單的消費者ProcessReceiver,這個消費者監聽delay_process_queue隊列,對于接受到的消息,他會:

如果消息里的消息體不等于FAIL_MESSAGE,那么他會輸出消息體。

如果消息里的消息體恰好是FAIL_MESSAGE,那么他會模擬拋出異常,然后將該消息重定向到緩沖隊列(對應延遲重試場景)。

另外,我們還需要新建一個監聽容器用于存放消費者,代碼如下:

```

@BeanSimpleMessageListenerContainerprocessContainer(ConnectionFactory connectionFactory, ProcessReceiver processReceiver){ SimpleMessageListenerContainer container = new SimpleMessageListenerContainer();container.setConnectionFactory(connectionFactory);container.setQueueNames(DELAY_PROCESS_QUEUE_NAME); // 監聽delay_process_queuecontainer.setMessageListener(new MessageListenerAdapter(processReceiver)); return container;}

```

至此,我們前置的配置代碼已經全部編寫完成,接下來我們需要編寫測試用例來測試我們的延遲隊列。

編寫測試用例

延遲消費場景

首先我們編寫用于測試TTL設置在消息上的測試代碼。

我們借助spring-rabbit包下提供的RabbitTemplate類來發送消息。由于我們添加了spring-boot-starter-amqp擴展,Spring Boot會在初始化時自動地將RabbitTemplate當成bean加載到容器中。

解決了消息的發送問題,那么又該如何為每個消息設置TTL呢?這里我們需要借助MessagePostProcessor。MessagePostProcessor通常用來設置消息的Header以及消息的屬性。我們新建一個ExpirationMessagePostProcessor類來負責設置消息的TTL屬性:

```

/*** 設置消息的失效時間*/public class ExpirationMessagePostProcessorimplements MessagePostProcessor{ private final Long ttl; // 毫秒public ExpirationMessagePostProcessor(Long ttl){ this.ttl = ttl;} @Overridepublic Message postProcessMessage(Message message)throws AmqpException {message.getMessageProperties().setExpiration(ttl.toString()); // 設置per-message的失效時間return message;}}

```

然后在調用RabbitTemplate的convertAndSend方法時,傳入ExpirationMessagePostPorcessor即可。我們向緩沖隊列中發送3條消息,過期時間依次為1秒,2秒和3秒。具體的代碼如下所示:

```

@Testpublic void testDelayQueuePerMessageTTL()throws InterruptedException {ProcessReceiver.latch = new CountDownLatch(3); for (int i = 1; i <= 3; i++) { long expiration = i * 1000;rabbitTemplate.convertAndSend(QueueConfig.DELAY_QUEUE_PER_MESSAGE_TTL_NAME,(Object) ("Message From delay_queue_per_message_ttl with expiration " + expiration), new ExpirationMessagePostProcessor(expiration));}ProcessReceiver.latch.await();}

```

細心的朋友一定會問,為什么要在代碼中加一個CountDownLatch呢?這是因為如果沒有latch阻塞住測試方法的話,測試用例會直接結束,程序退出,我們就看不到消息被延遲消費的表現了。

那么類似地,測試TTL設置在隊列上的代碼如下:

```

@Testpublic void testDelayQueuePerQueueTTL()throws InterruptedException {ProcessReceiver.latch = new CountDownLatch(3); for (int i = 1; i <= 3; i++) {rabbitTemplate.convertAndSend(QueueConfig.DELAY_QUEUE_PER_QUEUE_TTL_NAME, "Message From delay_queue_per_queue_ttl with expiration " + QueueConfig.QUEUE_EXPIRATION);}ProcessReceiver.latch.await();}

```

我們向緩沖隊列中發送3條消息。理論上這3條消息會在4秒后同時過期。

延遲重試場景

我們同樣還需測試延遲重試場景。

```

@Testpublic void testFailMessage()throws InterruptedException {ProcessReceiver.latch = new CountDownLatch(6); for (int i = 1; i <= 3; i++) {rabbitTemplate.convertAndSend(QueueConfig.DELAY_PROCESS_QUEUE_NAME, ProcessReceiver.FAIL_MESSAGE);}ProcessReceiver.latch.await();}

```

我們向delay_process_queue發送3條會觸發FAIL的消息,理論上這3條消息會在4秒后自動重試。

查看測試結果

延遲消費場景

延遲消費的場景測試我們分為了TTL設置在消息上和TTL設置在隊列上兩種。首先,我們先看一下TTL設置在消息上的測試結果:

Java架構進階群:554355695

從上圖中我們可以看到,ProcessReceiver分別經過1秒、2秒、3秒收到消息。測試結果表明消息不僅被延遲消費了,而且每條消息的延遲時間是可以被個性化設置的。TTL設置在消息上的延遲消費場景測試成功。

然后,TTL設置在隊列上的測試結果如下圖:

Java架構進階群:554355695

從上圖中我們可以看到,ProcessReceiver經過了4秒的延遲之后,同時收到了3條消息。測試結果表明消息不僅被延遲消費了,同時也證明了當TTL設置在隊列上的時候,消息的過期時間是固定的。TTL設置在隊列上的延遲消費場景測試成功。

延遲重試場景

接下來,我們再來看一下延遲重試的測試結果:

Java架構進階群:554355695

ProcessReceiver首先收到了3條會觸發FAIL的消息,然后將其移動到緩沖隊列之后,過了4秒,又收到了剛才的那3條消息。延遲重試場景測試成功。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,732評論 6 539
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,214評論 3 426
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,781評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,588評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,315評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,699評論 1 327
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,698評論 3 446
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,882評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,441評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,189評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,388評論 1 372
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,933評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,613評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,023評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,310評論 1 293
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,112評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,334評論 2 377

推薦閱讀更多精彩內容