文章首發(fā)于微信公眾號(hào)《程序員果果》
地址:https://mp.weixin.qq.com/s/ZhP8zF3GyiIm0fPiTDLWxA
本篇源碼:https://github.com/gf-huanchupk/SpringBootLearning
一、消息中間件的應(yīng)用場(chǎng)景
異步處理
場(chǎng)景:用戶注冊(cè),信息寫(xiě)入數(shù)據(jù)庫(kù)后,需要給用戶發(fā)送注冊(cè)成功的郵件,再發(fā)送注冊(cè)成功的郵件。
1.同步調(diào)用:注冊(cè)成功后,順序執(zhí)行發(fā)送郵件方法,發(fā)送短信方法,最后響應(yīng)用戶
2.并行調(diào)用:注冊(cè)成功后,用多線程的方式并發(fā)執(zhí)行發(fā)郵件和發(fā)短信方法,最后響應(yīng)用戶
3.消息隊(duì)列:注冊(cè)成功后,將要發(fā)送的消息用很短的時(shí)間寫(xiě)入消息隊(duì)列中,之后響應(yīng)用戶;發(fā)送郵件的服務(wù)和發(fā)送短息的服務(wù)就可以從消息隊(duì)列中異步讀去,然后發(fā)送任務(wù)。
應(yīng)用解耦
場(chǎng)景:購(gòu)物下單后,調(diào)用庫(kù)存系統(tǒng),更新庫(kù)存。
1.耦合的方式:訂單系統(tǒng),寫(xiě)調(diào)用庫(kù)存系統(tǒng)的邏輯。
2.解耦的方式:訂單系統(tǒng),將下達(dá)的消息寫(xiě)入消息隊(duì)列,庫(kù)存系統(tǒng)從消息隊(duì)列中讀取消息,更新庫(kù)存。
流量削峰
秒殺場(chǎng)景中,我們可以設(shè)置一個(gè)定長(zhǎng)的消息隊(duì)列,秒殺開(kāi)始,誰(shuí)快誰(shuí)先進(jìn)入隊(duì)列,然后快速返回用戶是否秒到 ,之后在平穩(wěn)的處理秒殺后的業(yè)務(wù)。
二、消息服務(wù)中間件概述
- 大多應(yīng)用中,可通過(guò)消息服務(wù)中間件來(lái)提升系統(tǒng)異步通信、擴(kuò)展解耦能力
- 消息服務(wù)中兩個(gè)重要概念:
消息代理(message broker)和目的地(destination) 當(dāng)消息發(fā)送者發(fā)送消息以后,將由消息代理接管,消息代理保證消息傳遞到指定目
的地。
- 消息服務(wù)中兩個(gè)重要概念:
- 消息隊(duì)列主要有兩種形式的目的地
- 隊(duì)列(queue):點(diǎn)對(duì)點(diǎn)消息通信(point-to-point)
- 主題(topic):發(fā)布(publish)/訂閱(subscribe)消息通信
- 點(diǎn)對(duì)點(diǎn)式:
- 消息發(fā)送者發(fā)送消息,消息代理將其放入一個(gè)隊(duì)列中,消息接收者從隊(duì)列中獲取消息內(nèi)容, 消息讀取后被移出隊(duì)列
- 消息只有唯一的發(fā)送者和接受者,但并不是說(shuō)只能有一個(gè)接收者
- 發(fā)布訂閱式:
- 發(fā)送者(發(fā)布者)發(fā)送消息到主題,多個(gè)接收者(訂閱者)監(jiān)聽(tīng)(訂閱)這個(gè)主題,那么 就會(huì)在消息到達(dá)時(shí)同時(shí)收到消息
- JMS(Java Message Service)JAVA消息服務(wù):
- 基于JVM消息代理的規(guī)范。ActiveMQ、HornetMQ是JMS實(shí)現(xiàn)
- AMQP(Advanced Message Queuing Protocol)
- 高級(jí)消息隊(duì)列協(xié)議,也是一個(gè)消息代理的規(guī)范,兼容JMS
- RabbitMQ是AMQP的實(shí)現(xiàn)
- Spring支持
- spring-jms提供了對(duì)JMS的支持
- spring-rabbit提供了對(duì)AMQP的支持
- 需要ConnectionFactory的實(shí)現(xiàn)來(lái)連接消息代理
- 提供JmsTemplate、RabbitTemplate來(lái)發(fā)送消息
- @JmsListener(JMS)、@RabbitListener(AMQP)注解在方法上監(jiān)聽(tīng)消息代理發(fā) 布的消息
- @EnableJms、@EnableRabbit開(kāi)啟支持
- Spring Boot自動(dòng)配置
- JmsAutoConfiguration
- RabbitAutoConfiguration
三、RabbitMQ簡(jiǎn)介
RabbitMQ是一個(gè)由erlang開(kāi)發(fā)的AMQP(Advanved Message Queue Protocol)的開(kāi)源實(shí)現(xiàn)。
1. 核心概念
- Message :消息,消息是不具名的,它由消息頭和消息體組成。消息體是不透明的,而消息頭則由一系列的可選屬性組 成,這些屬性包括routing-key(路由鍵)、priority(相對(duì)于其他消息的優(yōu)先權(quán))、delivery-mode(指出 該消息可能需要持久性存儲(chǔ))等。
- Publisher :消息的生產(chǎn)者,也是一個(gè)向交換器發(fā)布消息的客戶端應(yīng)用程序。
- Exchange :交換器,用來(lái)接收生產(chǎn)者發(fā)送的消息并將這些消息路由給服務(wù)器中的隊(duì)列。Exchange有4種類型:direct(默認(rèn)),fanout, topic, 和headers,不同類型的Exchange轉(zhuǎn)發(fā)消息的策略有所區(qū)別
- Queue :消息隊(duì)列,用來(lái)保存消息直到發(fā)送給消費(fèi)者。它是消息的容器,也是消息的終點(diǎn)。一個(gè)消息可投入一個(gè)或多個(gè)隊(duì)列。消息一直在隊(duì)列里面,等待消費(fèi)者連接到這個(gè)隊(duì)列將其取走。
- Binding :綁定,用于消息隊(duì)列和交換器之間的關(guān)聯(lián)。一個(gè)綁定就是基于路由鍵將交換器和消息隊(duì)列連接起來(lái)的路由規(guī)則,所以可以將交換器理解成一個(gè)由綁定構(gòu)成的路由表。Exchange 和Queue的綁定可以是多對(duì)多的關(guān)系。
- Connection :網(wǎng)絡(luò)連接,比如一個(gè)TCP連接。
- Channel :信道,多路復(fù)用連接中的一條獨(dú)立的雙向數(shù)據(jù)流通道。信道是建立在真實(shí)的TCP連接內(nèi)的虛 擬連接,AMQP 命令都是通過(guò)信道發(fā)出去的,不管是發(fā)布消息、訂閱隊(duì)列還是接收消息,這 些動(dòng)作都是通過(guò)信道完成。因?yàn)閷?duì)于操作系統(tǒng)來(lái)說(shuō)建立和銷毀 TCP 都是非常昂貴的開(kāi)銷,所 以引入了信道的概念,以復(fù)用一條 TCP 連接。
- Consumer :消息的消費(fèi)者,表示一個(gè)從消息隊(duì)列中取得消息的客戶端應(yīng)用程序。
- Virtual Host :虛擬主機(jī),表示一批交換器、消息隊(duì)列和相關(guān)對(duì)象。虛擬主機(jī)是共享相同的身份認(rèn)證和加 密環(huán)境的獨(dú)立服務(wù)器域。每個(gè) vhost 本質(zhì)上就是一個(gè) mini 版的 RabbitMQ 服務(wù)器,擁有 自己的隊(duì)列、交換器、綁定和權(quán)限機(jī)制。vhost 是 AMQP 概念的基礎(chǔ),必須在連接時(shí)指定, RabbitMQ 默認(rèn)的 vhost 是 / 。
-
Broker :表示消息隊(duì)列服務(wù)器實(shí)體。
四、RabbitMQ運(yùn)行機(jī)制
AMQP 中的消息路由
AMQP 中消息的路由過(guò)程和 Java 開(kāi)發(fā)者熟悉的 JMS 存在一些差別,AMQP 中增加了 Exchange 和 Binding 的角色。生產(chǎn)者把消息發(fā)布到 Exchange 上,消息最終到達(dá)隊(duì)列并被 消費(fèi)者接收,而 Binding 決定交換器的消息應(yīng)該發(fā)送到那個(gè)隊(duì)列。
Exchange 類型
Exchange分發(fā)消息時(shí)根據(jù)類型的不同分發(fā)策略有區(qū)別,目前共四種類型:direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由鍵, headers 交換器和 direct 交換器完全一致,但性能差很多,目前幾乎用不到了,所以直接看另外三種類型:
五、RabbitMQ安裝
我們使用 docker 來(lái)安裝 RabbitMQ。
我們?cè)?docker hub上選擇官方的帶management管理界面的最新版本。
#獲取rabbitmq鏡像
docker pull rabbitmq:3-management
#啟動(dòng) rabbitmq鏡像,5672是mq通信端口,15672是mq的web管理界面端口
run -d -p 5672:5672 -p 15672:15672 --name myrabbitmq 鏡像ID
訪問(wèn)127.0.0.1:15672 ,用賬號(hào):guest 密碼:guest 登錄,界面如下:
對(duì)rabbitmq的詳細(xì)使用在這里,就不講解了,我們這節(jié)的重點(diǎn)是整合rabbitmq。
六、整合RabbitMQ
創(chuàng)建項(xiàng)目引入rabbitmq依賴。
1. pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.gf</groupId>
<artifactId>springboot-rabbitmq</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>springboot-rabbitmq</name>
<description>Demo project for Spring Boot</description>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.5.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
2. MyAMQPConfig
package com.gf.config;
import org.springframework.amqp.support.converter.Jackson2JsonMessageConverter;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.amqp.support.converter.MessageConverter;
/**
* 自定義消息轉(zhuǎn)換器,默認(rèn)是jdk的序列化轉(zhuǎn)換器,我們自定義為json的
*/
@Configuration
public class MyAMQPConfig {
@Bean
public MessageConverter messageConverter() {
return new Jackson2JsonMessageConverter();
}
}
3. springboot 測(cè)試類
我們測(cè)試創(chuàng)建管理配置、發(fā)送消息、接收消息
package com.gf;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.amqp.core.AmqpAdmin;
import org.springframework.amqp.core.Binding;
import org.springframework.amqp.core.DirectExchange;
import org.springframework.amqp.core.FanoutExchange;
import org.springframework.amqp.core.Queue;
import org.springframework.amqp.core.TopicExchange;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootRabbitmqApplicationTests {
@Autowired
RabbitTemplate rabbitTemplate;
@Autowired
AmqpAdmin amqpAdmin;
@Test
public void contextLoads() {
}
@Test
public void create(){
//創(chuàng)建Exchange
amqpAdmin.declareExchange( new DirectExchange( "exchange.direct") );
amqpAdmin.declareExchange( new FanoutExchange( "exchange.fanout") );
amqpAdmin.declareExchange( new TopicExchange( "exchange.topic") );
//創(chuàng)建Queue
amqpAdmin.declareQueue( new Queue( "direct.queue" , true ) );
amqpAdmin.declareQueue( new Queue( "fanout.queue" , true ) );
//綁定Queue
amqpAdmin.declareBinding( new Binding( "direct.queue" , Binding.DestinationType.QUEUE , "exchange.direct" , "direct.queue" , null ) );
amqpAdmin.declareBinding( new Binding( "fanout.queue" , Binding.DestinationType.QUEUE , "exchange.direct" , "fanout.queue" , null ) );
amqpAdmin.declareBinding( new Binding( "direct.queue" , Binding.DestinationType.QUEUE , "exchange.fanout" , "" , null ) );
amqpAdmin.declareBinding( new Binding( "fanout.queue" , Binding.DestinationType.QUEUE , "exchange.fanout" , "" , null ) );
amqpAdmin.declareBinding( new Binding( "direct.queue" , Binding.DestinationType.QUEUE , "exchange.topic" , "direct.#" , null ) );
amqpAdmin.declareBinding( new Binding( "fanout.queue" , Binding.DestinationType.QUEUE , "exchange.topic" , "direct.*" , null ) );
}
@Test
public void send2Direct() {
Map<String , Object> map = new HashMap<>();
map.put( "msg" , "這是一條點(diǎn)對(duì)點(diǎn)消息" );
map.put( "data" , Arrays.asList("helloworld" , 123 , true) );
rabbitTemplate.convertAndSend( "exchange.direct" , "direct.queue" , map );
}
@Test
public void send2Topic() {
Map<String , Object> map = new HashMap<>();
map.put( "msg" , "這是一條廣播消息" );
map.put( "data" , Arrays.asList("topic消息" , 123 , true) );
rabbitTemplate.convertAndSend( "exchange.fanout" , "", map );
}
@Test
public void receive() {
Object o = rabbitTemplate.receiveAndConvert( "direct.queue" );
o.getClass();
System.out.println(o.getClass());
System.out.println(o);
}
}
監(jiān)聽(tīng)消息
4. 啟動(dòng)類
package com.gf;
import org.springframework.amqp.rabbit.annotation.EnableRabbit;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
/**
* 自動(dòng)配置
* 1. RabbitAutoConfiguration
* 2. 自動(dòng)配置了連接工廠ConnectionFactory
* 3. RabbitProperties 封裝了RabbitMQ的配置
* 4. RabbitTemplate : 給RabbitMQ發(fā)送和接受消息
* 5. AmqpAdmin : RabbitMQ系統(tǒng)管理功能組件
* 6. @EnableRabbit + @RabbitListener
*/
@EnableRabbit
@SpringBootApplication
public class SpringbootRabbitmqApplication {
public static void main(String[] args) {
SpringApplication.run(SpringbootRabbitmqApplication.class, args);
}
}
5. MQService
package com.gf.service;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Service;
@Service
public class MQService {
@RabbitListener(queues = "fanout.queue")
public void receive(Message message) {
System.out.println("收到消息 : " + new String(message.getBody()));
}
}
源碼下載:https://github.com/gf-huanchupk/SpringBootLearning