RocketMQ 簡介
RocketMQ 是一個隊列模型的消息中間件，具有高性能，高可用，高實時等特性，它并不支持JMS（java消息服務(wù)）規(guī)范，但參考了JMS規(guī)范和kafak等的思想。
Producer 、Consumer，隊列都可以分布式。
Producer可以向隊列輪流發(fā)送消息，隊列的集合稱為Topic，Consumer可以做廣播消費，也可以做集群消費。
能夠保證嚴格的消息順序
提供消費者水平訂閱擴展能力
億級的消息堆積能力
較少的依賴
RocketMQ術(shù)語介紹
Producer 消息生產(chǎn)者，即生產(chǎn)消息的系統(tǒng)，一般指業(yè)務(wù)系統(tǒng)。
Consumer 消息消費者，即消費消息的系統(tǒng)，一般指后端的異步處理系統(tǒng)。
ProducerGroup 生產(chǎn)者組，指一類發(fā)送消息的系統(tǒng)。
ConsumerGroup 消費組，指消費同一類消息的系統(tǒng)
Broker 消息中間件，主要完成消息的存儲，轉(zhuǎn)發(fā)，是消息系統(tǒng)的核心組件。
Topic 消息主題，消息隊列的集合。
MessageQueue 消息隊列，RocketMQ 的所有消息都是持久化的，可以把MessageQueue 理解為一個長度無限的數(shù)組，通過下標offset 訪問消息
順序消息
- 消息有序指的是可以按照消息的發(fā)送順序來消費。例如：一筆訂單產(chǎn)生了 3 條消息，分別是訂單創(chuàng)建、訂單付款、訂單完成。消費時，要按照順序依次消費才有意義。與此同時多筆訂單之間又是可以并行消費的。首先來看如下示例：
- 假如生產(chǎn)者產(chǎn)生了2條消息：M1、M2，要保證這兩條消息的順序，應(yīng)該怎樣做？你腦中想到的可能是這樣
image.png
- 假定M1發(fā)送到S1，M2發(fā)送到S2，如果要保證M1先于M2被消費，那么需要M1到達消費端被消費后，通知S2，然后S2再將M2發(fā)送到消費端。
- 這個模型存在的問題是，如果M1和M2分別發(fā)送到兩臺Server上，就不能保證M1先達到MQ集群，也不能保證M1被先消費。換個角度看，如果M2先于M1達到MQ集群，甚至M2被消費后，M1才達到消費端，這時消息也就亂序了，說明以上模型是不能保證消息的順序的。如何才能在MQ集群保證消息的順序？一種簡單的方式就是將M1、M2發(fā)送到同一個Server上：
image.png
- 這樣可以保證M1先于M2到達MQServer（生產(chǎn)者等待M1發(fā)送成功后再發(fā)送M2），根據(jù)先達到先被消費的原則，M1會先于M2被消費，這樣就保證了消息的順序。
- 這個模型也僅僅是理論上可以保證消息的順序，在實際場景中可能會遇到下面的問題：
image.png
- 只要將消息從一臺服務(wù)器發(fā)往另一臺服務(wù)器，就會存在網(wǎng)絡(luò)延遲問題。如上圖所示，如果發(fā)送M1耗時大于發(fā)送M2的耗時，那么M2就仍將被先消費，仍然不能保證消息的順序。即使M1和M2同時到達消費端，由于不清楚消費端1和消費端2的負載情況，仍然有可能出現(xiàn)M2先于M1被消費的情況。
- 那如何解決這個問題？將M1和M2發(fā)往同一個消費者，且發(fā)送M1后，需要消費端響應(yīng)成功后才能發(fā)送M2。
- 聰明的你可能已經(jīng)想到另外的問題：如果M1被發(fā)送到消費端后，消費端1沒有響應(yīng)，那是繼續(xù)發(fā)送M2呢，還是重新發(fā)送M1？一般為了保證消息一定被消費，肯定會選擇重發(fā)M1到另外一個消費端2，就如下圖所示。
image.png
- 這樣的模型就嚴格保證消息的順序，細心的你仍然會發(fā)現(xiàn)問題，消費端1沒有響應(yīng)Server時有兩種情況，一種是M1確實沒有到達(數(shù)據(jù)在網(wǎng)絡(luò)傳送中丟失)，另外一種消費端已經(jīng)消費M1且已經(jīng)發(fā)送響應(yīng)消息，只是MQ Server端沒有收到。如果是第二種情況，重發(fā)M1，就會造成M1被重復(fù)消費。
rocketMQ本身沒有解決重復(fù)消息，如果你的業(yè)務(wù)中需要禁止重復(fù)消息需要自己在業(yè)務(wù)中去重
image.png
消息消費者
package com.eight.rocketmq;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;
import java.util.List;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.atomic.AtomicLong;
/**
* Created by h_man
*/
public class Consumer {
public static void main(String[] args) throws MQClientException {
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
consumer.setInstanceName("consumer_huang");
consumer.setNamesrvAddr("192.168.2.2:9876");
/**
* 設(shè)置Consumer第一次啟動是從隊列頭部開始消費還是隊列尾部開始消費<br>
* 如果非第一次啟動，那么按照上次消費的位置繼續(xù)消費
*/
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
consumer.setConsumeMessageBatchMaxSize(10);
consumer.subscribe("singleTopic_3", "TagA || TagB");
//廣播模式
//consumer.setMessageModel(MessageModel.BROADCASTING);
consumer.registerMessageListener(new MessageListenerOrderly() {
AtomicLong consumeTimes = new AtomicLong(0);
public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
// 設(shè)置自動提交
context.setAutoCommit(true);
for (MessageExt msg : msgs) {
System.out.println(msg + ",內(nèi)容：" + new String(msg.getBody()));
}
try {
TimeUnit.SECONDS.sleep(5L);
} catch (InterruptedException e) {
e.printStackTrace();
}
return ConsumeOrderlyStatus.SUCCESS;
}
});
consumer.start();
System.out.println("Consumer1 Started.");
}
}
消息提供者
package com.eight.rocketmq;
import org.apache.rocketmq.client.exception.MQBrokerException;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.MessageQueueSelector;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageQueue;
import org.apache.rocketmq.remoting.exception.RemotingException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;
/**
* Created by h_man
*/
public class Producer {
public static void main(String[] args) {
try {
DefaultMQProducer producer = new DefaultMQProducer("Producer");
producer.setNamesrvAddr("127.0.0.1:9876");
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
String[] tags = new String[]{"TagA", "TagB", "TagC", "TagD", "TagE"};
producer.start();
Message msg = new Message("singleTopic_3", //topic
"TagA", //tags
"KEY__1", //keys
(format.format(new Date()) + "<`````````11111111`>").getBytes()); //body
SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
Integer id = (Integer) arg;
int index = id % mqs.size();
return mqs.get(index);
}
}, 0);
System.out.println(sendResult);
msg = new Message("singleTopic_3", //topic
"TagB", //tags
"KEY__2", //keys
(format.format(new Date()) + "<`````````2222222`>").getBytes()); //body
sendResult = producer.send(msg, new MessageQueueSelector() {
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
Integer id = (Integer) arg;
int index = id % mqs.size();
return mqs.get(index);
}
}, 0);
System.out.println(sendResult);
producer.shutdown();
} catch (MQClientException e) {
e.printStackTrace();
} catch (RemotingException e) {
e.printStackTrace();
} catch (MQBrokerException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
