參考文檔:
- storm1.0.3官方文檔:Guaranteeing Message Processing
- 美團技術博客:Storm 的可靠性保證測試
Storm offers several different levels of guaranteed message processing, including best effort, at least once, and exactly once through Trident.
一、消息完全處理
定義
消息完全處理描述的是一個從Spout發出的tuple怎樣算是處理成功。
關鍵字：tuple tree
只要在spout下游的bolt有一個失敗(需要bolt主動通知Acker)就算失敗。
如何得知一個從spout發出的tuple是否被完全處理
storm使用一個內置的Acker結點來跟蹤一個tuple是否被完全處理成功。
成功會回調spout的ack方法，失敗會回調fail方法
二、如何實現At Most Once語義
Storm 的消息保證機制中，如果需要實現 At Most Once 語義，只需要滿足下面任何一條即可：
- 關閉 ACK 機制，即 Acker 數目設置為 0
- Spout 不實現可靠性傳輸
- Spout 發送消息是使用不帶 message ID 的 API
- 不實現 fail 函數
- Bolt 不把處理成功或失敗的消息發送給 Acker
三、如何實現At Least Once語義
如果需要實現 At Least Once 語義，則需要同時保證如下幾條：
- 開啟 ACK 機制，即 Acker 數目大于 0
- Spout 實現可靠性傳輸保證
- Spout 發送消息時附帶 message 的 ID
- 如果收到 Acker 的處理失敗反饋，需要進行消息重傳，即實現 fail 函數
- Bolt 在處理成功或失敗后需要調用相應的方法通知 Acker
如何實現可靠的 Spout
實現可靠的 Spout 需要在 nextTuple 函數中發送消息時，調用帶 msgID 的 emit 方法，然后實現失敗消息的重傳（fail 函數），參考如下示例:
/**
* 想實現可靠的 Spout，需要實現如下兩點
* 1. 在 nextTuple 函數中調用 emit 函數時需要帶一個 msgId，用來表示當前的消息（如果消息發送失敗會用 msgId 作為參數回調 fail 函數）
* 2. 自己實現 fail 函數，進行重發（注意，在 storm 中沒有 msgId 和消息的對應關系，需要自己進行維護）
*/
public void nextTuple() {
//設置 msgId 和 Value 一樣，方便 fail 之后重發
collector.emit(new Values(curNum + "", round + ""), curNum + ":" + round);
}
@Override
public void fail(Object msgId) {//消息發送失敗時的回調函數
String tmp = (String)msgId; //上面我們設置了 msgId 和消息相同，這里通過 msgId 解析出具體的消息
String[] args = tmp.split(":");
//消息進行重發
collector.emit(new Values(args[0], args[1]), msgId);
}
如何實現可靠的 Bolt
Storm 提供兩種不同類型的 Bolt，分別是 BaseRichBolt 和 BaseBasicBolt，都可以實現可靠性消息傳遞，不過 BaseRichBolt 需要自己做很多周邊的事情（建立 anchor 樹，以及手動 ACK/FAIL 通知 Acker），使用場景更廣泛，而 BaseBasicBolt 則由 Storm 幫忙實現了很多周邊的事情，實現起來方便簡單，但是使用場景單一。如何用這兩個 Bolt 實現（不）可靠的消息傳遞如下所示：
//BaseRichBolt 實現不可靠消息傳遞
public class SplitSentence extends BaseRichBolt {//不建立 anchor 樹的例子
OutputCollector _collector;
public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
_collector = collector;
}
public void execute(Tuple tuple) {
String sentence = tuple.getString(0);
for(String word: sentence.split(" ")) {
_collector.emit(new Values(word)); // 不建立 anchor 樹
}
_collector.ack(tuple); //手動 ack，如果不建立 anchor 樹，是否 ack 是沒有區別的，這句可以進行注釋
}
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("word"));
}
}
//BaseRichBolt 實現可靠的 Bolt
public class SplitSentence extends BaseRichBolt {//建立 anchor 樹以及手動 ack 的例子
OutputCollector _collector;
public void prepare(Map conf, TopologyContext context, OutputCollector collector) {
_collector = collector;
}
public void execute(Tuple tuple) {
String sentence = tuple.getString(0);
for(String word: sentence.split(" ")) {
_collector.emit(tuple, new Values(word)); // 建立 anchor 樹
}
_collector.ack(tuple); //手動 ack，如果想讓 Spout 重發該 Tuple，則調用 _collector.fail(tuple);
}
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("word"));
}
}
下面的示例會可以建立 Multi-anchoring
List<Tuple> anchors = new ArrayList<Tuple>();
anchors.add(tuple1);
anchors.add(tuple2);
_collector.emit(anchors, new Values(1, 2, 3));
//BaseBasicBolt 是吸納可靠的消息傳遞
public class SplitSentence extends BaseBasicBolt {//自動建立 anchor，自動 ack
public void execute(Tuple tuple, BasicOutputCollector collector) {
String sentence = tuple.getString(0);
for(String word: sentence.split(" ")) {
collector.emit(new Values(word));
}
}
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("word"));
}
}
四、如何實現Exactly Once語義
todo: Trident
