Storm_cn
文檔
官網(wǎng)
github
github-2
維基百科
中文
中文-2
概念
為什么要用storm？ more
- Storm是一個(gè)免費(fèi)，開源的分布式實(shí)時(shí)計(jì)算系統(tǒng)。
- Storm有很多使用場(chǎng)景：實(shí)時(shí)分析，在線機(jī)器學(xué)習(xí)，持續(xù)計(jì)算，分布式RPC，ETL工具等。
- Storm很快：基準(zhǔn)測(cè)試計(jì)時(shí)顯示，每個(gè)節(jié)點(diǎn)每秒處理超過(guò)一百萬(wàn)個(gè)tuple數(shù)據(jù)。
- 它是高可用的，高容錯(cuò)的，保證你的數(shù)據(jù)得到處理，并且很容易設(shè)置和操作。
Topologies more
- 實(shí)時(shí)應(yīng)用的邏輯被封裝成topology。
- 一個(gè)topology和一個(gè)MapReduce job類似。唯一的不同點(diǎn)就是一個(gè)MapReduce job最終會(huì)結(jié)束，然而一個(gè)topology會(huì)永遠(yuǎn)運(yùn)行（當(dāng)然，直到你kill了它）。
- 一個(gè)topology是一個(gè)通過(guò)stream groupings連接的spouts和bolts的圖表。
Topologies -> TopologyBuilder more
TopologyBuilder公開了Java API，用于具體描述一個(gè)topology，用于Storm執(zhí)行。Topologies最終是Thrift結(jié)構(gòu)，但是基于Thrift API如此冗長(zhǎng)，TopologyBuilder極大的簡(jiǎn)化了創(chuàng)建topologies的過(guò)程。創(chuàng)建和提交一個(gè)topology的模版如下：
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("1", new TestWordSpout(true), 5);
builder.setSpout("2", new TestWordSpout(true), 3);
builder.setBolt("3", new TestWordCounter(), 3)
.fieldsGrouping("1", new Fields("word"))
.fieldsGrouping("2", new Fields("word"));
builder.setBolt("4", new TestGlobalCount())
.globalGrouping("1");
Map conf = new HashMap();
conf.put(Config.TOPOLOGY_WORKERS, 4);
StormSubmitter.submitTopology("mytopology", conf, builder.createTopology());
用本地模式運(yùn)行相同的topology，將它配置為記錄所有發(fā)出的tuples，如下。注意讓topology運(yùn)行10秒鐘再關(guān)閉。
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("1", new TestWordSpout(true), 5);
builder.setSpout("2", new TestWordSpout(true), 3);
builder.setBolt("3", new TestWordCounter(), 3)
.fieldsGrouping("1", new Fields("word"))
.fieldsGrouping("2", new Fields("word"));
builder.setBolt("4", new TestGlobalCount())
.globalGrouping("1");
Map conf = new HashMap();
conf.put(Config.TOPOLOGY_WORKERS, 4);
conf.put(Config.TOPOLOGY_DEBUG, true);
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("mytopology", conf, builder.createTopology());
Utils.sleep(10000);
cluster.shutdown();
Streams more
- Stream是Storm的一個(gè)核心抽象概念。一個(gè)Stream是一系列無(wú)界的tuples序列，它用一種分布式的并行的方式處理或創(chuàng)建的。
- Streams定義了一個(gè)模式，該模式命名了tuples的字段，tuples包含intergers，longs，shorts，bytes，strings，doubles，floats，booleans和byte數(shù)組。你也可以定義你自己的序列化，以便自定義類似用于tuples的本地。
- 每個(gè)流被聲明的時(shí)候都被賦予一個(gè)id。鑒于單個(gè)spouts和bolts的流如此常見，OutputFieldsDeclarer有一個(gè)簡(jiǎn)單的方法用于聲明單個(gè)stream，而不需要特別指定id。在這種情況下，stream的默認(rèn)id為"default".
Streams -> Tuple more
- tuple是Storm的主要數(shù)據(jù)結(jié)構(gòu)。一個(gè)tuple是一個(gè)被命名的值的列表，每個(gè)值可以是任何類型。tuples是動(dòng)態(tài)類型的 - 字段的類型不需要指定。typles有一些有用的方法比如getInteger，getString，用于獲取字段的值，而無(wú)需轉(zhuǎn)換結(jié)果。
- Storm需要指導(dǎo)如何序列化一個(gè)tuple里的所有值。默認(rèn)情況下，Storm指導(dǎo)如何序列化原始的類型，string，byte數(shù)組。如果你想要使用其他類型，你需要為那個(gè)類型實(shí)現(xiàn)并注冊(cè)一個(gè)序列化。
Streams -> Serialization more
Spouts more
- 一個(gè)spout是在topology里的streams的一個(gè)源。通常spouts會(huì)從外部源讀取tuples然后將它們發(fā)射到topology里（例如，Kestrel隊(duì)列或者Twitter API）。
- Spouts可以是可靠的或者不可靠的。如果tuple被Storm處理失敗，一個(gè)可靠的spout能夠響應(yīng)，然后不可靠的spout會(huì)在它發(fā)射之后忽略它。
- Spouts可以發(fā)射超過(guò)一個(gè)stream。為了實(shí)現(xiàn)這個(gè)，使用OutputFieldsDeclarer的declareStream方法聲明多個(gè)streams，然后在使用SpoutOutputCollector的emit方法時(shí)，特別指定要發(fā)射的stream。
- spouts的主要方法是nextTuple。nextTuple可以發(fā)射一個(gè)新tuple到topology，或者在沒有新tuple發(fā)射的時(shí)候簡(jiǎn)單返回。有一點(diǎn)很重要，nextTuple方法在任何spout的實(shí)現(xiàn)中都不要阻塞，因?yàn)镾torm在同一個(gè)線程上調(diào)用所有的spout方法。
- spouts的另一個(gè)主要方法是ack和fail。當(dāng)Storm檢測(cè)到一個(gè)從spout發(fā)射的tuple被topology成功處理或者處理失敗的時(shí)候，它們會(huì)被調(diào)用。ack和fail只會(huì)被可靠的spouts調(diào)用。
Spouts -> ISpout more
Spouts -> IRichSpout more
Spouts -> Guaranteeing Message Processing more
Bolts more
- topologies的所有處理都在bolts中完成。bolts可以任何事，如過(guò)濾，處理，聚合，joins，和數(shù)據(jù)庫(kù)交互等等。
- Bolts可以做簡(jiǎn)單的stream轉(zhuǎn)換。做復(fù)雜的stream轉(zhuǎn)換通常需要很多步驟和很多bolts。例如，將一條推特轉(zhuǎn)換為趨勢(shì)圖像至少需要兩步：一個(gè)bolt用于滾動(dòng)計(jì)數(shù)，一個(gè)或多個(gè)bolts用于退出頂部X圖像（你可以通過(guò)用三個(gè)bolts來(lái)實(shí)現(xiàn)一個(gè)更穩(wěn)定的stream轉(zhuǎn)換）。
- Bolts可以發(fā)射超過(guò)一個(gè)stream。為了實(shí)現(xiàn)這個(gè)，為了實(shí)現(xiàn)這個(gè)，使用OutputFieldsDeclarer的declareStream方法聲明多個(gè)streams，然后在使用SpoutOutputCollector的emit方法時(shí)，特別指定要發(fā)射的stream.
