轉(zhuǎn)自：http://blog.csdn.net/lzm1340458776/article/details/45286207
工作進(jìn)程(Worker Process)
Worker是Spout/Bolt中運(yùn)行具體處理邏輯的進(jìn)程。拓?fù)淇缫粋€(gè)或多個(gè)Worker進(jìn)程執(zhí)行。每個(gè)Worker進(jìn)程是一個(gè)物理的JVM和拓?fù)鋱?zhí)行所有任務(wù)的一個(gè)子集。例如，如果合并并行度的拓?fù)涫?00，已經(jīng)分配50個(gè)Worker，然后每個(gè)Worker將執(zhí)行6個(gè)任務(wù)，Storm會(huì)嘗試在所有Worker上均勻的發(fā)布任務(wù)。
Executor稱為物理線程，每個(gè)Worker可以包含多個(gè)Executor。
Task是具體的處理邏輯對(duì)象，默認(rèn)情況下，執(zhí)行器和任務(wù)對(duì)應(yīng)，即一個(gè)執(zhí)行器對(duì)應(yīng)一個(gè)任務(wù)。
工作進(jìn)程、執(zhí)行器、任務(wù)三者之間的關(guān)系如下圖所示：
Storm集群的一個(gè)節(jié)點(diǎn)可能有一個(gè)或者多個(gè)工作進(jìn)程運(yùn)行在運(yùn)行在一個(gè)或者過(guò)個(gè)拓?fù)渖希粋€(gè)工作進(jìn)程執(zhí)行拓?fù)涞囊粋€(gè)子集。工作進(jìn)程屬于一個(gè)特定的拓?fù)洌⒖赡転檫@個(gè)拓?fù)涞囊粋€(gè)或多個(gè)組件(spout或bolt)運(yùn)行一個(gè)或多個(gè)執(zhí)行器。一個(gè)運(yùn)行中的拓?fù)浒ǘ鄠€(gè)運(yùn)行在Storm集群內(nèi)多個(gè)節(jié)點(diǎn)的進(jìn)程。
一個(gè)或者多個(gè)執(zhí)行器可能運(yùn)行在一個(gè)工作進(jìn)程內(nèi)，執(zhí)行器是由工作進(jìn)程產(chǎn)生的一個(gè)線程，他可能為相同的組件(Spout或Bolt)運(yùn)行一個(gè)或多個(gè)任務(wù)。
任務(wù)執(zhí)行真正的數(shù)據(jù)處理，代碼中實(shí)現(xiàn)的每個(gè)Spout或Bolt，作為很多任務(wù)跨集群執(zhí)行。一個(gè)組件的任務(wù)數(shù)量始終貫穿拓?fù)涞恼麄€(gè)生命周期，但一個(gè)組件的執(zhí)行器(線程)數(shù)量可以隨時(shí)間而該變。默認(rèn)情況下，一個(gè)執(zhí)行器包含一個(gè)任務(wù)數(shù)，即Storm會(huì)使用每個(gè)線程執(zhí)行一個(gè)任務(wù)。
工作進(jìn)程的數(shù)量表示集群中不同節(jié)點(diǎn)的拓?fù)淇梢詣?chuàng)建愛你多少個(gè)工作進(jìn)程。
配置參數(shù)是：TOPOLOGY_WORKERS
也可以通過(guò)JavaAPI進(jìn)行設(shè)置：
Config#setNumWorkers
執(zhí)行器的數(shù)量指的是每個(gè)組件產(chǎn)生多少個(gè)線程。
這個(gè)參數(shù)暫時(shí)只能通過(guò)javaAPI進(jìn)行配置：
TopologyBuilder#setSpout()
TopologyBuilder#setBolt()
任務(wù)的數(shù)量表示的是每個(gè)組件創(chuàng)建多少個(gè)任務(wù)。
配置選項(xiàng)：TOPOLOGY_TASKS
也可以通過(guò)JavaAPI進(jìn)行配置：
ComponentConfigurationDeclarer#setNumTasks()
T?setNumTasks(java.lang.Number?val)
下面我們定義一個(gè)名為mytopology的拓?fù)洌梢粋€(gè)Spout組件(BlueSpout)、兩個(gè)Bolt組件(GreenBolt和YellowBolt)共三個(gè)組件構(gòu)成，代碼如下：
Configconf=newConfig();
conf.setNumWorkers(2);
topologyBuilder.setSpout("blue-spout",?new?BlueSpout(),?2);
topologyBuilder.setBolt("green-bolt",?new?GreenBolt(),?2)
.setNumTasks(4)
.shuffleGrouping("blue-spout");
topologyBuilder.setBolt("yellow-bolt",?new?YellowBolt(),?6)
.shuffleGrouping("green-bolt");
StormSubmitter.submitTopology(
"mytopology",
conf,
topologyBuilder.createTopology()
);
mytopology拓?fù)涞拿枋鋈缦拢?/b>
1.拓?fù)鋵⑹褂脙蓚€(gè)工作進(jìn)程(Worker)。
2.Spout是id為“blue-spout”、并行度為2的BlueSpout實(shí)例(產(chǎn)生兩個(gè)執(zhí)行器和兩個(gè)任務(wù))。
3.第一個(gè)Bolt的id為"green-bolt"、并行度為2、任務(wù)數(shù)為4、使用隨機(jī)分組方式接收"blue-spout"所發(fā)射元組的GreenBolt實(shí)例(產(chǎn)生兩個(gè)執(zhí)行器和4個(gè)任務(wù))。
4.第二個(gè)Bolt是id為"yellow-bolt"、并行度為6、使用隨機(jī)分組方式接收"green-bolt"所發(fā)射元組的YellowBolt實(shí)例(產(chǎn)生6個(gè)執(zhí)行器和6個(gè)任務(wù))。
綜上所述，該拓?fù)湟还灿袃蓚€(gè)工作進(jìn)程(Worker)，2+2+6=10個(gè)執(zhí)行器(Executor)，2+3+6=12個(gè)任務(wù)。因此，每個(gè)工作進(jìn)程可以分配到10/2=5個(gè)執(zhí)行器，12/2=6個(gè)任務(wù)。默認(rèn)情況下，一個(gè)執(zhí)行器執(zhí)行一個(gè)任務(wù)，但是如果指定了任務(wù)的數(shù)目，則任務(wù)會(huì)平均分配到執(zhí)行器中，因此，GreenBolt的實(shí)例"green-bolt"的一個(gè)執(zhí)行器將會(huì)分配到4/2個(gè)任務(wù)。
mytopology的拓?fù)浼捌鋵?duì)應(yīng)的資源分配如下圖所示：
、
動(dòng)態(tài)設(shè)置拓?fù)涞牟l(fā)度
Storm支持在不重啟Topolog的情況下，動(dòng)態(tài)的改變(增減)worker process的數(shù)目和Executor的數(shù)目，稱為rebalancing。有兩種方式可以實(shí)現(xiàn)拓?fù)涞脑倨胶猓?/p>
1.使用Storm Web UI
2.使用Storm rebalance命令(推薦使用)
使用命令行的方式如下：
#?重新配置拓?fù)?/p>
#?"mytopology"?拓?fù)涫褂?個(gè)Worker進(jìn)程
#?"blue-spout"?Spout使用3個(gè)Executor
#?"blue-spout"?Bolt使用10個(gè)Executor
#?storm?rebalance?mytopology?-n?5?-eblue-spout=3-eyellow-bolt=10
注："mytopology"是拓?fù)涞拿Q，"blue-spout"和"yellow-bolt"是組件的名稱。
