本文會為大家介紹Spark中的RPC通信機(jī)制，詳細(xì)闡述“Spark RPC到底是個(gè)什么鬼？”，閑話少敘，讓我們來進(jìn)入Spark RPC的世界！
Spark RPC三劍客
Spark RPC中最為重要的三個(gè)抽象（“三劍客”）為：RpcEnv、RpcEndpoint、RpcEndpointRef，這樣做的好處有：
- 對上層的API來說，屏蔽了底層的具體實(shí)現(xiàn)，使用方便
- 可以通過不同的實(shí)現(xiàn)來完成指定的功能，方便擴(kuò)展
- 促進(jìn)了底層實(shí)現(xiàn)層的良性競爭，Spark 1.6.3中默認(rèn)使用了Netty作為底層的實(shí)現(xiàn)，但Akka的依賴依然存在；而Spark 2.1.0中的底層實(shí)現(xiàn)只有Netty，這樣用戶可以方便的使用不同版本的Akka或者將來某種更好的底層實(shí)現(xiàn)
下面我們就結(jié)合Netty和“三劍客”來具體分析他們是如何來協(xié)同工作的。
Send a message locally
我們通過Spark源碼中的一個(gè)Test（RpcEnvSuite.scala）來分析一下發(fā)送本地消息的具體流程，源碼如下（對源碼做了一些修改）：
test("send a message locally") {
@volatile var message: String = null
val rpcEndpointRef = env.setupEndpoint("send-locally", new RpcEndpoint {
override val rpcEnv = env
override def receive = {
//case msg: String => message = msg
case msg: String => println(message) //我們直接將接收到的消息打印出來
}
})
rpcEndpointRef.send("hello")
//下面是原來的代碼
//eventually(timeout(5 seconds), interval(10 millis)) {
// assert("hello" === message)
//}
}
為了方便理解，先把流程圖貼出來，然后詳細(xì)進(jìn)行闡述：
下面我們來詳細(xì)闡述上例的具體過程：
首先是RpcEndpoint創(chuàng)建并注冊的流程：（圖中的藍(lán)色線條部分）
- 1、創(chuàng)建RpcEndpoint，并初始化rpcEnv的引用（RpcEnv已經(jīng)創(chuàng)建好，底層實(shí)際上是實(shí)例化了一個(gè)NettyRpcEnv，而NettyRpcEnv是通過工廠方法NettyRpcEnvFactory創(chuàng)建的）
- 2、實(shí)例化RpcEndpoint之后需要向RpcEnv注冊該RpcEndpoint，底層實(shí)現(xiàn)是向NettyRpcEnv進(jìn)行注冊，而實(shí)際上是通過調(diào)用Dispatcher的registerRpcEndpoint方法向Dispatcher進(jìn)行注冊
- 3、具體的注冊就是向endpoints、endpointRefs、receivers中插入記錄：而receivers中插入的信息會被Dispatcher中的線程池中的線程執(zhí)行：會將記錄take出來然后調(diào)用Inbox的process方法通過模式匹配的方法進(jìn)行處理，注冊的時(shí)候通過匹配到OnStart類型的message，去執(zhí)行RpcEndpoint的onStart方法（例如Master、Worker注冊時(shí)，就要執(zhí)行各自的onStart方法），本例中未做任何操作
- 4、注冊完成后返回RpcEndpointRef，我們通過RpcEndpointRef就可以向其代表的RpcEndpoint發(fā)送消息
下面就是通過RpcEndpointRef向其代表的RpcEndpoint發(fā)送消息的具體流程：（圖中的紅色線條部分）
- 1、2、調(diào)用RpcEndpointRef的send方法，底層實(shí)現(xiàn)是調(diào)用Netty的NettyRpcEndpointRef的send方法，而實(shí)際上又是調(diào)用的NettyRpcEnv的send方法，發(fā)送的消息使用RequestMessage進(jìn)行封裝：
nettyEnv.send(RequestMessage(nettyEnv.address, this, message))
- 3、4、NettyRpcEnv的send方法首先會根據(jù)RpcAddress判斷是本地還是遠(yuǎn)程調(diào)用，此處是同一個(gè)RpcEnv，所以是本地調(diào)用，即調(diào)用Dispatcher的postOneWayMessage方法
- 5、postOneWayMessage方法內(nèi)部調(diào)用Dispatcher的postMessage方法
- 6、postMessage會向具體的RpcEndpoint發(fā)送消息，首先通過endpointName從endpoints中獲得注冊時(shí)的EndpointData，如果不為空就執(zhí)行EndpointData中Inbox的post(message)方法，向Inbox的mesages中插入一條InboxMessage，同時(shí)向receivers中插入一條記錄，此處將Inbox單獨(dú)畫出來是為了方便大家理解
- 7、Dispatcher中的線程池會拿出一條線程用來循環(huán)receivers中的消息，首先使用take方法獲得receivers中的一條記錄，然后調(diào)用Inbox的process方法來執(zhí)行這條記錄，而process將messages中的一條InboxMessage（第6步中插入的）拿出來進(jìn)行處理，具體的處理方法就是通過模式匹配的方法，匹配到消息的類型（此處是OneWayMessage），然后來執(zhí)行RpcEndpoint中對應(yīng)的receive方法，在此例中我們只打印出這條消息（步驟8）
至此，一個(gè)簡單的發(fā)送本地消息的流程執(zhí)行完成。
什么，上面的圖太復(fù)雜了？我也覺得，下面給出一張簡潔的圖：
我們通過NettyRpcEndpointRef來發(fā)出一個(gè)消息，消息經(jīng)過NettyRpcEnv、Dispatcher、Inbox的共同處理最終將消息發(fā)送到NettyRpcEndpoint，NettyRpcEndpoint收到消息后進(jìn)行處理（一般是通過模式匹配的方式進(jìn)行不同的處理）
如果進(jìn)一步的進(jìn)行抽象就得到了我們剛開始所講的“三劍客”：RpcEnv、RpcEndpoint、RpcEndpointRef
RpcEndpointRef發(fā)送消息給RpcEnv，RpcEnv查詢注冊信息將消息路由到指定的RpcEndpoint，RpcEndpoint接收到消息后進(jìn)行處理（模式匹配的方式）
RpcEndpoint的聲明周期：constructor -> onStart -> receive* -> onStop
其中receive*包括receive和receiveAndReply
本文我們只是通過一個(gè)簡單的測試程序分析了Spark Rpc底層的實(shí)現(xiàn)，集群中的其它通信（比如Master和Woker的通信）的原理和這個(gè)測試類似，只不過具體的發(fā)送方式有所不同（包括ask、askWithRetry等），而且遠(yuǎn)程發(fā)消息的時(shí)候使用了OutBox和NIO等相關(guān)的內(nèi)容，感興趣的朋友可以對源碼進(jìn)行詳細(xì)的閱讀，本文不一一說明，目的就是通過簡單的測試?yán)斫獯笾铝鞒蹋辉贋椤癝park Rpc到底是什么”而糾結(jié)，一句話總結(jié)：Spark Rpc就是Spark中對分布式消息通信系統(tǒng)的高度抽象。
本文參考和拓展閱讀：
本文為原創(chuàng)，歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明出處、作者，謝謝！
