LocalFlinkMiniCluster 集群的actor 模型
- 相關(guān)的主要類圖如下：
AkkaRpcActor持有一個(gè)rpcEndpoint成員，接收到消息后進(jìn)行基礎(chǔ)解析后調(diào)用rpcEndpoint的的對(duì)應(yīng)方法來(lái)進(jìn)行處理。
-
其中RpcGateway及RpcEndPoint的類圖
image-20190415175424225.png -
支持的消息類型
- 其中主要使用RpcInvocation基于反射調(diào)用RPCEndpoint的對(duì)應(yīng)函數(shù)
-
FencedMessage 將message進(jìn)行封裝成payload，通過(guò)fencingToken進(jìn)行校驗(yàn)，保證請(qǐng)求的合法性
image-20190415175913490.png
LocalFlinkMiniCluster集群的角色
-
ResouceManager
- 負(fù)責(zé)容器的分配
- 使用FencedAkkaRpcActor實(shí)現(xiàn)，其rpcEndpoint為 org.apache.flink.runtime.resourcemanager.ResourceManager
-
JobMaster
負(fù)責(zé)任務(wù)執(zhí)行計(jì)劃的調(diào)度和執(zhí)行，
-
使用FencedAkkaRpcActor實(shí)現(xiàn)，其rpcEndpoint為 org.apache.flink.runtime.jobmaster.JobMaster
- JobMaster持有一個(gè)SlotPool的Actor，用來(lái)暫存TaskExecutor提供給JobMaster并被接受的slot。JobMaster的Scheduler組件從這個(gè)SlotPool中獲取資源以調(diào)度job的task
Dispatcher
-
主要職責(zé)是接收從Client端提交過(guò)來(lái)的job并生成一個(gè)JobMaster去負(fù)責(zé)這個(gè)job在集群資源管理器上執(zhí)行。
- 不是所有部署方式都需要用到dispatcher，比如yarn-cluster 的部署方式可能就不需要
使用FencedAkkaRpcActor實(shí)現(xiàn)，其rpcEndpoint為 org.apache.flink.runtime.dispatcher.StandaloneDispatcher
-
-
TaskExecutor
-
TaskExecutor會(huì)與ResouceManager和 JobMaster兩者進(jìn)行通信。
- 會(huì)向ResourceManager報(bào)告自身的可用資源；并維護(hù)本身slot的狀態(tài)
- 根據(jù)slot的分配結(jié)果，接收J(rèn)obMaster的命令在對(duì)應(yīng)的slot上執(zhí)行指定的task。
- TaskExecutor還需要向以上兩者定時(shí)上報(bào)心跳信息。
使用AkkaRpcActor實(shí)現(xiàn)，其rpcEndpoint為org.apache.flink.runtime.taskexecutor.TaskExecutor
-
啟動(dòng)DataStream任務(wù)的主體流程
參考資料
