Flink On K8s 架構

image.png

Flink 任務在 Kubernetes 上運行的步驟有：

●首先往 Kubernetes 集群提交了資源描述文件后，會啟動 Master 和 Worker 的 container。
●Master Container 中會啟動 Flink Master Process，包含 Flink-Container ResourceManager、JobManager 和 Program Runner。
●Worker Container 會 啟 動 TaskManager， 并 向 負 責 資 源 管 理 的 ResourceManager 進行注冊，注冊完成之后，由 JobManager 將具體的任務分給 Container，再由 Container 去執(zhí)行。
●需要說明的是，在 Flink 里的 Master 和 Worker 都是一個鏡像，只是腳本的命令不一樣，通過參數來選擇啟動 master 還是啟動 Worker

JobManager 的執(zhí)行過程分為兩步 :

●首先，JobManager 通過 Deployment 進行描述，保證 1 個副本的 Conainer 運行 JobManager，可以定義一個標簽，例如 flink-jobmanager。
●其次，還需要定義一個 JobManager Service，通過 service name 和 port 暴露 JobManager 服務，通過標簽選擇對應的 pods。

Flink on Kubernetes-TaskManager：

TaskManager 也是通過 Deployment 來進行描述，保證 n 個副本的 Container 運行 TaskManager，同時也需要定義一個標簽，例如 flink-taskmanager。

對于 JobManager 和 TaskManager 運行過程中需要的一些配置文件，如：flink-conf.yaml、hdfs-site.xml、core-site.xml，可以通過將它們定義為 ConfigMap 來實現配置的傳遞和讀取

image.png

整個交互的流程比較簡單，用戶往 Kubernetes 集群提交定義好的資源描述文件即可，例如 deployment、configmap、service 等描述。后續(xù)的事情就交給 Kubernetes 集群自動完成。Kubernetes 集群會按照定義好的描述來啟動 pod，運行用戶程序。各個組件的具體工作如下：

●Service: 通過標簽 (label selector) 找到 job manager 的 pod 暴露服務。
●Deployment：保證 n 個副本的 container 運行 JM/TM，應用升級策略。
●ConfigMap：在每個 pod 上通過掛載 /etc/flink 目錄，包含 flink-conf.yaml 內容。

?Session Cluster 模式

? 啟動
    ?kubectl create -f jobmanager-service.yaml
    ?kubectl create -f jobmanager-deployment.yaml
    ?kubectl create -f taskmanager-deployment.yaml
?Submit job
    ?kubectl port-forward service/flink-jobmanager 8081:8081
    ?bin/flink run -d -m localhost:8081 ./examples/streaming/

TopSpeedWindowing.jar
? 停止
?kubectl delete -f jobmanager-deployment.yaml
?kubectl delete -f taskmanager-deployment.yaml
?kubectl delete -f jobmanager-service.yaml

首先啟動 Session Cluster，執(zhí)行上述三條啟動命令就可以將 Flink 的 Job-Manager-service、jobmanager-deployment、taskmanager-deployment 啟動起來。啟動完成之后用戶可以通過接口進行訪問，然后通過端口進行提交任務。若想銷毀集群，直接用 kubectl delete 即可，整個資源就可以銷毀。

配置文件示例

image.png

image.png

● Job Cluster 模式

除了 Session 模式，還有一種 Per Job 模式。在 Per Job 模式下，需要將用戶代碼都打到鏡像里面，這樣如果業(yè)務邏輯的變動涉及到 Jar 包的修改，都需要重新生成鏡像，整個過程比較繁瑣，因此在生產環(huán)境中使用的比較少。
以使用公用 docker 倉庫為例，Job Cluster 的運行步驟如下：

● build 鏡像：在 flink/flink-container/docker 目錄下執(zhí)行 build.sh 腳本
● 上傳鏡像：在 hub.docker.com 上需要注冊賬號和創(chuàng)建倉庫進行上傳鏡像。
docker tag topspeed zkb555/topspeedwindowing
docker push zkb555/topspeedwindowing

● 啟動任務：在鏡像上傳之后，可以啟動任務。
kubectl create -f job-cluster-service.yaml
FLINK_IMAGE_NAME=zkb555/topspeedwindowing:latest FLINK_JOB=org.apache.flink.streaming.examples.windowing.TopSpeedWindowing FLINK_JOB_PARALLELISM=3
envsubst <
job-cluster-job.yaml.template
kubectl create -f -FLINK_IMAGE_NAME=zkb555/topspeedwindowing:latest FLINK_JOB_PARALLELISM=4

envsubst <
task-manager-deployment.yaml.template | kubectl create -f -