Flink On K8s 集群原理

Flink On K8s 架構

image.png

Flink 任務在 Kubernetes 上運行的步驟有:

●首先往 Kubernetes 集群提交了資源描述文件后,會啟動 Master 和 Worker 的 container。
●Master Container 中會啟動 Flink Master Process,包含 Flink-Container ResourceManager、JobManager 和 Program Runner。
●Worker Container 會 啟 動 TaskManager, 并 向 負 責 資 源 管 理 的 ResourceManager 進行注冊,注冊完成之后,由 JobManager 將具體的任務分給 Container,再由 Container 去執(zhí)行。
●需要說明的是,在 Flink 里的 Master 和 Worker 都是一個鏡像,只是腳本的命令不一樣,通過參數來選擇啟動 master 還是啟動 Worker

JobManager 的執(zhí)行過程分為兩步 :

●首先,JobManager 通過 Deployment 進行描述,保證 1 個副本的 Conainer 運行 JobManager,可以定義一個標簽,例如 flink-jobmanager。
●其次,還需要定義一個 JobManager Service,通過 service name 和 port 暴露 JobManager 服務,通過標簽選擇對應的 pods。

Flink on Kubernetes-TaskManager:

TaskManager 也是通過 Deployment 來進行描述,保證 n 個副本的 Container 運行 TaskManager,同時也需要定義一個標簽,例如 flink-taskmanager。

對于 JobManager 和 TaskManager 運行過程中需要的一些配置文件,如:flink-conf.yaml、hdfs-site.xml、core-site.xml,可以通過將它們定義為 ConfigMap 來實現配置的傳遞和讀取

image.png

整個交互的流程比較簡單,用戶往 Kubernetes 集群提交定義好的資源描述文件即可,例如 deployment、configmap、service 等描述。后續(xù)的事情就交給 Kubernetes 集群自動完成。Kubernetes 集群會按照定義好的描述來啟動 pod,運行用戶程序。各個組件的具體工作如下:

●Service: 通過標簽 (label selector) 找到 job manager 的 pod 暴露服務。
●Deployment:保證 n 個副本的 container 運行 JM/TM,應用升級策略。
●ConfigMap:在每個 pod 上通過掛載 /etc/flink 目錄,包含 flink-conf.yaml 內容。

?Session Cluster 模式

? 啟動
    ?kubectl create -f jobmanager-service.yaml
    ?kubectl create -f jobmanager-deployment.yaml
    ?kubectl create -f taskmanager-deployment.yaml
?Submit job
    ?kubectl port-forward service/flink-jobmanager 8081:8081
    ?bin/flink run -d -m localhost:8081 ./examples/streaming/

TopSpeedWindowing.jar
? 停止
?kubectl delete -f jobmanager-deployment.yaml
?kubectl delete -f taskmanager-deployment.yaml
?kubectl delete -f jobmanager-service.yaml

首先啟動 Session Cluster,執(zhí)行上述三條啟動命令就可以將 Flink 的 Job-Manager-service、jobmanager-deployment、taskmanager-deployment 啟動起來。啟動完成之后用戶可以通過接口進行訪問,然后通過端口進行提交任務。若想銷毀集群,直接用 kubectl delete 即可,整個資源就可以銷毀。

配置文件示例

image.png
image.png

● Job Cluster 模式

除了 Session 模式,還有一種 Per Job 模式。在 Per Job 模式下,需要將用戶代碼都打到鏡像里面,這樣如果業(yè)務邏輯的變動涉及到 Jar 包的修改,都需要重新生成鏡像,整個過程比較繁瑣,因此在生產環(huán)境中使用的比較少。
以使用公用 docker 倉庫為例,Job Cluster 的運行步驟如下:

● build 鏡像:在 flink/flink-container/docker 目錄下執(zhí)行 build.sh 腳本
● 上傳鏡像:在 hub.docker.com 上需要注冊賬號和創(chuàng)建倉庫進行上傳鏡像。
docker tag topspeed zkb555/topspeedwindowing
docker push zkb555/topspeedwindowing

● 啟動任務:在鏡像上傳之后,可以啟動任務。
kubectl create -f job-cluster-service.yaml
FLINK_IMAGE_NAME=zkb555/topspeedwindowing:latest FLINK_JOB=org.apache.flink.streaming.examples.windowing.TopSpeedWindowing FLINK_JOB_PARALLELISM=3
envsubst <
job-cluster-job.yaml.template
kubectl create -f -FLINK_IMAGE_NAME=zkb555/topspeedwindowing:latest FLINK_JOB_PARALLELISM=4

envsubst <
task-manager-deployment.yaml.template | kubectl create -f -

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。