一、Standlone模式
Standalone模式又叫獨立集群模式。
此處不做介紹,本章重點介紹Yarn模式
二、Yarn模式
2.1 介紹
獨立部署(Standalone)模式由Flink自身提供計算資源,無需其他框架提供資源,這種方式降低了和其他第三方資源框架的耦合性,獨立性非常強。但是,F(xiàn)link主要是計算框架,而不是資源調(diào)度框架,所以本身提供的資源調(diào)度并不是它的強項,所以還是和其他專業(yè)的資源調(diào)度框架集成更靠譜,所以接下來我們來學習在強大的Yarn環(huán)境中Flink是如何使用的。(其實是因為在國內(nèi)工作中,Yarn使用的非常多)
把Flink應用提交給Yarn的ResourceManager, Yarn的ResourceManager會申請容器從Yarn的NodeManager上面. Flink會創(chuàng)建JobManager和TaskManager在這些容器上。Flink會根據(jù)運行在JobManger上的job的需要的slot的數(shù)量動態(tài)的分配TaskManager資源。
二、yarn端口以及任務查看
yarn默認端口:8088
在yarn的ResourceManager界面查看執(zhí)行情況
三、flink on yarn
3.1