06-flink部署模式(重點介紹yarn)

一、Standlone模式
Standalone模式又叫獨立集群模式。
此處不做介紹,本章重點介紹Yarn模式

二、Yarn模式
2.1 介紹
獨立部署(Standalone)模式由Flink自身提供計算資源,無需其他框架提供資源,這種方式降低了和其他第三方資源框架的耦合性,獨立性非常強。但是,F(xiàn)link主要是計算框架,而不是資源調(diào)度框架,所以本身提供的資源調(diào)度并不是它的強項,所以還是和其他專業(yè)的資源調(diào)度框架集成更靠譜,所以接下來我們來學習在強大的Yarn環(huán)境中Flink是如何使用的。(其實是因為在國內(nèi)工作中,Yarn使用的非常多)
把Flink應用提交給Yarn的ResourceManager, Yarn的ResourceManager會申請容器從Yarn的NodeManager上面. Flink會創(chuàng)建JobManager和TaskManager在這些容器上。Flink會根據(jù)運行在JobManger上的job的需要的slot的數(shù)量動態(tài)的分配TaskManager資源。
二、yarn端口以及任務查看
yarn默認端口:8088
在yarn的ResourceManager界面查看執(zhí)行情況


三、flink on yarn
3.1

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內(nèi)容

  • Flink on yarn部署模式 背景 Flink是一個高性能,高吞吐,低延遲的流處理框架。它不僅僅是作為一個流...
    it_zzy閱讀 73,087評論 5 31
  • Hadoop環(huán)境快速搭建 官方文檔: YARN Setup[https://ci.apache.org/proje...
    端碗吹水閱讀 4,651評論 0 2
  • 1、Standalone 軟件要求: Java 1.8.x or higher ssh JAVA_HOME配置 Y...
    JACKbayue閱讀 17,501評論 0 5
  • 表情是什么,我認為表情就是表現(xiàn)出來的情緒。表情可以傳達很多信息。高興了當然就笑了,難過就哭了。兩者是相互影響密不可...
    Persistenc_6aea閱讀 125,938評論 2 7
  • 16宿命:用概率思維提高你的勝算 以前的我是風險厭惡者,不喜歡去冒險,但是人生放棄了冒險,也就放棄了無數(shù)的可能。 ...
    yichen大刀閱讀 6,098評論 0 4