Spark 運(yùn)行部署

spark 三種運(yùn)行部署方式:

1.yarn模式

2.standalone

3.Mesos

=====================================================================

1.standalone模式

與MapReduce1.0框架類(lèi)似,Spark框架本身也自帶了完整的資源調(diào)度管理服務(wù),可以獨(dú)立部署到一個(gè)集群中,而不需要依賴(lài)其他系統(tǒng)來(lái)為其提供資源管理調(diào)度服務(wù)。在架構(gòu)的設(shè)計(jì)上,Spark與MapReduce1.0完全一致,都是由一個(gè)Master和若干個(gè)Slave構(gòu)成,并且以槽(slot)作為資源分配單位。不同的是,Spark中的槽不再像MapReduce1.0那樣分為Map 槽和Reduce槽,而是只設(shè)計(jì)了統(tǒng)一的一種槽提供給各種任務(wù)來(lái)使用。

2.Spark on Mesos模式

Mesos是一種資源調(diào)度管理框架,可以為運(yùn)行在它上面的Spark提供服務(wù)。Spark on Mesos模式中,Spark程序所需要的各種資源,都由Mesos負(fù)責(zé)調(diào)度。由于Mesos和Spark存在一定的血緣關(guān)系,因此,Spark這個(gè)框架在進(jìn)行設(shè)計(jì)開(kāi)發(fā)的時(shí)候,就充分考慮到了對(duì)Mesos的充分支持,因此,相對(duì)而言,Spark運(yùn)行在Mesos上,要比運(yùn)行在YARN上更加靈活、自然。目前,Spark官方推薦采用這種模式,所以,許多公司在實(shí)際應(yīng)用中也采用該模式。

3. Spark on YARN模式

Spark可運(yùn)行于YARN之上,與Hadoop進(jìn)行統(tǒng)一部署,即“Spark on YARN”,其架構(gòu)如圖9-13所示,資源管理和調(diào)度依賴(lài)YARN,分布式存儲(chǔ)則依賴(lài)HDFS。


Spark on YARN模式
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容