Apache Mesos總體架構

1. 前言

同其他大部分分布式系統一樣,Apache Mesos為了簡化設計,也是采用了master/slave結構,為了解決master單點故障,將master做得盡可能地輕量級,其上面所有的元數據可以通過各個slave重新注冊而進行重構,故很容易通過zookeeper解決該單點故障問題。

2. Apache mesos中的基本術語解釋

(1)Mesos-master:Mesos master,主要負責管理各個framework和slave,并將slave上的資源分配給各個framework

(2)Mesos-slave:Mesos slave,負責管理本節點上的各個mesos-task,比如:為各個executor分配資源

(3)Framework:計算框架,如:Hadoop,Spark等,通過MesosSchedulerDiver接入Mesos

(4)Executor:執行器,安裝到mesos-slave上,用于啟動計算框架中的task。

當用戶試圖添加一種新的計算框架到Mesos中時,需要實現一個Framework scheduler和executor以接入Mesos。

3. 總體架構

Apache Mesos由四個組件組成,分別是Mesos-master,mesos-slave,framework和executor。

Mesos-master是整個系統的核心,負責管理接入mesos的各個framework(由frameworks_manager管理)和slave(由slaves_manager管理),并將slave上的資源按照某種策略分配給framework(由獨立插拔模塊Allocator管理)。

Mesos-slave負責接收并執行來自mesos-master的命令、管理節點上的mesos-task,并為各個task分配資源。mesos-slave將自己的資源量發送給mesos-master,由mesos-master中的Allocator模塊決定將資源分配給哪個framework,當前考慮的資源有CPU和內存兩種,也就是說,mesos-slave會將CPU個數和內存量發送給mesos-master,而用戶提交作業時,需要指定每個任務需要的CPU個數和內存量,這樣,當任務運行時,mesos-slave會將任務放到包含固定資源的linux container中運行,以達到資源隔離的效果。很明顯,master存在單點故障問題,為此,mesos采用了zookeeper解決該問題。

Framework是指外部的計算框架,如Hadoop,Mesos等,這些計算框架可通過注冊的方式接入mesos,以便mesos進行統一管理和資源分配。Mesos要求可接入的框架必須有一個調度器模塊,該調度器負責框架內部的任務調度。當一個framework想要接入mesos時,需要修改自己的調度器,以便向mesos注冊,并獲取mesos分配給自己的資源, 這樣再由自己的調度器將這些資源分配給框架中的任務,也就是說,整個mesos系統采用了雙層調度框架:第一層,由mesos將資源分配給框架;第二層,框架自己的調度器將資源分配給自己內部的任務。當前Mesos支持三種語言編寫的調度器,分別是C++,java和python,為了向各種調度器提供統一的接入方式,Mesos內部采用C++實現了一個MesosSchedulerDriver(調度器驅動器),framework的調度器可調用該driver中的接口與Mesos-master交互,完成一系列功能(如注冊,資源分配等)。

Executor主要用于啟動框架內部的task。由于不同的框架,啟動task的接口或者方式不同,當一個新的框架要接入mesos時,需要編寫一個executor,告訴mesos如何啟動該框架中的task。為了向各種框架提供統一的執行器編寫方式,Mesos內部采用C++實現了一個MesosExecutorDiver(執行器驅動器),framework可通過該驅動器的相關接口告訴mesos啟動task的方法。


最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容