基于Docker搭建多節(jié)點Mesos/Marathon

摘要: 在之前的一篇博客中，我介紹了基于Docker搭建單機版Mesos/Marathon，但是僅僅使用了單個節(jié)點。而在這篇博客中，我將介紹基于Docker搭建多節(jié)點Mesos/Marathon，開發(fā)者可以使用3個節(jié)點快速地搭建一個真正的分布式容器集群系統(tǒng)。服務(wù)發(fā)現(xiàn)和負載均衡是容器集群必不可少的功能，我選擇了Marathon LB來實現(xiàn)。

GitHub地址: kiwenlau/mesos-marathon-platform

mesos-marathon-platform.png

一. Mesos/Marathon簡介

1. Mesos

Mesos是分布式集群資源管理系統(tǒng)，負責(zé)調(diào)度集群內(nèi)的CPU，內(nèi)存以及磁盤等資源。Hadoop MapReduce, Spark以及Storm等分布式計算框架很流行，但是為每一個計算框架搭建單獨的集群非常地浪費資源，也無法實現(xiàn)數(shù)據(jù)共享，而Mesos的設(shè)計初衷就是讓不同的分布式計算框架能夠共享一個集群。

Mesos資源調(diào)度算法分為兩個層次: Mesos監(jiān)控集群的空余資源，并將空余資源按照一定規(guī)則分配給各個計算框架；而各個計算框架會根據(jù)需要選擇接受或者拒絕所分配的資源。這時，Mesos與各個計算框架都參與了資源的調(diào)度: Mesos負責(zé)分配資源; 而計算框架接受或者拒絕資源。因此，Mesos的責(zé)任非常清晰而且簡單：分配集群資源。Mesos的雙層調(diào)度算法提高了可擴展性，并且可以更方便地支持不同的計算框架。

目前主流的集群資源管理系統(tǒng)還有Hadoop YARN，Kubernetes以及Swarm。Hadoop YARN目前僅適合運行分布式計算框架例如Spark；Kubernetes與Swarm僅適合運行容器應(yīng)用；而Mesos對分布式計算框架以及容器應(yīng)用的支持都很成熟。并且，Kubernetes與Swarm可以作為計算框架運行在Mesos之上。Kubernetes的功能強大，但是有些過度設(shè)計導(dǎo)致復(fù)雜度很高，而Swarm的設(shè)計簡單很多但是功能相對缺乏，大家可以根據(jù)需要選擇。個人認為，使用Mesos的話，最好選擇Marathon作為容器編排系統(tǒng)，架構(gòu)非常簡單，且功能豐富。

2. Marathon

Marathon是容器編排系統(tǒng)，是運行于Mesos之上的眾多計算框架之一。用戶可以通過Marathon提交，監(jiān)控并調(diào)度容器應(yīng)用，然后Mesos負責(zé)運行容器。另外，Aurora與Marathon功能一致，同為容器編排系統(tǒng)。相比而言，Marathon的架構(gòu)比Aurora更簡單，沒有從節(jié)點，且對Docker的支持更為完善。Marathon由Mesosphere公司負責(zé)開發(fā)，社區(qū)很活躍，文檔也很完善。

Marathon具有容錯功能：當容器由于節(jié)點崩潰等原因意外停止運行時，Marathon會自動將容器調(diào)度到其他節(jié)點。這一點類似進程管理工具例如Supervisor：當進程意外退出時，Supervisor會重啟進程。然而，自動容錯功能并不適合有狀態(tài)服務(wù)，即帶有數(shù)據(jù)卷(volume)的容器，例如MongoDB與MySQL。因為數(shù)據(jù)很難跨節(jié)點移動，目前的技術(shù)還不夠成熟。因此，Marathon目前僅適合運行無狀態(tài)的服務(wù)，而數(shù)據(jù)庫等有狀態(tài)服務(wù)應(yīng)該單獨部署。這樣做也可以提高數(shù)據(jù)的安全性。

3. Marathon LB

Marathon LB是Marathon的服務(wù)發(fā)現(xiàn)與負載均衡系統(tǒng)。Marathon LB通過使用Haproxy實現(xiàn)了代理服務(wù)器的功能。

當使用Marathon部署容器時，容器運行的節(jié)點(IP)與使用的端口(PORT)是Mesos/Marathon平臺負責(zé)調(diào)度的，無法事先確定。這樣的話，每次訪問服務(wù)時，需要手動去查詢?nèi)萜鬟\行的IP與PORT。并且，容器出錯時會發(fā)生重新調(diào)度，IP與PORT會變化。因此，訪問服務(wù)會非常不方便。通過使用Marathon LB可以配置服務(wù)的固定端口，而服務(wù)的IP就是運行Marathon LB的節(jié)點IP，這樣每次部署服務(wù)時，IP與PORT是固定的，就方便很多了。Marathon LB會監(jiān)聽Marathon的調(diào)度事件，獲取容器運行的IP與PORT，然后更新代理服務(wù)器Haproxy的配置文件。因此，當部署新的容器或者容器發(fā)生變化時，仍然可以通過固定的IP與PORT訪問該容器。這就是所謂的服務(wù)發(fā)現(xiàn)。

同一個服務(wù)往往對應(yīng)著多個容器副本，Marathon LB作為代理服務(wù)器，同時實現(xiàn)了負載均衡的功能。服務(wù)請求能夠使用Round Robin方式發(fā)送給各個容器。

二. 搭建步驟

1. 創(chuàng)建虛擬機

按照使用Vagrant創(chuàng)建多節(jié)點虛擬機集群，可以快速地在單個機器上創(chuàng)建Mesos/Marathon平臺運行所需要的3個虛擬機節(jié)點。

其中，node1為主機點(Master)，運行zookeeper, mesos_master, marathon以及marathon-lb容器; node2與node3為從節(jié)點(Slave)，運行mesos_slave容器；使用marathon部署nginx時，nginx容器運行在從節(jié)點上。如下表所示:

節(jié)點 IP 運行的容器
node1 192.168.59.1 zookeeper, mesos_master, marathon, marathon-lb
node2 192.168.59.2 mesos_slave1, nginx
node3 192.168.59.3 mesos_slave2, nginx

2. 開啟Docker daemon的監(jiān)聽端口

因為start-containers.sh使用了遠程啟動容器的方式，因此需要開啟Docker daemon的TCP監(jiān)聽端口。提醒一下，開啟Docker daemon端口是不安全的，生產(chǎn)環(huán)境中不能打開，或者做好防火墻配置。不希望開啟Docker daemon的監(jiān)聽端口的話，可以使用start-containers.sh中的命令直接運行容器，只是稍微麻煩一點。

Master, Slave1和Slave2:

sudo vim /etc/default/docker

修改DOCKER_OPTS

DOCKER_OPTS="-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock"

重啟Docker

sudo restart docker

3. 下載Docker鏡像

Master:

sudo docker pull kiwenlau/zookeeper:3.4.8 
sudo docker pull kiwenlau/mesos:0.26.0 
sudo docker pull kiwenlau/marathon:1.1.1  
sudo docker pull kiwenlau/marathonlb:1.3.0

Slave1 和 Slave2:

sudo docker pull kiwenlau/mesos:0.26.0

4. 下載GitHub倉庫

Master:

git clone https://github.com/kiwenlau/mesos-marathon-platform

5. 運行容器

Master:

cd mesos-marathon-platform
sudo ./start-containers.sh

網(wǎng)頁管理:

如果需要增加Slave節(jié)點，或者配置不同的節(jié)點IP，僅需修改start-contaniers.sh腳本中以下內(nèi)容：

MASTER_IP=192.168.59.1
SLAVE_IP=(192.168.59.2 192.168.59.3)

6. 運行Nginx:

下載nginx鏡像(Slave1和Slave2):

sudo docker pull nginx:1.10

運行Nginx(Master):

sudo ./run-nginx.sh

Nginx的的定義如下(nginx.json):

{
    "id": "nginx",
    "labels": {
        "HAPROXY_GROUP": "external"
    },
    "cpus": 0.2,
    "mem": 20.0,
    "instances": 2,
    "healthChecks": [{
        "path": "/"
    }],
    "container": {
        "type": "DOCKER",
        "docker": {
            "image": "nginx:1.10",
            "network": "BRIDGE",
            "portMappings": [{ "containerPort": 80, "hostPort": 0, "servicePort": 10000, "protocol": "tcp" }]
        }
    }
}

其中，servicePort表示nginx綁定的端口為10000，而marathon-lb容器運行的節(jié)點IP為192.168.59.1。因此nginx的訪問地址為：

而實際上，兩個nginx容器運行在Slave節(jié)點上，且端口是隨機分配的。

三. 參考

  1. Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容