前言

我們搭建一個網絡環境，一般遵循一定的網絡拓撲結構。由于Linux可以模擬相應的網絡設備，并可以創建“虛擬機”（也就是容器），因此在Linux系統內，我們也可以遵循一定的網路拓撲結構，設計一個“內網”，實現容器之間的通信。

本文主要講述容器跨主機網絡通信。

實現方式

容器跨主機的網絡通信，主要實現思路有兩種：二層VLAN網絡和Overlay網絡。

二層VLAN網絡的解決跨主機通信的思路是把原先的網絡架構改造為互通的大二層網絡，通過特定網絡設備直接路由，實現容器點到點的之間通信。

Overlay網絡是指在不改變現有網絡基礎設施的前提下，通過某種約定通信協議，把二層報文封裝在IP報文之上的新的數據格式。

libnetwork

Libnetwork是Docker團隊將Docker的網絡功能從Docker核心代碼中分離出去，形成一個單獨的庫。 Libnetwork通過插件的形式為Docker提供網絡功能。 使得用戶可以根據自己的需求實現自己的Driver來提供不同的網絡功能。

官方目前計劃實現以下Driver：

1. Bridge ： 這個Driver就是Docker現有網絡Bridge模式的實現。 （基本完成，主要從之前的Docker網絡代碼中遷移過來）

2. Null ： Driver的空實現，類似于Docker 容器的None模式。

3. Overlay ： 隧道模式實現多主機通信的方案。

“Libnetwork所要實現的網絡模型（網絡拓撲結構）基本是這樣的： 用戶可以創建一個或多個網絡（一個網絡就是一個網橋或者一個VLAN ），一個容器可以加入一個或多個網絡。 同一個網絡中容器可以通信，不同網絡中的容器隔離。”我覺得這才是將網絡從docker分離出去的真正含義，即在創建容器之前，我們可以先創建網絡（即創建容器與創建網絡是分開的），然后決定讓容器加入哪個網絡。

Libnetwork定義的容器網絡模型

Alt text

• Sandbox：對應一個容器中的網絡環境（沒有實體），包括相應的網卡配置、路由表、DNS配置等。CNM很形象的將它表示為網絡的『沙盒』，因為這樣的網絡環境是隨著容器的創建而創建，又隨著容器銷毀而不復存在的；

• Endpoint：實際上就是一個容器中的虛擬網卡，在容器中會顯示為eth0、eth1依次類推；

• Network：指的是一個能夠相互通信的容器網絡，加入了同一個網絡的容器直接可以直接通過對方的名字相互連接。它的實體本質上是主機上的虛擬網卡或網橋。

Libnetwork網絡使用方式

直接使用

1. 假設存在主機192.168.56.101,192.168.56.102

2. 修改每個主機的docker啟動參數DOCKER_OPTS=--insecure-registry 192.168.3.56:5000 -H 0.0.0.0:2375 --cluster-store=etcd://192.168.56.101:2379/ --cluster-advertise=192.168.56.101:2375，重啟docker。

3. docker創建overlay網絡net1和net2

• 192.168.56.101或192.168.56.102執行docker network create -d overlay net1``docker network create -d overlay net2

• 192.168.56.101運行容器net1c1,net2c1docker run -itd --name net1c1 --net net1 ubuntu:14.04

• 192.168.56.102運行容器net1c2,net2c2。

通過docker swarm使用

1. 啟動etcd集群，存儲docker swarm節點信息

192.168.56.101上etcd配置

ETCD_OPTS=--data-dir=/var/lib/etcd/ \

--name wily1 \

--initial-advertise-peer-urls http://192.168.56.101:2380 \

--listen-peer-urls http://192.168.56.101:2380 \

--listen-client-urls http://192.168.56.101:2379,http://127.0.0.1:2379 \

--advertise-client-urls http://192.168.56.101:2379 \

--initial-cluster-token etcd-cluster-1 \

--initial-cluster-state new \

--initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380

192.168.56.102上etcd配置

ETCD_OPTS=--data-dir=/var/lib/etcd/ \

--name wily1 \

--initial-advertise-peer-urls http://192.168.56.102:2380 \

--listen-peer-urls http://192.168.56.102:2380 \

--listen-client-urls http://192.168.56.102:2379,http://127.0.0.1:2379 \

--advertise-client-urls http://192.168.56.102:2379 \

--initial-cluster-token etcd-cluster-1 \

--initial-cluster-state new \

--initial-cluster wily1=http://192.168.56.101:2380,wily2=http://192.168.56.102:2380

2. 啟動 docker swarm

• 192.168.56.101執行docker run --name swarm-agent -d swarm join --addr=192.168.56.101:2375 etcd://192.168.56.101:2379/swarm

• 192.168.56.102執行docker run --name swarm-agent -d swarm join --addr=192.168.56.102:2375 etcd://192.168.56.102:2379/swarm

• 192.168.56.101上啟動swarm-managerdocker run --name swarm-manager -d -p 3375:2375 swarm manage etcd://192.168.56.101:2379/swarm

3. 192.168.56.101上創建網絡net3并啟動容器

docker -H tcp://localhost:3375 network create -d overlay net3

docker -H tcp://localhost:3375 run -it --net net3 ubuntu bash

4. 192.168.56.101上創建網絡net4并啟動容器，并且指定容器的ip，這個效果在實際場景中很有用

docker -H tcp://localhost:3375 network create -d overlay net4 --subnet 172.19.0.0/16

docker -H tcp://localhost:3375 run -it --net net4 --ip=172.19.0.6 ubuntu bash

使用--ip參數時，必須值定特定的子網，參見https://github.com/docker/docker/issues/20547

5. 用docker-compose試試。docker-compose文件

version: '2'

services:

web:

image: reinblau/php-apache2

networks:

• net5

networks:

net5:

driver: overlay

使用systemd配置docker swarm

1. 192.168.56.101和192.168.56.102配置swarm-agent.service

[Unit]

Description=Docker Swarm Agent Container

Documentation=https://docs.docker.com

Requires=etcd.service

Requires=docker.service

After=etcd.service

After=docker.service

[Service]

Type=simple

EnvironmentFile=/etc/default/swarm-agent

ExecStartPre=-/usr/bin/docker stop ${CONTAINER_NAME}

ExecStartPre=-/bin/echo "/usr/bin/docker stop ${CONTAINER_NAME}"

ExecStartPre=-/usr/bin/docker rm ${CONTAINER_NAME}

ExecStartPre=/usr/bin/docker pull swarm

ExecStart=/usr/bin/docker run --rm --name ${CONTAINER_NAME} swarm join --addr=${DOCKER_ADDRESS} ${ETCD_SWARM_URL}

ExecStartPre=-/bin/echo "/usr/bin/docker run --rm --name ${CONTAINER_NAME} swarm join --addr=${DOCKER_ADDRESS} ${ETCD_SWARM_URL}"

[Install]

WantedBy=multi-user.target

2. 192.168.56.101配置swarm-manager.service

[Unit]

Description=Docker Swarm Manager Container

Documentation=https://docs.docker.com

Requires=etcd.service

Requires=docker.service

After=etcd.service

After=docker.service

[Service]

Type=simple

EnvironmentFile=/etc/default/swarm-manager

ExecStartPre=-/usr/bin/docker stop ${CONTAINER_NAME}

ExecStartPre=-/bin/echo "/usr/bin/docker stop ${CONTAINER_NAME}"

ExecStartPre=-/usr/bin/docker rm ${CONTAINER_NAME}

ExecStartPre=/usr/bin/docker pull swarm

ExecStart=/usr/bin/docker run --name ${CONTAINER_NAME} -p ${SWARM_PORT}:2375 swarm manage ${ETCD_SWARM_URL}

ExecStartPre=-/bin/echo "/usr/bin/docker run --rm --name ${CONTAINER_NAME} -p ${SWARM_PORT}:2375 swarm manage ${ETCD_SWARM_URL}"

[Install]

WantedBy=multi-user.target

一些坑

如果你使用virtual box虛擬了兩個主機192.168.56.101和192.168.56.102，并且192.168.56.102是由192.168.56.101克隆而來，則你需要清除xx/docker/key.json（不同系統位置不同），并重啟docker。否則兩個主機啟動的容器可能具有同一個id，進而導致使用docker swarm時出現問題。參見https://github.com/docker/swarm/issues/380

小結

docker 真是做的越來越全面了，如果僅僅是用用，一切都是參數配置，搞得人家很沒有成就感嘛。

參考文獻

聊聊Docker 1.9的新網絡特性

理解Docker跨多主機容器網絡