1. vxlan 簡(jiǎn)介
VXLAN 全稱是?Virtual eXtensible Local Area Network，虛擬可擴(kuò)展的局域網(wǎng)。它是一種 overlay 技術(shù)，通過(guò)三層的網(wǎng)絡(luò)來(lái)搭建虛擬的二層網(wǎng)絡(luò)。rfc7348 (參考資料1) 上的介紹是這樣的：
A framework for overlaying virtualized layer 2 networks over lay 3 networks.
每一個(gè)技術(shù)出來(lái)都有它要解決的問(wèn)題，VXLAN 也不例外，那么我們先看看 VXLAN 到底要解決哪些問(wèn)題。
虛擬化（虛擬機(jī)和容器）的興起使得一個(gè)數(shù)據(jù)中心會(huì)有成千上萬(wàn)的機(jī)器需要通信，而傳統(tǒng)的 VLAN 技術(shù)只能支持 4096 個(gè)網(wǎng)絡(luò)上限，已經(jīng)滿足不了不斷擴(kuò)展的數(shù)據(jù)中心規(guī)模
越來(lái)越多的數(shù)據(jù)中心（尤其是公有云服務(wù)）需要提供多租戶的功能，不同用戶之間需要獨(dú)立地分配 ip 和 MAC 地址，如何保證這個(gè)功能的擴(kuò)展性和正確性也是一個(gè)待解決的問(wèn)題
云計(jì)算業(yè)務(wù)對(duì)業(yè)務(wù)靈活性要求很高，虛擬機(jī)可能會(huì)大規(guī)模遷移，并保證網(wǎng)絡(luò)一直可用，也就是大二層的概念。解決這個(gè)問(wèn)題同時(shí)保證二層的廣播域不會(huì)過(guò)分?jǐn)U大，也是云計(jì)算網(wǎng)絡(luò)的要求
傳統(tǒng)二層+三層的網(wǎng)絡(luò)在應(yīng)對(duì)這些要求時(shí)變得力不從心，雖然很多改進(jìn)型的技術(shù)比如堆疊、SVF、TRILL 等能夠增加二層的范圍，努力改進(jìn)經(jīng)典網(wǎng)絡(luò)，但是要做到對(duì)網(wǎng)絡(luò)改動(dòng)小同時(shí)保證靈活性高卻非常困難。
為了解決這些問(wèn)題，有很多方案被提出來(lái)，vxlan 就是其中之一。vxlan 是 VMware、Cisco 等一眾大型企業(yè)共同推出的，目前標(biāo)準(zhǔn)文檔在?RFC7348。
2. VXLAN 模型
vxlan 這類隧道網(wǎng)絡(luò)的一個(gè)特點(diǎn)是對(duì)原有的網(wǎng)絡(luò)架構(gòu)影響小，原來(lái)的網(wǎng)絡(luò)不需要做任何改動(dòng)，在原來(lái)網(wǎng)絡(luò)基礎(chǔ)上架設(shè)一層新的網(wǎng)絡(luò)。
vxlan 自然會(huì)引入一些新的概念，這部分就講講它們。下面這張圖 是 vxlan 的工作模型，它創(chuàng)建在原來(lái)的 IP 網(wǎng)絡(luò)（三層）上，只要是三層可達(dá)（能夠通過(guò) IP 互相通信）的網(wǎng)絡(luò)就能部署 vxlan。在每個(gè)端點(diǎn)上都有一個(gè) vtep 負(fù)責(zé) vxlan 協(xié)議報(bào)文的封包和解包，也就是在虛擬報(bào)文上封裝 vtep 通信的報(bào)文頭部。物理網(wǎng)絡(luò)上可以創(chuàng)建多個(gè) vxlan 網(wǎng)絡(luò)，這些 vxlan 網(wǎng)絡(luò)可以認(rèn)為是一個(gè)隧道，不同節(jié)點(diǎn)的虛擬機(jī)能夠通過(guò)隧道直連。每個(gè) vxlan 網(wǎng)絡(luò)由唯一的 VNI 標(biāo)識(shí)，不同的 vxlan 可以不相互影響。
VTEP（VXLAN Tunnel Endpoints）：vxlan 網(wǎng)絡(luò)的邊緣設(shè)備，用來(lái)進(jìn)行 vxlan 報(bào)文的處理（封包和解包）。vtep 可以是網(wǎng)絡(luò)設(shè)備（比如交換機(jī)），也可以是一臺(tái)機(jī)器（比如虛擬化集群中的宿主機(jī)）
VNI（VXLAN Network Identifier）：VNI 是每個(gè) vxlan 的標(biāo)識(shí)，是個(gè) 24 位整數(shù)，一共有 2^24 = 16,777,216（一千多萬(wàn)），一般每個(gè) VNI 對(duì)應(yīng)一個(gè)租戶，也就是說(shuō)使用 vxlan 搭建的公有云可以理論上可以支撐千萬(wàn)級(jí)別的租戶
Tunnel：隧道是一個(gè)邏輯上的概念，在 vxlan 模型中并沒(méi)有具體的物理實(shí)體想對(duì)應(yīng)。隧道可以看做是一種虛擬通道，vxlan 通信雙方（圖中的虛擬機(jī)）認(rèn)為自己是在直接通信，并不知道底層網(wǎng)絡(luò)的存在。從整體來(lái)說(shuō)，每個(gè) vxlan 網(wǎng)絡(luò)像是為通信的虛擬機(jī)搭建了一個(gè)單獨(dú)的通信通道，也就是隧道
現(xiàn)在來(lái)說(shuō)，這些概念還是非常晦澀難理解的，我們會(huì)在下面具體講解 vxlan 網(wǎng)絡(luò)的報(bào)文和通信流程，希望文章結(jié)束之后再回來(lái)看這些概念能明白它們的意思。
3. VXLAN 報(bào)文解析
前面說(shuō)過(guò)，vxlan 在三層網(wǎng)絡(luò)上構(gòu)建一個(gè)虛擬的二層網(wǎng)絡(luò)出來(lái)，這一點(diǎn)能夠在 vxlan 的報(bào)文上很明顯地體現(xiàn)出來(lái)。
下圖是 vxlan 協(xié)議的報(bào)文，白色的部分是虛擬機(jī)發(fā)送報(bào)文（二層幀，包含了 MAC 頭部、IP 頭部和傳輸層頭部的報(bào)文），前面加了 vxlan 頭部用來(lái)專門保存 vxlan 相關(guān)的內(nèi)容，在前面是標(biāo)準(zhǔn)的 UDP 協(xié)議頭部（UDP 頭部、IP 頭部和 MAC 頭部）用來(lái)在底層網(wǎng)路上傳輸報(bào)文。
從這個(gè)報(bào)文中可以看到三個(gè)部分：
最外層的 UDP 協(xié)議報(bào)文用來(lái)在底層網(wǎng)絡(luò)上傳輸，也就是 vtep 之間互相通信的基礎(chǔ)
中間是 VXLAN 頭部，vtep 接受到報(bào)文之后，去除前面的 UDP 協(xié)議部分，根據(jù)這部分來(lái)處理 vxlan 的邏輯，主要是根據(jù) VNI 發(fā)送到最終的虛擬機(jī)
最里面是原始的報(bào)文，也就是虛擬機(jī)看到的報(bào)文內(nèi)容
報(bào)文各個(gè)部分的意義如下：
VXLAN header：vxlan 協(xié)議相關(guān)的部分，一共 8 個(gè)字節(jié)
VXLAN flags：標(biāo)志位
Reserved：保留位
VNID：24 位的 VNI 字段，這也是 vxlan 能支持千萬(wàn)租戶的地方
Reserved：保留字段
UDP 頭部，8 個(gè)字節(jié)
UDP 應(yīng)用通信雙方是 vtep 應(yīng)用，其中目的端口就是接收方 vtep 使用的端口，IANA 分配的端口是 4789
IP 頭部：20 字節(jié)
主機(jī)之間通信的地址，可能是主機(jī)的網(wǎng)卡 IP 地址，也可能是多播 IP 地址
MAC 頭部：14 字節(jié)
主機(jī)之間通信的 MAC 地址，源 MAC 地址為主機(jī) MAC 地址，目的 MAC 地址為下一跳設(shè)備的 MAC 地址
可以看出 vxlan 協(xié)議比原始報(bào)文多 50 字節(jié)的內(nèi)容，這會(huì)降低網(wǎng)絡(luò)鏈路傳輸有效數(shù)據(jù)的比例。vxlan 頭部最重要的是 VNID 字段，其他的保留字段主要是為了未來(lái)的擴(kuò)展，目前留給不同的廠商用這些字段添加自己的功能。
4. vxlan 網(wǎng)絡(luò)通信過(guò)程
通過(guò)上節(jié)的內(nèi)容，我們大致了解 vxlan 報(bào)文的發(fā)送過(guò)程。虛擬機(jī)的報(bào)文通過(guò) vtep 添加上 vxlan 以及外部的報(bào)文層，然后發(fā)送出去，對(duì)方 vtep 收到之后拆除 vxlan 頭部然后根據(jù) VNI 把原始報(bào)文發(fā)送到目的虛擬機(jī)。
上面的過(guò)程是雙方已經(jīng)知道所有通信信息的過(guò)程，但是在第一次通信之前還有很多問(wèn)題有解決：
哪些 vtep 需要加到一個(gè)相同的 VNI 組？
發(fā)送方虛擬機(jī)怎么知道對(duì)方的 MAC 地址？
vtep 怎么知道目的虛擬機(jī)在哪一臺(tái)宿主機(jī)上？
這三個(gè)問(wèn)題可以歸結(jié)為同一個(gè)問(wèn)題：vxlan 網(wǎng)絡(luò)怎么感知彼此的存在并選擇正確的路徑傳輸報(bào)文？
而且第一個(gè)問(wèn)題也是不用回答的，因?yàn)?vtep 形成的組是虛構(gòu)的概念，只有某些 vtep 能夠正確地傳遞報(bào)文，它們就是在同一個(gè)組內(nèi)。也就是說(shuō)，我們只要回答后面兩個(gè)問(wèn)題就行。
要回答這兩個(gè)問(wèn)題，我們還是回到 vxlan 協(xié)議報(bào)文上，看看一個(gè)完整的 vxlan 報(bào)文需要哪些信息。
內(nèi)層報(bào)文：通信的虛擬機(jī)雙方要么直接使用 IP 地址，要么通過(guò) DNS 等方式已經(jīng)獲取了對(duì)方的 IP 地址，因此網(wǎng)絡(luò)層地址已經(jīng)知道。同一個(gè)網(wǎng)絡(luò)的虛擬機(jī)需要通信，還需要知道對(duì)方虛擬機(jī)的 MAC 地址，vxlan 需要一個(gè)機(jī)制來(lái)實(shí)現(xiàn)傳統(tǒng)網(wǎng)絡(luò) ARP 的功能
vxlan 頭部：只需要知道 VNI，這一般是直接配置在 vtep 上的，要么是提前規(guī)劃寫死的，要么是根據(jù)內(nèi)部報(bào)文自動(dòng)生成的，也不需要擔(dān)心
UDP 頭部：最重要的是源地址和目的地址的端口，源地址端口是系統(tǒng)生成并管理的，目的端口也是寫死的，比如 IANA 規(guī)定的 4789 端口，這部分也不需要擔(dān)心
IP 頭部：IP 頭部關(guān)心的是 vtep 雙方的 IP 地址，源地址可以很簡(jiǎn)單確定，目的地址是虛擬機(jī)所在地址宿主機(jī) vtep 的 IP 地址，這個(gè)也需要由某種方式來(lái)確定
MAC 頭部：如果 vtep 的 IP 地址確定了，MAC 地址可以通過(guò)經(jīng)典的 ARP 方式來(lái)獲取，畢竟 vtep 網(wǎng)絡(luò)在同一個(gè)三層，經(jīng)典網(wǎng)絡(luò)架構(gòu)那一套就能直接用了
總結(jié)一下，一個(gè) vxlan 報(bào)文需要確定兩個(gè)地址信息：目的虛擬機(jī)的 MAC 地址和目的 vtep 的 IP 地址，如果 VNI 也是動(dòng)態(tài)感知的，那么 vtep 就需要一個(gè)三元組：
內(nèi)部 MAC <–> VNI <–> VTEP IP
根據(jù)實(shí)現(xiàn)的不同，一般分為兩種方式：多播和控制中心。多播的概念是同個(gè) vxlan 網(wǎng)絡(luò)的 vtep 加入到同一個(gè)多播網(wǎng)絡(luò)，如果需要知道以上信息，就在組內(nèi)發(fā)送多播來(lái)查詢；控制中心的概念是在某個(gè)集中式的地方保存了所有虛擬機(jī)的上述信息，自動(dòng)化告知 vtep 它需要的信息。
針對(duì)這兩種方式，我們下面就分別分析。
多播
多播的概念和工作原理不是這里的重點(diǎn)，所以就不介紹了。簡(jiǎn)單來(lái)說(shuō)，每個(gè)多播組對(duì)應(yīng)一個(gè)多播 IP 地址，往這個(gè)多播 IP 地址發(fā)送的報(bào)文會(huì)發(fā)給多播組的所有主機(jī)。
為什么要使用多播？因?yàn)?vxlan 的底層網(wǎng)絡(luò)是三層的，廣播地址無(wú)法穿越三層網(wǎng)絡(luò)，要給 vxlan 網(wǎng)絡(luò)所有 vtep 發(fā)送報(bào)文只能通過(guò)多播。
下圖是在多播模式下，vxlan 的報(bào)文工作流程，位于左下方的 機(jī)器 A 要通過(guò) vxlan 網(wǎng)絡(luò)發(fā)送報(bào)文給右下方的機(jī)器 B。
vtep 建立的時(shí)候會(huì)通過(guò)配置加入到多播組（具體做法取決于實(shí)現(xiàn)），圖中的多播組 IP 地址是?239.1.1.1。
機(jī)器 A 只知道對(duì)方的 IP 地址，不知道 MAC 地址，因此會(huì)發(fā)送 ARP 報(bào)文進(jìn)行查詢，內(nèi)部的 ARP 報(bào)文很普通，目標(biāo)地址為全 1 的廣播地址
vtep 收到 ARP 報(bào)文，發(fā)現(xiàn)虛擬機(jī)目的 MAC 為廣播地址，封裝上 vxlan 協(xié)議頭部之后（外層 IP 為多播組 IP，MAC 地址為多播組的 MAC 地址），發(fā)送給多播組?239.1.1.1，支持多播的底層網(wǎng)絡(luò)設(shè)備（交換機(jī)和路由器）會(huì)把報(bào)文發(fā)送給組內(nèi)所有的成員
vtep 接收到 vxlan 封裝的 ARP 請(qǐng)求，去掉 vxlan 頭部，并通過(guò)報(bào)文學(xué)習(xí)到發(fā)送方 <虛擬機(jī) MAC - VNI - Vtep IP> 三元組保存起來(lái)，把原來(lái)的 ARP 報(bào)文廣播給主機(jī)
主機(jī)接收到 ARP 請(qǐng)求報(bào)文，如果 ARP 報(bào)文請(qǐng)求的是自己的 MAC 地址，就返回 ARP 應(yīng)答
vtep-2 此時(shí)已經(jīng)知道發(fā)送放的虛擬機(jī)和 vtep 信息，把 ARP 應(yīng)答添加上 vxlan 頭部（外部 IP 地址為 vtep-1 的 IP 地址，VNI 是原來(lái)報(bào)文的 VNI）之后通過(guò)單播發(fā)送出去
vtep-1 接收到報(bào)文，并學(xué)習(xí)到報(bào)文中的三元組，記錄下來(lái)。然后 vtep 進(jìn)行解包，知道內(nèi)部的 IP 和 MAC 地址，并轉(zhuǎn)發(fā)給目的虛擬機(jī)
虛擬機(jī)拿到 ARP 應(yīng)答報(bào)文，就知道了到目的虛擬機(jī)的 MAC 地址
在這個(gè)過(guò)程中，只有一次多播，因?yàn)?vtep 有自動(dòng)學(xué)習(xí)的能力，后續(xù)的報(bào)文都是通過(guò)單播直接發(fā)送的。可以看到，多播報(bào)文非常浪費(fèi)，每次的多播其實(shí)只有一個(gè)報(bào)文是有效的，如果某個(gè)多播組的 vtep 數(shù)量很多，這個(gè)浪費(fèi)是非常大的。但是多播組也有它的實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單，不需要中心化的控制，只有底層網(wǎng)絡(luò)支持多播，只有配置好多播組就能自動(dòng)發(fā)現(xiàn)了。
單播報(bào)文的發(fā)送過(guò)程就是上述應(yīng)答報(bào)文的邏輯，應(yīng)該也非常容易理解了。還有一種通信方式，那就是不同 VNI 網(wǎng)絡(luò)之間的通信，這個(gè)需要用到 vxlan 網(wǎng)關(guān)（可以是物理網(wǎng)絡(luò)設(shè)備，也可以是軟件），它接收到一個(gè) vxlan 網(wǎng)絡(luò)報(bào)文之后解壓，根據(jù)特定的邏輯添加上另外一個(gè) vxlan 頭部轉(zhuǎn)發(fā)出去。
因?yàn)椴⒉皇撬械木W(wǎng)絡(luò)設(shè)備都支持多播，再加上多播方式帶來(lái)的報(bào)文浪費(fèi)，在實(shí)際生產(chǎn)中這種方式很少用到。
分布式控制中心
從多播的流程可以看出來(lái)，其實(shí) vtep 發(fā)送報(bào)文最關(guān)鍵的就是知道對(duì)方虛擬機(jī)的 MAC 地址和虛擬機(jī)所在主機(jī)的 vtep IP 地址。如果能夠事先知道這兩個(gè)信息，直接告訴 vtep，那么就不需要多播了。
在虛擬機(jī)和容器的場(chǎng)景中，當(dāng)虛擬機(jī)或者容器啟動(dòng)還沒(méi)有進(jìn)行網(wǎng)絡(luò)通訊時(shí)，我們就可以知道它的 IP 和 MAC（可能是用某種方式獲取，也有可能是事先控制這兩個(gè)地址），分布式控制中心保存了這些信息。除此之外，控制中心還保存了每個(gè) vxlan 網(wǎng)絡(luò)有哪些 vtep，這些 vtep 的地址是多少。有了這些信息，vtep 就能發(fā)送報(bào)文時(shí)直接查詢并添加頭部，不需要多播去滿網(wǎng)絡(luò)地問(wèn)了。
一般情況下，在每個(gè) vtep 所在的節(jié)點(diǎn)都會(huì)有一個(gè) agent，它會(huì)和控制中心通信，獲取 vtep 需要的信息以某種方式告訴 vtep。具體的做法取決于具體的實(shí)現(xiàn)，每種實(shí)現(xiàn)可能會(huì)更新不同的信息給 vtep，比如 HER（Head End Replication）只是把多播組替換成多個(gè)單播報(bào)文，也就是把多播組所有的 VTEP IP 地址告訴 vtep，這樣查詢的時(shí)候不是發(fā)送多播，而是給組內(nèi)每個(gè) vtep 發(fā)送一個(gè)單播報(bào)文；有些實(shí)現(xiàn)只是告訴 vtep 目的虛擬機(jī)的 MAC 地址信息；有些實(shí)現(xiàn)告訴 MAC 地址對(duì)應(yīng)的 vtep IP 地址。
此外，什么時(shí)候告訴 vtep 這些信息也是有區(qū)別的。一般有兩種方式：常見(jiàn)的是一旦知道了虛擬機(jī)的三元組信息就告訴 vtep（即使某個(gè) vtep 用不到這個(gè)信息，因?yàn)樗芾淼奶摂M機(jī)不會(huì)和這個(gè)地址通信），一般這時(shí)候第一次通信還沒(méi)有發(fā)生；另外一種方式是在第一次通信時(shí)，當(dāng) vtep 需要這些信息的時(shí)候以某種方式通知 agent，然后 agent 這時(shí)候才告訴 vtep 信息。
分布式控制的 vxlan 是一種典型的 SDN 架構(gòu)，也是目前使用最廣泛的方式。因?yàn)樗膶?shí)現(xiàn)多樣，而且每種實(shí)現(xiàn)都有些許差距，這里不便來(lái)具體的例子來(lái)說(shuō)明，只要明白了上面的原理，不管是什么樣的實(shí)現(xiàn)，都能很快上手。
5. vxlan 網(wǎng)絡(luò)帶來(lái)新的問(wèn)題
vxlan 協(xié)議給虛擬網(wǎng)絡(luò)帶來(lái)了靈活性和擴(kuò)展性，讓云計(jì)算網(wǎng)絡(luò)能夠像計(jì)算、存儲(chǔ)資源那樣按需擴(kuò)展，并靈活分布。和計(jì)算機(jī)領(lǐng)域所有技術(shù)一樣，這也是一種 tradeoff，相對(duì)于經(jīng)典網(wǎng)絡(luò)來(lái)說(shuō)，vxlan 主要的問(wèn)題是它的復(fù)雜性和額外的開(kāi)銷。
額外的報(bào)文和計(jì)算
這一點(diǎn)可容易看出來(lái)，每個(gè) vxlan 報(bào)文都有額外的 50 字節(jié)開(kāi)銷，如果加上 vlan 字段，開(kāi)銷要到 54 字節(jié)。這對(duì)于小報(bào)文的傳輸是非常昂貴的操作，試想如果某個(gè)報(bào)文應(yīng)用數(shù)據(jù)才幾個(gè)字節(jié)，原來(lái)的網(wǎng)絡(luò)頭部加上 vxlan 報(bào)文頭部都能有 100 字節(jié)的控制信息。
額外的報(bào)文也帶來(lái)了額外的計(jì)算量，每個(gè) vxlan 報(bào)文的封包和解包操作都是必須的，如果用軟件來(lái)實(shí)現(xiàn)這些步驟，額外的計(jì)算量也是不可以忽略的影響。
復(fù)雜度
vxlan 另外一個(gè)缺點(diǎn)是復(fù)雜度，雖然經(jīng)典網(wǎng)絡(luò)在應(yīng)對(duì)云計(jì)算時(shí)捉緊見(jiàn)拙，但是經(jīng)典網(wǎng)絡(luò)模型已經(jīng)發(fā)展了很久，所有的部署、監(jiān)控、運(yùn)維都比較成熟。如果使用 vxlan 網(wǎng)絡(luò)，那么所有的這些都要重新學(xué)習(xí)，時(shí)間和人力成本必然會(huì)大大提高。
6. 參考資料
【華為悅讀匯】技術(shù)發(fā)燒友：認(rèn)識(shí)VXLAN
