什么是裂腦
由于某些原因，導致兩臺高可用服務器之間在指定時間內，無法互相檢測到對方心跳而各自啟動故障轉移功能，取得了資源及服務的所有權，而此時的兩臺高可用服務器都還活著并在正常運行，這樣就會導致同一個IP或服務在兩端同時啟動而發生沖突的嚴重問題，最嚴重的是兩臺主機占用同一個VIP地址，當用戶寫入數據時可能會分別寫入到兩端，這樣可能會導致服務器兩端的數據不一致或造成數據丟失，這種情況就被稱為裂腦，也有人稱其為分區集群或大腦垂直分割，英文為 split brain。
導致裂腦發生的多種原因
一般來說，裂腦的發生有以下幾個原因：
- 1）高可用服務器之間心跳線鏈路故障，導致無法正常通信
- 心跳線壞了（包括斷了、老化）
- 網卡及相關驅動壞了，IP 配置及沖突問題（網卡直連）
- 心跳線間連接的設備故障（網卡及交換機）
- 仲裁的機器出問題（仲裁的方案）
- 2）高可用服務器上開啟了如 iptables 防火墻阻擋了心跳消息傳輸
- 3）高可用服務器上心跳網卡地址等信息配置不正確，導致發送心跳失敗
- 4）其它服務配置不當等原因，如心跳方式不同，心跳廣播沖突、軟件BUG等
提示： 另外的高可用軟件 keepalived 配置里如 virtual_router_id 參數，兩端配置不一致也會導致裂腦問題發生
防止裂腦發生的幾種方法
發生裂腦時，對業務的影響是及其嚴重的，有時甚至是致命的，如：兩臺高可用服務器之間發生裂腦，導致互相爭用同一 IP 資源，就如同我們在局域網內常見的 IP 地址沖突一樣，兩個機器就會有一個或者兩個都不正常，影響用戶正常訪問服務器。如果是應用在數據庫或者存儲服務這種極重要的高可用上，那就可能會導致用戶發布的數據間斷的寫在兩臺不同服務器上的惡果，最終數據恢復極困難或難以恢復（當然，有NAS等公共存儲的硬件也許會好一些）
實際生產環境中，我們可以從以下幾個方面來防止裂腦問題的發生：
同時使用串行電纜和以太網電纜連接，同時用兩條心跳線路，這樣一條線路壞了，另一個還是好的，依然能傳送心跳消息。（網卡設備和網線設備）
當檢測到裂腦時強行關閉一個心跳節點（服務器）。（這個功能需特殊硬件設備支持，如 Stonith、fence）。相當于程序上備節點發現心跳線故障，發送關機命令到主節點（一般銀行會使用這種方式）
做好對裂腦的監控報警（如郵件及手機短信等，值班），在問題發生時人為第一時間介入仲裁，降低損失。百度的報警監控有上行和下行（就是可交互的），和人工交互的過程。當然，在實施高可用方案時，要根據業務實際需求確定是否能容忍這樣的損失。對于一般的網站常規業務，這個損失是可控的。
啟用磁盤鎖，正在服務的一方鎖住共享磁盤，“裂腦”發生時，讓對方完全“搶不走”共享磁盤資源。但使用鎖磁盤也會有一個不小的問題，如果占用共享磁盤的一方不主動“解鎖”，另一方就永遠得不到共享磁盤。現實中假如服務節點突然死機或崩潰，就不可能執行解鎖命令，備節點也就接管不了共享資源和應用服務。于是有人在 HA 中設計了“智能”鎖。即正在服務的一方只在發現心跳線全部斷開（察覺不到對端）的情況下才啟用磁盤鎖，平時就不上鎖。此功能適合共享場景。
報警報在服務器接管之前，給人員處理留足夠時間。例如：1分鐘內報警，但是服務器此時沒有接管，而是5分鐘在進行接管。接管時間較長。數據不會丟失，導致用戶無法寫數據。
報警后不直接自動服務器接管，而是由人為人員控制接管
-
增加仲裁機制，確定誰該獲得資源。下面有幾個參考的思路
- 1）加一個仲裁機制，例如設置參考IP（如網關IP），當心跳線完全斷開時，2個節點都各自ping一下參考IP，不通則表明斷點就出在本端，不僅心跳線、還有對外服務的本地網絡鏈路斷了，這樣就主動放棄競爭，讓能夠ping通參考IP的一端去接管服務。ping不通參考IP的一方可以自我重啟，以徹底釋放有可能還占用著的那些共享資源（heartbeat也有此功能）
- 2）通過第三方軟件仲裁誰該獲得資源，這個阿里有類似的軟件應用
小結：如何開發程序判斷裂腦
- 1）只要備節點出現 VIP 就報警（a、主節點機器宕機了，備節點機器接管了 b、主節點機器沒宕，裂腦了），不管哪種情況都需要人工查看
- 2）嚴謹判斷，備機出現VIP，并且主機及服務還活著，裂腦了（依然報警）
仲裁機制
仲裁機制就是通過第三方來控制HA 主節點和備節點的電源，防止裂腦情況發生，相當于法院的角色
小結：
在HA節點之間無法通信（心跳出現問題）的時候做以下操作：
- 1）各自ping網關，ping不通則自己關機
- 2）主備和仲裁設備連接，出問題的時候，把各自的存活狀態寫到仲裁設備里，由仲裁設備控制主備服務器的電源
Stonith介紹
Stonith 是“shoot the other node in the head” 的首字母簡寫，它是 Heartbeat 軟件包的一個組件，它允許使用一個遠程或“智能的”連接到健康服務器的電源設備自動重啟失效服務器的電源，Stonith 設備可以關閉電源并響應軟件命令，運行Heartbeat 的服務器可以通過串口線或網線向 Stonith 設備發送命令，它控制高可用服務器對其他服務器的電力供應，也就是主服務器可以復位備用服務器的電源，備用服務器也可以復位主服務器的電源。
注意： 盡管理論上連接到遠程或“智能的”循環電源系統電力設備的數量是沒有限制的，但大多數 Stonith 實現只使用兩臺服務器，因為雙服務器 Stonith 配置是最簡單的，最容易理解，它能夠長時間運行且不會降低系統的可靠性和高可用性。
Stonith 事件觸發工作步驟
- 1）當備用服務器獲取不到心跳信號時，Stonith 事件開始。這并不一定意味著主服務器沒有發送心跳，心跳可能有多種原因而沒有抵達備用服務器，所以建議使用至少兩條物理路徑傳輸心跳以避免出現假象的原因
- 2）備用服務器發出一個 Stonith 復位命令到 Stonith 設備
- 3）Stonith 設備關閉主服務器的電力供應
- 4）一經切斷主服務器的電源，它就不能再訪問集群資源，也不能再為客戶端提供資源，保證客戶端計算機不能訪問主服務器上的資源，排除可能發生的頭腦分裂狀態
- 5）然后備用服務器獲得主服務器的資源，Heartbeat 用 start 參數運行資源腳本，并執行ARP欺騙廣播以便客戶端計算機發送他們的請求到它的網絡接口上
