概述

Redis-Sentinel是Redis官方推薦的高可用性(HA)解決方案，當(dāng)用Redis做Master-slave的高可用方案時(shí)，假如master宕機(jī)了，Redis本身(包括它的很多客戶端)都沒有實(shí)現(xiàn)自動(dòng)進(jìn)行主備切換，而Redis-sentinel本身也是一個(gè)獨(dú)立運(yùn)行的進(jìn)程，它能監(jiān)控多個(gè)master-slave集群，發(fā)現(xiàn)master宕機(jī)后能進(jìn)行自懂切換。

它的主要功能有以下幾點(diǎn)

不時(shí)地監(jiān)控redis是否按照預(yù)期良好地運(yùn)行;

如果發(fā)現(xiàn)某個(gè)redis節(jié)點(diǎn)運(yùn)行出現(xiàn)狀況，能夠通知另外一個(gè)進(jìn)程(例如它的客戶端);

能夠進(jìn)行自動(dòng)切換。當(dāng)一個(gè)master節(jié)點(diǎn)不可用時(shí)，能夠選舉出master的多個(gè)slave(如果有超過一個(gè)slave的話)中的一個(gè)來作為新的master,其它的slave節(jié)點(diǎn)會(huì)將它所追隨的master的地址改為被提升為master的slave的新地址。

Sentinel支持集群

很顯然，只使用單個(gè)sentinel進(jìn)程來監(jiān)控redis集群是不可靠的，當(dāng)sentinel進(jìn)程宕掉后(sentinel本身也有單點(diǎn)問題，single-point-of-failure)整個(gè)集群系統(tǒng)將無法按照預(yù)期的方式運(yùn)行。所以有必要將sentinel集群，這樣有幾個(gè)好處：

即使有一些sentinel進(jìn)程宕掉了，依然可以進(jìn)行redis集群的主備切換；

如果只有一個(gè)sentinel進(jìn)程，如果這個(gè)進(jìn)程運(yùn)行出錯(cuò)，或者是網(wǎng)絡(luò)堵塞，那么將無法實(shí)現(xiàn)redis集群的主備切換（單點(diǎn)問題）;

如果有多個(gè)sentinel，redis的客戶端可以隨意地連接任意一個(gè)sentinel來獲得關(guān)于redis集群中的信息。

Sentinel版本

Sentinel當(dāng)前最新的穩(wěn)定版本稱為Sentinel 2(與之前的Sentinel 1區(qū)分開來）。隨著redis2.8的安裝包一起發(fā)行。安裝完Redis2.8后，可以在redis2.8/src/里面找到Redis-sentinel的啟動(dòng)程序。

強(qiáng)烈建議：

如果你使用的是redis2.6(sentinel版本為sentinel 1)，你最好應(yīng)該使用redis2.8版本的sentinel 2，因?yàn)閟entinel 1有很多的Bug，已經(jīng)被官方棄用，所以強(qiáng)烈建議使用redis2.8以及sentinel 2。

運(yùn)行Sentinel

運(yùn)行sentinel有兩種方式：

第一種

redis-sentinel /path/to/sentinel.conf

第二種

redis-server /path/to/sentinel.conf--sentinel

以上兩種方式，都必須指定一個(gè)sentinel的配置文件sentinel.conf，如果不指定，將無法啟動(dòng)sentinel。sentinel默認(rèn)監(jiān)聽26379端口，所以運(yùn)行前必須確定該端口沒有被別的進(jìn)程占用。

Sentinel的配置

Redis源碼包中包含了一個(gè)sentinel.conf文件作為sentinel的配置文件，配置文件自帶了關(guān)于各個(gè)配置項(xiàng)的解釋。典型的配置項(xiàng)如下所示：

sentinelmonitormymaster 127.0.0.1 6379 2sentinel down-after-milliseconds mymaster 60000sentinel failover-timeout mymaster 180000sentinel parallel-syncs mymaster 1sentinelmonitorresque 192.168.1.3 6380 4sentinel down-after-milliseconds resque 10000sentinel failover-timeout resque 180000sentinel parallel-syncs resque 5

上面的配置項(xiàng)配置了兩個(gè)名字分別為mymaster和resque的master，配置文件只需要配置master的信息就好啦，不用配置slave的信息，因?yàn)閟lave能夠被自動(dòng)檢測(cè)到(master節(jié)點(diǎn)會(huì)有關(guān)于slave的消息)。需要注意的是，配置文件在sentinel運(yùn)行期間是會(huì)被動(dòng)態(tài)修改的，例如當(dāng)發(fā)生主備切換時(shí)候，配置文件中的master會(huì)被修改為另外一個(gè)slave。這樣，之后sentinel如果重啟時(shí)，就可以根據(jù)這個(gè)配置來恢復(fù)其之前所監(jiān)控的redis集群的狀態(tài)。

接下來我們將一行一行地解釋上面的配置項(xiàng)：

sentinelmonitormymaster 127.0.0.1 6379 2

這一行代表sentinel監(jiān)控的master的名字叫做mymaster,地址為127.0.0.1:6379，行尾最后的一個(gè)2代表什么意思呢？我們知道，網(wǎng)絡(luò)是不可靠的，有時(shí)候一個(gè)sentinel會(huì)因?yàn)榫W(wǎng)絡(luò)堵塞而誤以為一個(gè)master redis已經(jīng)死掉了，當(dāng)sentinel集群式，解決這個(gè)問題的方法就變得很簡(jiǎn)單，只需要多個(gè)sentinel互相溝通來確認(rèn)某個(gè)master是否真的死了，這個(gè)2代表，當(dāng)集群中有2個(gè)sentinel認(rèn)為master死了時(shí)，才能真正認(rèn)為該master已經(jīng)不可用了。（sentinel集群中各個(gè)sentinel也有互相通信，通過gossip協(xié)議）。

除了第一行配置，我們發(fā)現(xiàn)剩下的配置都有一個(gè)統(tǒng)一的格式:

sentinel

接下來我們根據(jù)上面格式中的option_name一個(gè)一個(gè)來解釋這些配置項(xiàng)：

down-after-milliseconds

sentinel會(huì)向master發(fā)送心跳PING來確認(rèn)master是否存活，如果master在“一定時(shí)間范圍”內(nèi)不回應(yīng)PONG或者是回復(fù)了一個(gè)錯(cuò)誤消息，那么這個(gè)sentinel會(huì)主觀地(單方面地)認(rèn)為這個(gè)master已經(jīng)不可用了(subjectively down, 也簡(jiǎn)稱為SDOWN)。而這個(gè)down-after-milliseconds就是用來指定這個(gè)“一定時(shí)間范圍”的，單位是毫秒。

不過需要注意的是，這個(gè)時(shí)候sentinel并不會(huì)馬上進(jìn)行failover主備切換，這個(gè)sentinel還需要參考sentinel集群中其他sentinel的意見，如果超過某個(gè)數(shù)量的sentinel也主觀地認(rèn)為該master死了，那么這個(gè)master就會(huì)被客觀地(注意哦，這次不是主觀，是客觀，與剛才的subjectively down相對(duì)，這次是objectively down，簡(jiǎn)稱為ODOWN)認(rèn)為已經(jīng)死了。需要一起做出決定的sentinel數(shù)量在上一條配置中進(jìn)行配置。

parallel-syncs

在發(fā)生failover主備切換時(shí)，這個(gè)選項(xiàng)指定了最多可以有多少個(gè)slave同時(shí)對(duì)新的master進(jìn)行同步，這個(gè)數(shù)字越小，完成failover所需的時(shí)間就越長(zhǎng)，但是如果這個(gè)數(shù)字越大，就意味著越多的slave因?yàn)閞eplication而不可用。可以通過將這個(gè)值設(shè)為 1 來保證每次只有一個(gè)slave處于不能處理命令請(qǐng)求的狀態(tài)。

其他配置項(xiàng)在sentinel.conf中都有很詳細(xì)的解釋。

所有的配置都可以在運(yùn)行時(shí)用命令SENTINEL SET command動(dòng)態(tài)修改。

Sentinel的“仲裁會(huì)”

前面我們談到，當(dāng)一個(gè)master被sentinel集群監(jiān)控時(shí)，需要為它指定一個(gè)參數(shù)，這個(gè)參數(shù)指定了當(dāng)需要判決master為不可用，并且進(jìn)行failover時(shí)，所需要的sentinel數(shù)量，本文中我們暫時(shí)稱這個(gè)參數(shù)為票數(shù)

不過，當(dāng)failover主備切換真正被觸發(fā)后，failover并不會(huì)馬上進(jìn)行，還需要sentinel中的大多數(shù)sentinel授權(quán)后才可以進(jìn)行failover。

當(dāng)ODOWN時(shí)，failover被觸發(fā)。failover一旦被觸發(fā)，嘗試去進(jìn)行failover的sentinel會(huì)去獲得“大多數(shù)”sentinel的授權(quán)（如果票數(shù)比大多數(shù)還要大的時(shí)候，則詢問更多的sentinel)

這個(gè)區(qū)別看起來很微妙，但是很容易理解和使用。例如，集群中有5個(gè)sentinel，票數(shù)被設(shè)置為2，當(dāng)2個(gè)sentinel認(rèn)為一個(gè)master已經(jīng)不可用了以后，將會(huì)觸發(fā)failover，但是，進(jìn)行failover的那個(gè)sentinel必須先獲得至少3個(gè)sentinel的授權(quán)才可以實(shí)行failover。

如果票數(shù)被設(shè)置為5，要達(dá)到ODOWN狀態(tài)，必須所有5個(gè)sentinel都主觀認(rèn)為master為不可用，要進(jìn)行failover，那么得獲得所有5個(gè)sentinel的授權(quán)。

配置版本號(hào)

為什么要先獲得大多數(shù)sentinel的認(rèn)可時(shí)才能真正去執(zhí)行failover呢？

當(dāng)一個(gè)sentinel被授權(quán)后，它將會(huì)獲得宕掉的master的一份最新配置版本號(hào)，當(dāng)failover執(zhí)行結(jié)束以后，這個(gè)版本號(hào)將會(huì)被用于最新的配置。因?yàn)?b>大多數(shù)sentinel都已經(jīng)知道該版本號(hào)已經(jīng)被要執(zhí)行failover的sentinel拿走了，所以其他的sentinel都不能再去使用這個(gè)版本號(hào)。這意味著，每次failover都會(huì)附帶有一個(gè)獨(dú)一無二的版本號(hào)。我們將會(huì)看到這樣做的重要性。

而且，sentinel集群都遵守一個(gè)規(guī)則：如果sentinel A推薦sentinel B去執(zhí)行failover，B會(huì)等待一段時(shí)間后，自行再次去對(duì)同一個(gè)master執(zhí)行failover，這個(gè)等待的時(shí)間是通過failover-timeout配置項(xiàng)去配置的。從這個(gè)規(guī)則可以看出，sentinel集群中的sentinel不會(huì)再同一時(shí)刻并發(fā)去failover同一個(gè)master，第一個(gè)進(jìn)行failover的sentinel如果失敗了，另外一個(gè)將會(huì)在一定時(shí)間內(nèi)進(jìn)行重新進(jìn)行failover，以此類推。

redis sentinel保證了活躍性：如果大多數(shù)sentinel能夠互相通信，最終將會(huì)有一個(gè)被授權(quán)去進(jìn)行failover.

redis sentinel也保證了安全性：每個(gè)試圖去failover同一個(gè)master的sentinel都會(huì)得到一個(gè)獨(dú)一無二的版本號(hào)。

配置傳播

一旦一個(gè)sentinel成功地對(duì)一個(gè)master進(jìn)行了failover，它將會(huì)把關(guān)于master的最新配置通過廣播形式通知其它sentinel，其它的sentinel則更新對(duì)應(yīng)master的配置。

一個(gè)faiover要想被成功實(shí)行，sentinel必須能夠向選為master的slave發(fā)送SLAVE OF NO ONE命令，然后能夠通過INFO命令看到新master的配置信息。

當(dāng)將一個(gè)slave選舉為master并發(fā)送SLAVE OF NO ONE`后，即使其它的slave還沒針對(duì)新master重新配置自己，failover也被認(rèn)為是成功了的，然后所有sentinels將會(huì)發(fā)布新的配置信息。

新配在集群中相互傳播的方式，就是為什么我們需要當(dāng)一個(gè)sentinel進(jìn)行failover時(shí)必須被授權(quán)一個(gè)版本號(hào)的原因。

每個(gè)sentinel使用##發(fā)布/訂閱##的方式持續(xù)地傳播master的配置版本信息，配置傳播的##發(fā)布/訂閱##管道是：__sentinel__:hello。

因?yàn)槊恳粋€(gè)配置都有一個(gè)版本號(hào)，所以以版本號(hào)最大的那個(gè)為標(biāo)準(zhǔn)。

舉個(gè)栗子：假設(shè)有一個(gè)名為mymaster的地址為192.168.1.50:6379。一開始，集群中所有的sentinel都知道這個(gè)地址，于是為mymaster的配置打上版本號(hào)1。一段時(shí)候后mymaster死了，有一個(gè)sentinel被授權(quán)用版本號(hào)2對(duì)其進(jìn)行failover。如果failover成功了，假設(shè)地址改為了192.168.1.50:9000，此時(shí)配置的版本號(hào)為2，進(jìn)行failover的sentinel會(huì)將新配置廣播給其他的sentinel，由于其他sentinel維護(hù)的版本號(hào)為1，發(fā)現(xiàn)新配置的版本號(hào)為2時(shí)，版本號(hào)變大了，說明配置更新了，于是就會(huì)采用最新的版本號(hào)為2的配置。

這意味著sentinel集群保證了第二種活躍性：一個(gè)能夠互相通信的sentinel集群最終會(huì)采用版本號(hào)最高且相同的配置。

SDOWN和ODOWN的更多細(xì)節(jié)

sentinel對(duì)于不可用有兩種不同的看法，一個(gè)叫主觀不可用(SDOWN),另外一個(gè)叫客觀不可用(ODOWN)。SDOWN是sentinel自己主觀上檢測(cè)到的關(guān)于master的狀態(tài)，ODOWN需要一定數(shù)量的sentinel達(dá)成一致意見才能認(rèn)為一個(gè)master客觀上已經(jīng)宕掉，各個(gè)sentinel之間通過命令SENTINEL is_master_down_by_addr來獲得其它sentinel對(duì)master的檢測(cè)結(jié)果。

從sentinel的角度來看，如果發(fā)送了PING心跳后，在一定時(shí)間內(nèi)沒有收到合法的回復(fù)，就達(dá)到了SDOWN的條件。這個(gè)時(shí)間在配置中通過is-master-down-after-milliseconds參數(shù)配置。

當(dāng)sentinel發(fā)送PING后，以下回復(fù)之一都被認(rèn)為是合法的：

PINGrepliedwith+PONG.PINGrepliedwith-LOADING error.PINGrepliedwith-MASTERDOWN error.

其它任何回復(fù)（或者根本沒有回復(fù)）都是不合法的。

從SDOWN切換到ODOWN不需要任何一致性算法，只需要一個(gè)gossip協(xié)議：如果一個(gè)sentinel收到了足夠多的sentinel發(fā)來消息告訴它某個(gè)master已經(jīng)down掉了，SDOWN狀態(tài)就會(huì)變成ODOWN狀態(tài)。如果之后master可用了，這個(gè)狀態(tài)就會(huì)相應(yīng)地被清理掉。

正如之前已經(jīng)解釋過了，真正進(jìn)行failover需要一個(gè)授權(quán)的過程，但是所有的failover都開始于一個(gè)ODOWN狀態(tài)。

ODOWN狀態(tài)只適用于master，對(duì)于不是master的redis節(jié)點(diǎn)sentinel之間不需要任何協(xié)商，slaves和sentinel不會(huì)有ODOWN狀態(tài)。

Sentinel之間和Slaves之間的自動(dòng)發(fā)現(xiàn)機(jī)制

雖然sentinel集群中各個(gè)sentinel都互相連接彼此來檢查對(duì)方的可用性以及互相發(fā)送消息。但是你不用在任何一個(gè)sentinel配置任何其它的sentinel的節(jié)點(diǎn)。因?yàn)閟entinel利用了master的發(fā)布/訂閱機(jī)制去自動(dòng)發(fā)現(xiàn)其它也監(jiān)控了統(tǒng)一master的sentinel節(jié)點(diǎn)。

通過向名為__sentinel__:hello的管道中發(fā)送消息來實(shí)現(xiàn)。

同樣，你也不需要在sentinel中配置某個(gè)master的所有slave的地址，sentinel會(huì)通過詢問master來得到這些slave的地址的。

每個(gè)sentinel通過向每個(gè)master和slave的發(fā)布/訂閱頻道__sentinel__:hello每秒發(fā)送一次消息，來宣布它的存在。

每個(gè)sentinel也訂閱了每個(gè)master和slave的頻道__sentinel__:hello的內(nèi)容，來發(fā)現(xiàn)未知的sentinel，當(dāng)檢測(cè)到了新的sentinel，則將其加入到自身維護(hù)的master監(jiān)控列表中。

每個(gè)sentinel發(fā)送的消息中也包含了其當(dāng)前維護(hù)的最新的master配置。如果某個(gè)sentinel發(fā)現(xiàn)

自己的配置版本低于接收到的配置版本，則會(huì)用新的配置更新自己的master配置。

在為一個(gè)master添加一個(gè)新的sentinel前，sentinel總是檢查是否已經(jīng)有sentinel與新的sentinel的進(jìn)程號(hào)或者是地址是一樣的。如果是那樣，這個(gè)sentinel將會(huì)被刪除，而把新的sentinel添加上去。

網(wǎng)絡(luò)隔離時(shí)的一致性

redis sentinel集群的配置的一致性模型為最終一致性，集群中每個(gè)sentinel最終都會(huì)采用最高版本的配置。然而，在實(shí)際的應(yīng)用環(huán)境中，有三個(gè)不同的角色會(huì)與sentinel打交道：

Redis實(shí)例.

Sentinel實(shí)例.

客戶端.

為了考察整個(gè)系統(tǒng)的行為我們必須同時(shí)考慮到這三個(gè)角色。

下面有個(gè)簡(jiǎn)單的例子，有三個(gè)主機(jī)，每個(gè)主機(jī)分別運(yùn)行一個(gè)redis和一個(gè)sentinel:

+-------------+? ? ? ? ? ? |Sentinel 1|<--- Client A|Redis 1 (M)|? ? ? ? ? ? +-------------+? ? ? ? ? ? ? ? ? ? || +-------------+? ? |+------------+|Sentinel 2|-----+-- / partition / ----|Sentinel 3|<--- Client B|Redis 2 (S)||Redis 3 (M)| +-------------+? ? ? ? ? ? ? ? ? ? ? ? ? +------------+

在這個(gè)系統(tǒng)中，初始狀態(tài)下redis3是master, redis1和redis2是slave。之后redis3所在的主機(jī)網(wǎng)絡(luò)不可用了，sentinel1和sentinel2啟動(dòng)了failover并把redis1選舉為master。

Sentinel集群的特性保證了sentinel1和sentinel2得到了關(guān)于master的最新配置。但是sentinel3依然持著的是就的配置，因?yàn)樗c外界隔離了。

當(dāng)網(wǎng)絡(luò)恢復(fù)以后，我們知道sentinel3將會(huì)更新它的配置。但是，如果客戶端所連接的master被網(wǎng)絡(luò)隔離，會(huì)發(fā)生什么呢？

客戶端將依然可以向redis3寫數(shù)據(jù)，但是當(dāng)網(wǎng)絡(luò)恢復(fù)后，redis3就會(huì)變成redis的一個(gè)slave，那么，在網(wǎng)絡(luò)隔離期間，客戶端向redis3寫的數(shù)據(jù)將會(huì)丟失。

也許你不會(huì)希望這個(gè)場(chǎng)景發(fā)生：

如果你把redis當(dāng)做緩存來使用，那么你也許能容忍這部分?jǐn)?shù)據(jù)的丟失。

但如果你把redis當(dāng)做一個(gè)存儲(chǔ)系統(tǒng)來使用，你也許就無法容忍這部分?jǐn)?shù)據(jù)的丟失了。

因?yàn)閞edis采用的是異步復(fù)制，在這樣的場(chǎng)景下，沒有辦法避免數(shù)據(jù)的丟失。然而，你可以通過以下配置來配置redis3和redis1，使得數(shù)據(jù)不會(huì)丟失。

min-slaves-to-write1min-slaves-max-lag10

通過上面的配置，當(dāng)一個(gè)redis是master時(shí)，如果它不能向至少一個(gè)slave寫數(shù)據(jù)(上面的min-slaves-to-write指定了slave的數(shù)量)，它將會(huì)拒絕接受客戶端的寫請(qǐng)求。由于復(fù)制是異步的，master無法向slave寫數(shù)據(jù)意味著slave要么斷開連接了，要么不在指定時(shí)間內(nèi)向master發(fā)送同步數(shù)據(jù)的請(qǐng)求了(上面的min-slaves-max-lag指定了這個(gè)時(shí)間)。

Sentinel狀態(tài)持久化

snetinel的狀態(tài)會(huì)被持久化地寫入sentinel的配置文件中。每次當(dāng)收到一個(gè)新的配置時(shí)，或者新創(chuàng)建一個(gè)配置時(shí)，配置會(huì)被持久化到硬盤中，并帶上配置的版本戳。這意味著，可以安全的停止和重啟sentinel進(jìn)程。