redis 集群

集群

1.Redis 集群的優勢

自動分割數據到不同的節點上。
整個集群的部分節點失敗或者不可達的情況下能夠繼續處理命令。

特點

主從復制

實現了高可用

數據分片存儲

集群節點的 meet 過程

image
image

指派槽

image

客戶端和槽

image

3. Redis 集群的安裝

原生命令安裝

步驟

  1. 配置開啟集群節點

  2. 配置 meet

  3. 指派槽

  4. 配置主從

實例操作

準備兩臺虛擬機:
一臺啟動三個 Redis 實例作為 主節點
另一臺啟動三個 Redis 實例作為 從節點

架構圖
image

一、在一臺服務器上手動部署 redis 集群

在一臺服務器上啟動六個 Redis 實例,三臺作為主節點,三臺作為從節點

實驗步驟
  1. 先編輯一個集群的配置文件

編譯配置文件 /etc/redis/7001.conf, 添加如下內容:

bind 0.0.0.0
port 7001
daemonize yes

# 允許任何地址不使用密碼訪問我
protected-mode yes
dir "/redis/data/"
logfile  "cluster-7001.log"
dbfilename "cluster-dump-7001.log"
cluster-enabled yes
cluster-config-file cluster-redis-7001.conf

# 不需要集群的全部節點完好才提供服務
cluster-require-full-coverage no
  1. 再創建其他集群的配置文件

    image
sed 's/7001/7002/g' 7001.conf > 7002.conf
sed 's/7001/7003/g' 7001.conf > 7003.conf
sed 's/7001/7004/g' 7001.conf > 7011.conf
sed 's/7001/7005/g' 7001.conf > 7012.conf
sed 's/7001/7006/g' 7001.conf > 7013.conf

3.啟動 redis 進程

mkdir -p /redis/data
redis-server /etc/redis/7001.conf 
redis-server /etc/redis/7002.conf 
redis-server /etc/redis/7003.conf 
redis-server /etc/redis/7011.conf 
redis-server /etc/redis/7012.conf
redis-server /etc/redis/7013.conf 

4.檢查進程

ps  aux| grep  redis-server
image.png

假設你現在去連接到任意一個節點上執行操作會返回集群目前是沒有啟動的信息。

原因是目前集群各節點之間沒有進行 meet 操作,都是各自孤立的狀態。

image

可以使用如下命令查看集群的相關信息

image

還可以查看某一個集群節點信息,第一列是集群節點 ID

image
  1. 集群節點之間的 meet
    我們下面使用主節點 127.0.0.1:7001 去依次的 meet 其他 5 個節點。
redis-cli -p 7001 cluster meet 127.0.0.1 7002
redis-cli -p 7001 cluster meet 127.0.0.1 7003
redis-cli -p 7001 cluster meet 127.0.0.1 7004
redis-cli -p 7001 cluster meet 127.0.0.1 7005
redis-cli -p 7001 cluster meet 127.0.0.1 7006
image

查看集群信息和節點 信息


image

image
  1. 給集群節點分配 數據槽
    集群的槽號是 從 0 開始,到 16383 結束,共 16384 個。

槽的分配是拿 16384 除以集群中主節點的個數,得到每個主節點應該被分配給槽的數量。

所以現在的計劃是:

image

命令

redis-cli  -h 被添加的主機 IP -p 端口 cluster  addslots  槽號

假如給 7001 分配 0 號槽。命令應該是:

redis-cli  -h 172.16.153.178  -p 7001 cluster  addslots  0

每次只能分配一個 槽號,所以我們可以寫個腳本,當然這種方式是不會在生產環境中使用的,這里只是為了理解集群的架構關系。

腳本

#!/bin/sh

target_host_ip=$1
target_host_port=$2

star=$3
end=$4

for slot in $(seq ${star} ${end})
do
    echo "正在給 ${target_host_ip} ${target_host_port} 添加${slot}"
    redis-cli -h ${target_host_ip} -p ${target_host_port}  cluster addslots ${slot}

done

使用腳本

sh mutil-addslots.sh 172.16.153.178 7002 5462 10922
sh mutil-addslots.sh 172.16.153.178 7003 10923 16383

多線程版

target_host_ip=$1
target_host_port=$2

star=$3
end=$4

num=$5

mkfifo t  # 創建命名管道文件
exec 7<>t   # 給命名管道起個文件描述符
rm -rf t   # 刪除這個命名管道文件,但是管道依然存在,可以使用文件描述符 7 進行使用。

for  i in $(seq 1 ${num})  # 向這個管道中輸入相應數據的空行
do
    echo >&7  # 每一行就是一次并發
done

for slot in $(seq ${star} ${end})
do
    read -u7 # 這個不能變

    {
        echo " 主機 ${target_host_ip} 端口 ${target_host_port} 數據槽 ${slot}"
        redis-cli -h ${target_host_ip} -p ${target_host_port} \
        cluster addslots  ${slot}
        echo >&7

    }&
done

wait  # 這個不能變, 就是等待上面的所有后臺進程結束
exec 7>&-  # 這個不能變,
echo "任務執行完畢"

最后查看集群信息

image

可以發現此時集群的狀態是 OK 的。

查看節點信息

image
  1. 給集群節點配置主從關系

命令語法

redis-cli   -p  從節點端口   cluster  replicate  主節點的 ID

實操

切換到從節點所在的主機,這樣有便于操作

先獲取到集群各個節點的 ID

image

再按照計劃好的進行復制關系的設置

[root@s2 ~]# redis-cli -p 7011 cluster replicate 587b37f1bbe86dcce2b21e3890a61e9b5cdabade
OK
[root@s2 ~]# redis-cli -p 7012 cluster replicate 9d2617ed1892ad08d0bc66b50dada6d53901cce3
OK
[root@s2 ~]# redis-cli -p 7013 cluster replicate e3f9b763619c0f94ce943e57766001f0283f6c51
OK

查看集群節點信息,驗證主從關系

redis-cli   -p  7011 cluster  nodes
image

完全配置好后,可以觀察集群的數據槽的分配情況

redis-cli -p 7011 cluster  slots

最后用客戶端登錄集群的方式登錄到集群中的任意一個節點,設置鍵值對進行測試。

image

二、使用官方工具 redis-trib.rb 進行部署

官方工具依賴于 Ruby

1. 下載、編譯、安裝 Ruby

點我到下載頁面

wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz

安裝依賴包

yum  install  zlib-devel readline openssl-devel gcc  gcc-c++

點我查看具體安裝方法

tar xf ruby-2.6.1.tar.gz
cd ruby-2.6.1
./configure
make && make install

2. 安裝 rubygem redis

一個 ruby 語言實現的訪問 Redis 集群的客戶端

點我到官網下載地址

cd ..
 wget https://rubygems.org/rubygems/rubygems-3.0.2.tgz
 tar -xf rubygems-3.0.2.tgz
cd rubygems-3.0.2/
ruby setup.rb
gem install redis

3. 安裝 redis-trib.rb

redis-trib 位于 Redis 源碼的 src 文件夾中, 它是一個 Ruby 程序, 這個程序通過向實例發送特殊命令來完成創建新集群, 檢查集群, 或者對集群進行重新分片(reshared)等工作。

cp   ~/redis-4.0.10/src/redis-trib.rb   /usr/local/bin/
chmod +x redis-trib.rb

沒有源碼安裝的可以從以下網址獲取
Redis 源碼 src 中的 redis-trib.rb 文件內容

create:創建集群

check:檢查集群

info:查看集群信息

fix:修復集群

reshard:在線遷移slot

rebalance:平衡集群節點slot數量

add-node:添加新節點

del-node:刪除節點

set-timeout:設置節點的超時時間

call:在集群所有節點上執行命令

import:將外部redis數據導入集群

配置集群

假如你完全安裝這個文檔做的實驗的換,此時配置集群之前,需要把之前的集群進程都停掉。

先在從節點上執行,再到主節點上執行

ps -ef | grep redis-server | grep -v 'grep' | awk '{print $2}' |xargs  kill

接著分別在兩臺主機上,把之前集群產生的數據清除

rm -rf /redis/data/*

再重新啟動這些節點的服務進程

redis-server 7001.conf 
redis-server 7002.conf 
redis-server 7003.conf 
redis-server 7011.conf 
redis-server 7012.conf
redis-server 7013.conf 
image.png

之后使用如下命令創建集群

redis-trib.rb  create  --replicas  1  主節點1的IP:端口    主節點2的IP:端口    主節點3的IP:端口   從節點1的IP:端口    從節點2的IP:端口    從節點3的IP:端口  

選項–replicas 1 表示我們希望為集群中的每個主節點創建一個從節點。

redis-trib.rb create --replicas 1  127.0.0.1:7001  127.0.0.1:7002 127.0.0.1:7003  127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
image
image
image

創建流程如下:
1、首先為每個節點創建ClusterNode對象,包括連接每個節點。檢查每個節點是否為獨立且db為空的節點。執行load_info方法導入節點信息。
2、檢查傳入的master節點數量是否大于等于3個。只有大于3個節點才能組成集群。
3、計算每個master需要分配的slot數量,以及給master分配slave。分配的算法大致如下:
先把節點按照host分類,這樣保證master節點能分配到更多的主機中。
不停遍歷遍歷host列表,從每個host列表中彈出一個節點,放入interleaved數組。直到所有的節點都彈出為止。
master節點列表就是interleaved前面的master數量的節點列表。保存在masters數組。
計算每個master節點負責的slot數量,保存在slots_per_node對象,用slot總數除以master數量取整即可。
遍歷masters數組,每個master分配slots_per_node個slot,最后一個master,分配到16384個slot為止。
接下來為master分配slave,分配算法會盡量保證master和slave節點不在同一臺主機上。對于分配完指定slave數量的節點,還有多余的節點,也會為這些節點尋找master。分配算法會遍歷兩次masters數組。
第一次遍歷masters數組,在余下的節點列表找到replicas數量個slave。每個slave為第一個和master節點host不一樣的節點,如果沒有不一樣的節點,則直接取出余下列表的第一個節點。
第二次遍歷是在對于節點數除以replicas不為整數,則會多余一部分節點。遍歷的方式跟第一次一樣,只是第一次會一次性給master分配replicas數量個slave,而第二次遍歷只分配一個,直到余下的節點被全部分配出去。
4、打印出分配信息,并提示用戶輸入“yes”確認是否按照打印出來的分配方式創建集群。
5、輸入“yes”后,會執行flush_nodes_config操作,該操作執行前面的分配結果,給master分配slot,讓slave復制master,對于還沒有握手(cluster meet)的節點,slave復制操作無法完成,不過沒關系,flush_nodes_config操作出現異常會很快返回,后續握手后會再次執行flush_nodes_config。
6、給每個節點分配epoch,遍歷節點,每個節點分配的epoch比之前節點大1。
7、節點間開始相互握手,握手的方式為節點列表的其他節點跟第一個節點握手。
8、然后每隔1秒檢查一次各個節點是否已經消息同步完成,使用ClusterNode的get_config_signature方法,檢查的算法為獲取每個節點cluster nodes信息,排序每個節點,組裝成node_id1:slots|node_id2:slot2|...的字符串。如果每個節點獲得字符串都相同,即認為握手成功。
9、此后會再執行一次flush_nodes_config,這次主要是為了完成slave復制操作。
10、最后再執行check_cluster,全面檢查一次集群狀態。包括和前面握手時檢查一樣的方式再檢查一遍。確認沒有遷移的節點。確認所有的slot都被分配出去了。
11、至此完成了整個創建流程,返回[OK] All 16384 slots covered.。


4. 深入集群

集群的伸縮

添加節點(擴容)

  1. 準備節點

    image

啟動兩個新的 redis 實例, 分別監聽不同端口 比如 70087009

我這里是在一臺主機上啟動 redis 實例

image.png
cp 7001.conf  7008.conf
sed -i 's/7001/7008/g'  7008.conf 
cp 7001.conf  7014.conf
sed -i 's/7001/7009/g'  7014.conf 
redis-server 7008.conf 
redis-server 7014.conf

2.加入集群中

添加一個新的節點為主節點

redis-trib.rb   add-node        new_host:new_port existing_host:existing_port

//     new_host:new_port 為新添加的節點信息
//    existing_host:existing_port 集群中任意節點的信息

添加一個新節點為從節點

redis-trib.rb   add-node     --slave  --master-id 主節點的 ID       new_host:new_port existing_host:existing_port

主節點 ID 可以使用如下命令查看,此命令還同時輸出了各個節點的角色

redis-trib.rb    check           host:port

//  host:port 為集群中任意節點的信息
image

例如:

加入一個主節點到集群中
redis-trib.rb add-node  127.0.0.1:7008 127.0.0.1:7002
image.png
  • 獲取剛才新加入的主節點信息
redis-trib.rb  check 127.0.0.1:7002
image.png

檢查前會先執行load_cluster_info_from_node方法,把所有節點數據load進來。load的方式為通過自己的cluster nodes發現其他節點,然后連接每個節點,并加入nodes數組。接著生成節點間的復制關系。
load完數據后,開始檢查數據,檢查的方式也是調用創建時候使用的check_cluster。

  • 添加從節點到集群中,并指定他的主節點
redis-trib.rb add-node --slave --master-id 78e32beeb696819eb5718b0273723506761e645a 127.0.0.1:7009 127.0.0.1:7001
image.png

image.png
add-node命令可以將新節點加入集群,節點可以為master,也可以為某個master節點的slave。

add-node    new_host:new_port existing_host:existing_port
          --slave
          --master-id <arg>
add-node有兩個可選參數:
--slave:設置該參數,則新節點以slave的角色加入集群
--master-id:這個參數需要設置了--slave才能生效,--master-id用來指定新節點的master節點。如果不設置該參數,則會隨機為節點選擇master節點。

add-node流程如下:
1、通過load_cluster_info_from_node方法轉載集群信息,check_cluster方法檢查集群是否健康。
2、如果設置了--slave,則需要為該節點尋找master節點。設置了--master-id,則以該節點作為新節點的master,如果沒有設置--master-id,則調用get_master_with_least_replicas方法,尋找slave數量最少的master節點。如果slave數量一致,則選取load_cluster_info_from_node順序發現的第一個節點。load_cluster_info_from_node順序的第一個節點是add-node設置的existing_host:existing_port節點,后面的順序根據在該節點執行cluster nodes返回的結果返回的節點順序。
3、連接新的節點并與集群第一個節點握手。
4、如果沒設置–slave就直接返回ok,設置了–slave,則需要等待確認新節點加入集群,然后執行cluster replicate命令復制master節點。
5、至此,完成了全部的增加節點的流程。

  1. 向新加入的主節點中分配槽
redis-trib.rb reshard 127.0.0.1:7001
image.png
image
reshard         host:port
                --from <arg>
                --to <arg>
                --slots <arg>
                --yes
                --timeout <arg>
                --pipeline <arg>
host:port:這個是必傳參數,用來從一個節點獲取整個集群信息,相當于獲取集群信息的入口。
--from <arg>:需要從哪些源節點上遷移slot,可從多個源節點完成遷移,以逗號隔開,傳遞的是節點的node id,還可以直接傳遞--from all,這樣源節點就是集群的所有節點,不傳遞該參數的話,則會在遷移過程中提示用戶輸入。
--to <arg>:slot需要遷移的目的節點的node id,目的節點只能填寫一個,不傳遞該參數的話,則會在遷移過程中提示用戶輸入。
--slots <arg>:需要遷移的slot數量,不傳遞該參數的話,則會在遷移過程中提示用戶輸入。
--yes:設置該參數,可以在打印執行reshard計劃的時候,提示用戶輸入yes確認后再執行reshard。
--timeout <arg>:設置migrate命令的超時時間。
--pipeline <arg>:定義cluster getkeysinslot命令一次取出的key數量,不傳的話使用默認值為10。

遷移的流程如下:
1、通過load_cluster_info_from_node方法裝載集群信息。
2、執行check_cluster方法檢查集群是否健康。只有健康的集群才能進行遷移。
3、獲取需要遷移的slot數量,用戶沒傳遞--slots參數,則提示用戶手動輸入。
4、獲取遷移的目的節點,用戶沒傳遞--to參數,則提示用戶手動輸入。此處會檢查目的節點必須為master節點。
5、獲取遷移的源節點,用戶沒傳遞--from參數,則提示用戶手動輸入。此處會檢查源節點必須為master節點。--from all的話,源節點就是除了目的節點外的全部master節點。這里為了保證集群slot分配的平均,建議傳遞--from all。
6、執行compute_reshard_table方法,計算需要遷移的slot數量如何分配到源節點列表,采用的算法是按照節點負責slot數量由多到少排序,計算每個節點需要遷移的slot的方法為:遷移slot數量 * (該源節點負責的slot數量 / 源節點列表負責的slot總數)。這樣算出的數量可能不為整數,這里代碼用了下面的方式處理:
n = (numslots/source_tot_slots*s.slots.length)
if i == 0
n = n.ceil
else
n = n.floor
這樣的處理方式會帶來最終分配的slot與請求遷移的slot數量不一致,這個BUG已經在github上提給作者,https://github.com/antirez/redis/issues/2990
7、打印出reshard計劃,如果用戶沒傳--yes,就提示用戶確認計劃。
8、根據reshard計劃,一個個slot的遷移到新節點上,遷移使用move_slot方法,該方法被很多命令使用,具體可以參見下面的遷移流程。move_slot方法傳遞dots為true和pipeline數量。
9、至此,就完成了全部的遷移任務。

補充

move_slot方法可以在線將一個slot的全部數據從源節點遷移到目的節點,fix、reshard、rebalance都需要調用該方法遷移slot。
move_slot接受下面幾個參數,
1、pipeline:設置一次從slot上獲取多少個key。
2、quiet:遷移會打印相關信息,設置quiet參數,可以不用打印這些信息。
3、cold:設置cold,會忽略執行importing和migrating。
4、dots:設置dots,則會在遷移過程打印遷移key數量的進度。
5、update:設置update,則會更新內存信息,方便以后的操作。

move_slot流程如下:
1、如果沒有設置cold,則對源節點執行cluster importing命令,對目的節點執行migrating命令。fix的時候有可能importing和migrating已經執行過來,所以此種場景會設置cold。
2、通過cluster getkeysinslot命令,一次性獲取遠節點遷移slot的pipeline個key的數量.
3、對這些key執行migrate命令,將數據從源節點遷移到目的節點。
4、如果migrate出現異常,在fix模式下,BUSYKEY的異常,會使用migrate的replace模式再執行一次,BUSYKEY表示目的節點已經有該key了,replace模式可以強制替換目的節點的key。不是fix模式就直接返回錯誤了。
5、循環執行cluster getkeysinslot命令,直到返回的key數量為0,就退出循環。
6、如果沒有設置cold,對每個節點執行cluster setslot命令,把slot賦給目的節點。
7、如果設置update,則修改源節點和目的節點的slot信息。
8、至此完成了遷移slot的流程。

  1. 完成后觀察各主節點的數據槽的分配情況
image.png

減少節點(縮容)

image

縮容時的遷移槽

image

忘記節點操作

image
實驗

命令:

./redis-trib.rb  reshard --from   下線節點 ID  --to  集群中的任意主節點 ID  --slots   遷移到槽數   目前集群中任意節點 IP:端口
redis-trib.rb  reshard --from 78e32beeb696819eb5718b0273723506761e645a --to e00fedd6658c5cfedb2a27346a8e0e137b403536  --slots  4096  127.0.0.1:7001
未平均分配節點的遷移
未平均分配節點的遷移結果

注意:
需要把下線節點的槽數平均遷移到剩余的所有節點,所以需要分批分次執行上面的命令。
并且,每次都集群中的主節點應該不同。

刪除節點

當我們使用 redis-trib.rb 工具時,只需要在目前集群中的任意一個節點中執行如下命令即可。

redis-trib.rb del-node   集群中的任意host:port    刪除的節點的id

注意:
你應該始終先刪除從節點,再刪除主節點

image.png
image.png

del-node流程如下:
1、通過load_cluster_info_from_node方法轉載集群信息。
2、根據傳入的node id獲取節點,如果節點沒找到,則直接提示錯誤并退出。
3、如果節點分配的slot不為空,則直接提示錯誤并退出。
4、遍歷集群內的其他節點,執行cluster forget命令,從每個節點中去除該節點。如果刪除的節點是master,而且它有slave的話,這些slave會去復制其他master,調用的方法是get_master_with_least_replicas,與add-node沒設置--master-id尋找master的方法一樣。
5、然后關閉該節點

刪除節點的小問題

在cluster不小心刪除某個節點后再加入節點是個很麻煩的事(刪除之前先把cluster分配的hashslot給重新分配一下(很重要))

通過 redis-trib.rb del-node 你的節點地址 bd5a40a6ddccbd46a0f4a2208eb25d2453c2a8db(你的node ID(可以通過 redis-trib.rb check 查看))刪除你的節點。

刪除完后要是想重新添加回去時發現用 redis-trib.rb add-node 你的節點地址 需要掛載的集群的節點 添加時會報錯,

[ERR] Node 192.168.XX.XX:XXXX is not empty. Either the nodealready knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

出現這個的原因是這個節點之前已經加入過這個集群了,再次加入就會爆出這樣的錯誤,你可以區配置節點的xxxx.conf文件里找到你保存的cluster-config-fil節點信息,找到然后刪除掉,然后刪除掉該節點的數據保存RDB文件(要是開啟的AOF)也需一并刪除掉

然后運行 redis-trib.rb add-node 命令,看是否可以加入集群。成功的話就不用往下看了

要是還是不行就得去連接到你的Redis redis-cli -h 192.168.XXX.XXX -p xxxx (你節點的地址個端口號)去flushdb一下,清空數據庫,再次add-node應該就可以了。添加節點后記得給他分配hashslot(記得)

補充知識點

rebalance平衡集群節點slot數量

rebalance命令可以根據用戶傳入的參數平衡集群節點的slot數量,rebalance功能非常強大,可以傳入的參數很多,以下是rebalance的參數列表和命令示例。

rebalance       host:port
                --weight <arg>
                --auto-weights
                --threshold <arg>
                --use-empty-masters
                --timeout <arg>
                --simulate
                --pipeline <arg>

$ruby redis-trib.rb rebalance --threshold 1 --weight b31e3a2e=5 --weight 60b8e3a1=5 --use-empty-masters  --simulate 10.180.157.199:6379


host:port:這個是必傳參數,用來從一個節點獲取整個集群信息,相當于獲取集群信息的入口。
--weight <arg>:節點的權重,格式為node_id=weight,如果需要為多個節點分配權重的話,需要添加多個--weight <arg>參數,即--weight b31e3a2e=5 --weight 60b8e3a1=5,node_id可為節點名稱的前綴,只要保證前綴位數能唯一區分該節點即可。沒有傳遞–weight的節點的權重默認為1。
--auto-weights:這個參數在rebalance流程中并未用到。
--threshold <arg>:只有節點需要遷移的slot閾值超過threshold,才會執行rebalance操作。具體計算方法可以參考下面的rebalance命令流程的第四步。
--use-empty-masters:rebalance是否考慮沒有節點的master,默認沒有分配slot節點的master是不參與rebalance的,設置--use-empty-masters可以讓沒有分配slot的節點參與rebalance。
--timeout <arg>:設置migrate命令的超時時間。
--simulate:設置該參數,可以模擬rebalance操作,提示用戶會遷移哪些slots,而不會真正執行遷移操作。
--pipeline <arg>:與reshar的pipeline參數一樣,定義cluster getkeysinslot命令一次取出的key數量,不傳的話使用默認值為10。

rebalance命令流程如下:
1、load_cluster_info_from_node方法先加載集群信息。
2、計算每個master的權重,根據參數--weight <arg>,為每個設置的節點分配權重,沒有設置的節點,則權重默認為1。
3、根據每個master的權重,以及總的權重,計算自己期望被分配多少個slot。計算的方式為:總slot數量 * (自己的權重 / 總權重)。
4、計算每個master期望分配的slot是否超過設置的閾值,即--threshold <arg>設置的閾值或者默認的閾值。計算的方式為:先計算期望移動節點的閾值,算法為:(100-(100.0*expected/n.slots.length)).abs,如果計算出的閾值沒有超出設置閾值,則不需要為該節點移動slot。只要有一個master的移動節點超過閾值,就會觸發rebalance操作。
5、如果觸發了rebalance操作。那么就開始執行rebalance操作,先將每個節點當前分配的slots數量減去期望分配的slot數量獲得balance值。將每個節點的balance從小到大進行排序獲得sn數組。
6、用dst_idx和src_idx游標分別從sn數組的頭部和尾部開始遍歷。目的是為了把尾部節點的slot分配給頭部節點。
sn數組保存的balance列表排序后,負數在前面,正數在后面。負數表示需要有slot遷入,所以使用dst_idx游標,正數表示需要有slot遷出,所以使用src_idx游標。理論上sn數組各節點的balance值加起來應該為0,不過由于在計算期望分配的slot的時候只是使用直接取整的方式,所以可能出現balance值之和不為0的情況,balance值之和不為0即為節點不平衡的slot數量,由于slot總數有16384個,不平衡數量相對于總數,基數很小,所以對rebalance流程影響不大。
7、獲取sn[dst_idx]和sn[src_idx]的balance值較小的那個值,該值即為需要從sn[src_idx]節點遷移到sn[dst_idx]節點的slot數量。
8、接著通過compute_reshard_table方法計算源節點的slot如何分配到源節點列表。這個方法在reshard流程中也有調用,具體步驟可以參考reshard流程的第六步。
9、如果是simulate模式,則只是打印出遷移列表。
10、如果沒有設置simulate,則執行move_slot操作,遷移slot,傳入的參數為:quiet=>true,:dots=>false,:update=>true。
11、遷移完成后更新sn[dst_idx]和sn[src_idx]的balance值。如果balance值為0后,游標向前進1。
12、直到dst_idx到達src_idx游標,完成整個rebalance操作。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • redis集群分為服務端集群和客戶端分片,redis3.0以上版本實現了集群機制,即服務端集群,3.0以下使用客戶...
    hadoop_null閱讀 1,604評論 0 6
  • 前言 Redis 是我們目前大規模使用的緩存中間件,由于它強大高效而又便捷的功能,得到了廣泛的使用。單節點的Red...
    Kevin_ZGJ閱讀 11,706評論 19 133
  • 本文檔匯總了多篇文章知識的結晶,整理出一份完整的Redis集群搭建教程,在本文最后也有注明摘自原文的地址,如果原作...
    緯一閱讀 1,401評論 5 27
  • 轉自:https://www.zybuluo.com/phper/note/195558 前言 redis 是我們...
    yannhuang閱讀 1,700評論 0 2
  • 原文地址:http://www.lxweimin.com/p/9fe248e5a0ca Step 0 :集群概念 ...
    擦普洱閱讀 434評論 0 1