zookeeper原理
Zookeeper雖然在配置文件中并沒有指定master和slave
但是，zookeeper工作時，是有一個節點為leader，其他則為follower
Leader是通過內部的選舉機制臨時產生的
zookeeper的選舉機制（全新集群paxos）
以一個簡單的例子來說明整個選舉的過程.
假設有五臺服務器組成的zookeeper集群,它們的id從1-5,同時它們都是最新啟動的,也就是沒有歷史數據,在存放數據量這一點上,都是一樣的.假設這些服務器依序啟動,來看看會發生什么.
- 服務器1啟動,此時只有它一臺服務器啟動了,它發出去的報沒有任何響應,所以它的選舉狀態一直是LOOKING狀態
- 服務器2啟動,它與最開始啟動的服務器1進行通信,互相交換自己的選舉結果,由于兩者都沒有歷史數據,所以id值較大的服務器2勝出,但是由于沒有達到超過半數以上的服務器都同意選舉它(這個例子中的半數以上是3),所以服務器1,2還是繼續保持LOOKING狀態.
- 服務器3啟動,根據前面的理論分析,服務器3成為服務器1,2,3中的老大,而與上面不同的是,此時有三臺服務器選舉了它,所以它成為了這次選舉的leader.
- 服務器4啟動,根據前面的分析,理論上服務器4應該是服務器1,2,3,4中最大的,但是由于前面已經有半數以上的服務器選舉了服務器3,所以它只能接收當小弟的命了.
- 服務器5啟動,同4一樣,當小弟.
非全新集群的選舉機制(數據恢復)
那么，初始化的時候，是按照上述的說明進行選舉的，但是當zookeeper運行了一段時間之后，有機器down掉，重新選舉時，選舉過程就相對復雜了。需要加入數據id、leader id和邏輯時鐘。
- 數據id：數據新的id就大，數據每次更新都會更新id。
- Leader id：就是我們配置的myid中的值，每個機器一個。
- 邏輯時鐘：這個值從0開始遞增,每次選舉對應一個值,也就是說: 如果在同一次選舉中,那么這個值應該是一致的 ; 邏輯時鐘值越大,說明這一次選舉leader的進程更新.
選舉的標準就變成：
1、邏輯時鐘小的選舉結果被忽略，重新投票
2、統一邏輯時鐘后，數據id大的勝出
3、數據id相同的情況下，leader id大的勝出
根據這個規則選出leader。
zookeeper安裝使用
- 上傳
zookeeper-3.4.5.tar.gz服務器 - 解壓到
/apps/zookeeper目錄 - 刪除其他不會使用到的文件，剩下如下：
[root@hadoop zookeeper-3.4.5]# ll
total 1320
drwxr-xr-x. 2 501 games 4096 Aug 28 20:53 bin
drwxr-xr-x. 2 501 games 4096 Aug 28 21:04 conf
drwxr-xr-x. 10 501 games 4096 Aug 28 20:53 contrib
drwxr-xr-x. 4 501 games 4096 Aug 28 20:53 lib
drwxr-xr-x. 5 501 games 4096 Aug 28 20:53 recipes
-rw-r--r--. 1 501 games 1315806 Nov 5 2012 zookeeper-3.4.5.jar
-rw-r--r--. 1 501 games 833 Nov 5 2012 zookeeper-3.4.5.jar.asc
-rw-r--r--. 1 501 games 33 Nov 5 2012 zookeeper-3.4.5.jar.md5
-rw-r--r--. 1 501 games 41 Nov 5 2012 zookeeper-3.4.5.jar.sha1
[root@hadoop zookeeper-3.4.5]#
- 進入配置文件目錄
cd conf/ - 拷貝一份
zoo_example.conf
cp zoo_example.conf zoo.conf - 編輯
zoo.conf，配置如下
vi zoo.conf
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/apps/zookeeper/zkdata
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=mini1:2888:3888
server.2=mini2:2888:3888
server.3=mini3:2888:3888
- 創建zk的數據目錄
mkdir -p /apps/zookeeper/zkdata cd /apps/zookeeper/zkdata- 創建id文件，初始為1
echo 1 > myid
注意：上面語句的>兩邊一定要有空格
cat myid
把配置好的zookeeper拷貝到其他的機器
- 確保每臺機器都已創建
/apps/目錄
mkdir -p /apps - 開始拷貝到mini2
scp -r apps/zookeeper/ root@mini2:/root
如果當前是root用戶，第一個root可以省略 - 在mini2上執行
[root@hadoop ~]# pwd
/root
[root@hadoop ~]# mv zookeeper/ /apps/
[root@hadoop ~]# cd /apps/zookeeper/zkdata/
[root@hadoop zkdata]# echo 2 > myid
[root@hadoop zkdata]# cat myid
2
- 拷貝到mini3
scp -r apps/zookeeper/ root@mini3:/root
如果當前是root用戶，第一個root可以省略 - 在mini3上執行
[root@hadoop ~]# pwd
/root
[root@hadoop ~]# mv zookeeper/ /apps/
[root@hadoop ~]# cd /apps/zookeeper/zkdata/
[root@hadoop zkdata]# echo 3 > myid
[root@hadoop zkdata]# cat myid
3
-
關閉所有機器的防火墻
點擊交換窗口
在交換窗口右鍵，選擇將交互發送給所有標簽
然后按回車，就關閉了所有機器的防火墻
啟動所有機器的zookeeper
cd /apps/zookeeper/zookeeper-3.4.5/bin/
zkServer.sh start第一次要
zoo.conf中配置了的所有主機都啟動了，才不會報錯
zk命令
- 查看狀態
zkServer.sh status
