zookeeper
1.1.zookeeper概述
zookeeper是一個(gè)分布式協(xié)調(diào)服務(wù)的開源框架。主要是用來解決分布式集群中應(yīng)用系統(tǒng)的一致性問題，例如怎么避免同時(shí)操作同一數(shù)據(jù)造成臟讀問題。
zookeeper本質(zhì)上是一個(gè)分布式的小文件存儲(chǔ)系統(tǒng)。提供基于類似文件系統(tǒng)的目錄樹方式的數(shù)據(jù)存儲(chǔ)，并且可以對(duì)樹中的節(jié)點(diǎn)進(jìn)行有效管理，從而用來維護(hù)和監(jiān)控你存儲(chǔ)的數(shù)據(jù)的狀態(tài)變化。通過監(jiān)控這些數(shù)據(jù)狀態(tài)的變化，從而可以達(dá)到基于數(shù)據(jù)的集群管理。例如：統(tǒng)一命名服務(wù)、分布式配置管理、分布式消息隊(duì)列、分布式鎖、分布式協(xié)調(diào)等功能。
1.2.zookeeper的文件系統(tǒng)
zookeeper維護(hù)一個(gè)類似文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)：
1.3.zookeeper特性
- 全局?jǐn)?shù)據(jù)一致：每個(gè)server保存一份相同的數(shù)據(jù)副本，client無論連接到哪個(gè)server，展示的數(shù)據(jù)都是一致的，這是最重要的特性；
- 可靠性：如果消息被其中一臺(tái)服務(wù)器接收，那么將被所有服務(wù)器接收（刪除某一臺(tái)的1.txt文件，那么所有服務(wù)器上的副本都會(huì)被刪除）；
- 順序性：包括全局有序和偏序兩種。全局有序指的是如果在一臺(tái)服務(wù)器上消息a在消息b前發(fā)布，那么所有server上的消息a都將在消息b之前發(fā)布。偏序則指的是如果一個(gè)消息b在消息a后被同一個(gè)發(fā)送者發(fā)布，a必將排在b前面（消息可以理解為刪除操作）；
- 數(shù)據(jù)更新原子性：一次數(shù)據(jù)更新要么成功（半數(shù)以上算成功），要么失敗，不存在中間狀態(tài)；
- 實(shí)時(shí)性：zookeeper保證了客戶端在同一時(shí)間間隔范圍內(nèi)獲得服務(wù)器的更新信息，或者服務(wù)器失效的信息；
1.4.zookeeper集群角色
Leader：
- zookeeper集群工作的核心；
- 事務(wù)請(qǐng)求（寫操作）的唯一調(diào)度和處理者，保證集群事務(wù)處理的順序性；
- 對(duì)于create、setData、delete等有寫操作的請(qǐng)求，則需要統(tǒng)一轉(zhuǎn)發(fā)給Leader處理，Leader需要決定編號(hào)、執(zhí)行操作，這個(gè)過程稱為一個(gè)事務(wù)；
Follower：
- 處理客戶端非事務(wù)（寫操作）的請(qǐng)求，轉(zhuǎn)發(fā)事務(wù)請(qǐng)求給Leader；
- 參與集群Leader選舉投票；
此外，針對(duì)訪問量大的zookeeper集群，還可以新添加觀察者角色。
Observer：
- 觀察者角色，觀察zookeeper集群的最新狀態(tài)變化并將這些狀態(tài)同步過來，其對(duì)于非事務(wù)請(qǐng)求可以進(jìn)行獨(dú)立處理（和Follower功能一樣），對(duì)于事務(wù)請(qǐng)求，則會(huì)轉(zhuǎn)發(fā)給Leader服務(wù)器來處理；
- 不會(huì)參與任何形式的投票，只提供非事務(wù)服務(wù)，通常用于在不影響集群事務(wù)處理能力的前提下提升集群的非事務(wù)處理能力。
zookeeper集群搭建
zookeeper集群搭建的是zookeeper分布式模式安裝。通常由2n+1臺(tái)server組成。這是因?yàn)闉榱吮ＷCLeader選舉（基于Paxos算法）能夠得到多數(shù)的支持，所以zookeeper集群數(shù)量一般為奇數(shù)。
zookeeper運(yùn)行需要Java環(huán)境，所以需要提前安裝JDK。對(duì)于安裝Leader+Follower的集群，大致過程如下：
- 配置主機(jī)名稱到IP地址的映射關(guān)系；
- 修改zookeeper配置文件；
- 遠(yuǎn)程復(fù)制分發(fā)安裝文件；
- 設(shè)置myid；
- 啟動(dòng)zookeeper集群；
如果想要使用Observer模式，可在對(duì)應(yīng)節(jié)點(diǎn)的配置文件添加如下配置：
peerType=observer
其次，必須在配置文件指定哪些節(jié)點(diǎn)被指定為Observer，如：
server.1:localhost:2181:3181:observer
安裝過程
wget http://mirror.bit.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.4.5.tar.gz
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper
## 修改配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg 添加內(nèi)容
dataDir=/root/apps/zookeeper/zkdata
server.1=mini1:2888:3888 ## (心跳端口、選舉端口)
server.2=mini2:2888:3888
server.3=mini3:2888:3888
## 創(chuàng)建文件夾：
cd /home/hadoop/zookeeper/
mkdir zkdata
## 在data文件夾下新建myid文件，myid的文件內(nèi)容為：
cd zkdata
echo 1 > myid
## 分發(fā)安裝包到其他機(jī)器
scp -r /root/apps root@mini2:/root/
scp -r /root/apps root@mini3:/root/
## 修改其他機(jī)器的配置文件
## 修改myid文件
到mini2上：修改myid為：2
到mini3上：修改myid為：3
##啟動(dòng)（每臺(tái)機(jī)器）
zkServer.sh start
或者編寫一個(gè)腳本來批量啟動(dòng)所有機(jī)器：
for host in "mini1 mini2 mini3"
do
ssh $host "source/etc/profile;/root/apps/zookeeper/bin/zkServer.sh start"
done
##查看集群狀態(tài)
jps（查看進(jìn)程）
zkServer.sh status（查看集群狀態(tài)，主從信息）
如果啟動(dòng)不成功，可以觀察zookeeper.out日志，查看錯(cuò)誤信息進(jìn)行排查
配置文件參數(shù)說明：
-
tickTime：這個(gè)時(shí)間作為zookeeper服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時(shí)間間隔，也就是說每個(gè)tickTime時(shí)間就會(huì)發(fā)送一個(gè)心跳； -
initLimit：這個(gè)配置項(xiàng)是用來配置zookeeper接收客戶端（這里所說的客戶端不是用戶連接zookeeper服務(wù)器集群中連接到Leader的Follower服務(wù)器）初始化連接時(shí)最長(zhǎng)能忍受多少個(gè)心跳時(shí)間間隔數(shù)。當(dāng)已經(jīng)超過10個(gè)心跳的時(shí)間（也就是tickTime）長(zhǎng)度后zookeeper服務(wù)器還沒有收到客戶端的返回信息，那么表明這個(gè)客戶端連接失敗。總的時(shí)間長(zhǎng)度就是10*2000=20s； -
syncLimit：這個(gè)配置項(xiàng)標(biāo)識(shí)Leader和Follower之間發(fā)送消息，請(qǐng)求和應(yīng)答時(shí)間長(zhǎng)度，最長(zhǎng)不能超過多少個(gè)tickTime的時(shí)間長(zhǎng)度,總的時(shí)間長(zhǎng)度就是5*2000=10秒； -
dataDir：就是zookeeper保存數(shù)據(jù)的目錄，默認(rèn)情況下zookeeper將寫數(shù)據(jù)的日志文件也保存在這個(gè)目錄里； -
clientPort：這個(gè)端口就是客戶端連接zookeeper服務(wù)器的端口，zookeeper會(huì)監(jiān)聽客戶端的訪問請(qǐng)求； -
server.A=B:C:D：A是一個(gè)數(shù)字，表示這是第幾臺(tái)服務(wù)器，B是這個(gè)服務(wù)器的IP地址或主機(jī)名，C是用來集群成員的信息交換，表示這個(gè)服務(wù)器在集群中的Leader服務(wù)器交換信息的端口，D代表在Leader掛掉時(shí)，專門用來進(jìn)行選舉Leader所用的端口；
3.zookeeper數(shù)據(jù)模型
zookeeper的數(shù)據(jù)模型，在結(jié)構(gòu)上和標(biāo)準(zhǔn)文件系統(tǒng)的非常相似。擁有一個(gè)層次命名空間，都是采用樹形結(jié)構(gòu)，zookeeper樹中的每個(gè)節(jié)點(diǎn)被稱為Znode。和文件系統(tǒng)的目錄樹一樣，zookeeper樹中的每個(gè)節(jié)點(diǎn)都可以擁有子節(jié)點(diǎn)，但也有不同之處：
- Znode兼具文件和目錄兩種特點(diǎn)。既像文件一樣維護(hù)者數(shù)據(jù)、元信息、ACL、時(shí)間戳等數(shù)據(jù)結(jié)構(gòu)，并可以具有子Znode。用戶對(duì)Znode具有增刪改查等操作（權(quán)限允許的情況下）；
- Znode具有原子性操作。讀操作將獲取與節(jié)點(diǎn)相關(guān)的所有數(shù)據(jù)，寫操作也將替換掉節(jié)點(diǎn)的所有數(shù)據(jù)，另外每一個(gè)節(jié)點(diǎn)都擁有自己的ACL（訪問控制權(quán)限列表），這個(gè)列表規(guī)定了用戶的權(quán)限，即限定了特定用戶對(duì)目標(biāo)節(jié)點(diǎn)可以執(zhí)行的操作；
- Znode節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)大小有限制。zookeeper雖然可以關(guān)聯(lián)一些數(shù)據(jù)，但并沒有被設(shè)計(jì)為常規(guī)的數(shù)據(jù)庫(kù)或大數(shù)據(jù)存儲(chǔ)，相反的是，它用來管理調(diào)度數(shù)據(jù)，比如分布式應(yīng)用中的配置文件信息、狀態(tài)信息、匯集信息等等，這些數(shù)據(jù)的共同特征就是他們都是很小的數(shù)據(jù)，通常是以kb為大小單位。zookeeper的服務(wù)器和客戶端都設(shè)計(jì)為嚴(yán)格檢查并限制每個(gè)Znode的數(shù)據(jù)大小最大為1M，但在常規(guī)使用中應(yīng)該遠(yuǎn)小于此值；
-
Znode通過路徑引用。如同unix的文件路徑，路徑必須是絕對(duì)的，因此他們必須是由斜杠開頭，除此之外，他們必須是唯一的，也就是說每一個(gè)路徑只有一個(gè)表示，并且有一些限制，字符串
/zookeeper用以保存管理信息，比如關(guān)鍵配額信息；
3.1.數(shù)據(jù)結(jié)構(gòu)圖
未完待續(xù)......
