開啟我們的分布式之路吧!!!
(1)官網下載zookeeper,我這里使用的是3.4.5版本。下載地址
并且我們要給自己的服務器配置hosts先
$ vi /etc/hosts
這里寫圖片描述
(2)解壓唄,我們這就不解壓在usr/local那里了,因為涉及太多東東,我們解壓配置在我們的用戶目錄那里。那么我們就是使用我們的用戶權限咯!!而不是root用戶權限。
這里寫圖片描述
$ tar -zxvf zookeeper-3.4.5.tar.gz
(3)進入zookeeper目錄,創建日志文件夾以及數據文件夾
$ cd /usr/local/zookeeper-3.4.6
$ mkdir data
$ mkdir logs
這里寫圖片描述
(4)配置文件是很危險,容易出bug的,所以我們一般是使用備份去操作。進入zookeeper的conf目錄先!
$ cp zoo_sample.cfg zoo.cfg
(5)修改zoo.cfg配置。
$ vi zoo.cfg
這里寫圖片描述
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs
clientPort=2181
//下面的ip也可以用hosts別名zookeeper-01,當然更是可是用我們剛開始修改hosts的時候配置的名字啦!!!
server.1=edu-provider-02:2888:3888
//其中2888是zookeeper服務之間通信的端口
//3888是zookeeper與其他應用程序通信端口
zoo.cfg文件參數詳解:感謝此博主的分享
參數名 | 說明 |
---|---|
clientPort | 客戶端連接server的端口,即對外服務端口,一般設置為2181 |
tickTime | ZK中的一個時間單元。ZK中所有時間都是以這個時間單元為基礎,進行整數倍配置的。例如,session的最小超時時間是2*tickTime |
dataDir | 存儲快照文件snapshot的目錄。默認情況下,事務日志也會存儲在這里。建議同時配置參數dataLogDir, 事務日志的寫性能直接影響zk性能 |
dataLogDir | 事務日志輸出目錄。盡量給事務日志的輸出配置單獨的磁盤或是掛載點,這將極大的提升ZK性能 |
globalOutstandingLimit | 最大請求堆積數。默認是1000。ZK運行的時候, 盡管server已經沒有空閑來處理更多的客戶端請求了,但是還是允許客戶端將請求提交到服務器上來,以提高吞吐性能。當然,為了防止Server內存溢出,這個請求堆積數還是需要限制下的。(Java system property: zookeeper.globalOutstandingLimit. ) |
preAllocSize | 預先開辟磁盤空間,用于后續寫入事務日志。默認是64M,每個事務日志大小就是64M。如果ZK的快照頻率較大的話,建議適當減小這個參數 |
snapCount | 每進行snapCount次事務日志輸出后,觸發一次快照(snapshot), 此時,ZK會生成一個snapshot.文件,同時創建一個新的事務日志文件log.。默認是100000.(真正的代碼實現中,會進行一定的隨機數處理,以避免所有服務器在同一時間進行快照而影響性能)(Java system property: zookeeper.snapCount ) |
traceFile | 用于記錄所有請求的log,一般調試過程中可以使用,但是生產環境不建議使用,會嚴重影響性能。(Java system property:? requestTraceFile ) |
maxClientCnxns | 單個客戶端與單臺服務器之間的連接數的限制,是ip級別的,默認是60,如果設置為0,那么表明不作任何限制。請注意這個限制的使用范圍,僅僅是單臺客戶端機器與單臺ZK服務器之間的連接數限制,不是針對指定客戶端IP,也不是ZK集群的連接數限制,也不是單臺ZK對所有客戶端的連接數限制。指定客戶端IP的限制策略,這里有一個patch,可以嘗試一下:http://rdc.taobao.com/team/jm/archives/1334(No Java system property) |
clientPortAddress | 對于多網卡的機器,可以為每個IP指定不同的監聽端口。默認情況是所有IP都監聽 clientPort 指定的端口。 New in 3.3.0 |
minSessionTimeoutmaxSessionTimeout | Session超時時間限制,如果客戶端設置的超時時間不在這個范圍,那么會被強制設置為最大或最小時間。默認的Session超時時間是在2 * tickTime ~ 20 * tickTime 這個范圍 New in 3.3.0 |
fsync.warningthresholdms | 事務日志輸出時,如果調用fsync方法超過指定的超時時間,那么會在日志中輸出警告信息。默認是1000ms。(Java system property: fsync.warningthresholdms )New in 3.3.4 |
autopurge.purgeInterval | 在上文中已經提到,3.4.0及之后版本,ZK提供了自動清理事務日志和快照文件的功能,這個參數指定了清理頻率,單位是小時,需要配置一個1或更大的整數,默認是0,表示不開啟自動清理功能。(No Java system property) New in 3.4.0 |
autopurge.snapRetainCount | 這個參數和上面的參數搭配使用,這個參數指定了需要保留的文件數目。默認是保留3個。(No Java system property) New in 3.4.0 |
electionAlg | 在之前的版本中, 這個參數配置是允許我們選擇leader選舉算法,但是由于在以后的版本中,只會留下一種“TCP-based version of fast leader election”算法,所以這個參數目前看來沒有用了,這里也不詳細展開說了。(No Java system property) |
initLimit | Follower在啟動過程中,會從Leader同步所有最新數據,然后確定自己能夠對外服務的起始狀態。Leader允許F在 initLimit 時間內完成這個工作。通常情況下,我們不用太在意這個參數的設置。如果ZK集群的數據量確實很大了,F在啟動的時候,從Leader上同步數據的時間也會相應變長,因此在這種情況下,有必要適當調大這個參數了。(No Java system property) |
syncLimit | 在運行過程中,Leader負責與ZK集群中所有機器進行通信,例如通過一些心跳檢測機制,來檢測機器的存活狀態。如果L發出心跳包在syncLimit之后,還沒有從F那里收到響應,那么就認為這個F已經不在線了。注意:不要把這個參數設置得過大,否則可能會掩蓋一些問題。(No Java system property) |
leaderServes | 默認情況下,Leader是會接受客戶端連接,并提供正常的讀寫服務。但是,如果你想讓Leader專注于集群中機器的協調,那么可以將這個參數設置為no,這樣一來,會大大提高寫操作的性能。(Java system property: zookeeper. leaderServes ) |
server.x=[hostname]:nnnnn[:nnnnn] | 這里的x是一個數字,與myid文件中的id是一致的。右邊可以配置兩個端口,第一個端口用于F和L之間的數據同步和其它通信,第二個端口用于Leader選舉過程中投票通信。(No Java system property) |
group.x=nnnnn[:nnnnn]weight.x=nnnnn | 對機器分組和權重設置,可以 參見這里(No Java system property) |
cnxTimeout | Leader選舉過程中,打開一次連接的超時時間,默認是5s。(Java system property: zookeeper. cnxTimeout ) |
zookeeper.DigestAuthenticationProvider.superDigest | ZK權限設置相關,具體參見《使用super身份對有權限的節點進行操作 》和 《ZooKeeper權限控制》 |
skipACL | 對所有客戶端請求都不作ACL檢查。如果之前節點上設置有權限限制,一旦服務器上打開這個開頭,那么也將失效。(Java system property: zookeeper.skipACL ) |
forceSync | 這個參數確定了是否需要在事務日志提交的時候調用 FileChannel .force來保證數據完全同步到磁盤。(Java system property: zookeeper.forceSync ) |
jute.maxbuffer | 每個節點最大數據量,是默認是1M。這個限制必須在server和client端都進行設置才會生效。(Java system property: jute.maxbuffer ) |
(6)數據報要對應給到我們對應的機器:進入我們創建的data目錄
這里寫圖片描述
相當于創建myid文件。然后給到我們剛剛對應的server的機器編號1
$ vi myid
這里寫圖片描述
(7)配置環境變量:我們下載安裝的是用戶目錄下的,所以我們要用用戶權限去到我們的用戶目錄
切換用戶
$ su 用戶名
//進入用戶目錄
$ cd ~
這里寫圖片描述
然后就在這個目錄下進行修改操作咯
vi .bash_profile
這里寫圖片描述
export ZOOKEEPER_HOME=/home/dsc/zookeep
export PATH=$ZOOKEEPER_HOME/bin:$PATH
(8)使我們的修改配置生效:
$ source .bash_profile
(9)防火墻的修改配置:(!!!注意!!!要用root用戶權限去修改)
我們一般用iptables的防火墻,而把firewalled防火墻給關閉卸載。firewalled管理;iptables管理
CentOS 默認使用的是firewalled作為防火墻,這里改為iptables防火墻。
1.關閉firewalled。
systemctl stop firewalld.service //停止firewall
systemctl disable firewalld.service //禁止firewall開機啟動
2.安裝iptables防火墻 。
yum install iptables-services //安裝
vi /etc/sysconfig/iptables //編輯防火墻配置文件
這里寫圖片描述
#zookeeper
-A FORWARD -j REJECT --reject-with icmp-host-prohibited RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT
-A FORWARD -j REJECT --reject-with icmp-host-prohibited RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
-A FORWARD -j REJECT --reject-with icmp-host-prohibited RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT
-A FORWARD -j REJECT --reject-with icmp-host-prohibited RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT
3.改完就啟動啊!!
$ systemctl restart iptables.service //最后重啟防火墻使配置生效
$ service iptables restart
$ service iptables status
4.還要設置下開機啟動
$ systemctl enable iptables.service //設置防火墻開機啟動
(10)啟動zookeeper測試:。進入到zookeeper的bin目錄下:
$ ./zkServer.sh start
//產看狀態
$ ./zkServer.sh status
//查看進程:
$ ps
(11)設置開機啟動:
$ vi /etc/rc.local
就是一句話 su - root -c '/home/dsc/zookeeper-3.4.5/bin/zkServer.sh start'
這里寫圖片描述
注意點:
(1)啟動日志監控器監控觀察。進入我們的zookeeper的bin目錄下
$ tail -500f zookeeper.out
這里寫圖片描述
(2)還有一些啟動失敗的錯誤:
java.net.BindException: 地址已在使用