1.1 hadoop1.0的單點問題
Hadoop中的NameNode好比是人的心臟,非常重要,絕對不可以停止工作。在hadoop1時代,只有一個NameNode。如果該NameNode數據丟失或者不能工作,那么整個集群就不能恢復了。這是hadoop1中的單點問題,也是hadoop1不可靠的表現。
1.2 hadoop2.0對hadoop1.0單點問題的解決
為了解決hadoop1中的單點問題,在hadoop2中新的NameNode不再是只有一個,可以有多個(目前只支持2個)。每一個都有相同的職能。一個是active狀態的,一個是standby狀態的。當集群運行時,只有active狀態的NameNode是正常工作的,standby狀態的NameNode是處于待命狀態的,時刻同步active狀態NameNode的數據。一旦active狀態的NameNode不能工作,通過手工或者自動切換,standby狀態的NameNode就可以轉變為active狀態的,就可以繼續工作了。這就是高可靠。
1.3 使用JournalNode實現NameNode(Active和Standby)數據的共享
Hadoop2.0中,2個NameNode的數據其實是實時共享的。新HDFS采用了一種共享機制,Quorum Journal Node(JournalNode)集群或者Nnetwork File System(NFS)進行共享。NFS是操作系統層面的,JournalNode是hadoop層面的,我們這里使用JournalNode集群進行數據共享(這也是主流的做法)。如下圖所示,便是JournalNode的架構圖。
兩個NameNode為了數據同步,會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態的NameNode的命名空間有任何修改時,會告知大部分的JournalNodes進程。standby狀態的NameNode有能力讀取JNs中的變更信息,并且一直監控edit log的變化,把變化應用于自己的命名空間。standby可以確保在集群出錯時,命名空間狀態已經完全同步了。
1.4 NameNode之間的故障切換
對于HA集群而言,確保同一時刻只有一個NameNode處于active狀態是至關重要的。否則,兩個NameNode的數據狀態就會產生分歧,可能丟失數據,或者產生錯誤的結果。為了保證這點,這就需要利用使用ZooKeeper了。首先HDFS集群中的兩個NameNode都在ZooKeeper中注冊,當active狀態的NameNode出故障時,ZooKeeper能檢測到這種情況,它就會自動把standby狀態的NameNode切換為active狀態。
二.Hadoop(HA)集群的搭建
2.1 配置詳細
主機名 ? ? IP ? ? ? ? ? ? ? ? ? ? ? ? NameNode ? ? ? DataNode ? ? ? Year ? ?Zookeeper ? ? JournalNode
mast1 ? 192.168.177.131 ? ? 是 ? ? ? ? ? ? ? ? ? ? ?是 ? ? ? ? ? ? ? ? ? ? 否 ? ? ? ? ? ? 是 ? ? ? ? ? ? ? ? ? ? ? ?是
mast2 ? 192.168.177.132 ? ? 是 ? ? ? ? ? ? ? ? ? ? ? 是 ? ? ? ? ? ? ? ? ? ?否 ? ? ? ? ? ? 是 ? ? ? ? ? ? ? ? ? ? ? ? 是
mast3 ? ?192.168.177.133 ? ?否 ? ? ? ? ? ? ? ? ? ? ? 是 ? ? ? ? ? ? ? ? ? ?是 ? ? ? ? ? ? 是 ? ? ? ? ? ? ? ? ? ? ? ? 是