一. 目標
- 搭建Hadoop2.6.4 集群 automaticHA+Federation+Yaran
二. 環境
- jdk1.7
- hadoop2.2
- centos6.5 64位
- zookeeper 3.4.5
三. 集群規劃
集群 主機名 IP 安裝的軟件 運行的進程
1 hadoop1 192.168.172.101 jdk、hadoop NameNode、DFSZKFailoverController ResourceManager DFSZKFailoverController
1 spark2 192.168.172.102 jdk、hadoop NameNode、DFSZKFailoverController、JournalNode、DataNode NodeManager DFSZKFailoverController
2 spark3 192.168.172.103 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark4 192.168.172.104 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark5 192.168.172.105 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
四. 部署步驟
- 關閉防火墻 service iptables stop 驗證:service iptalbes status
- 關閉防火墻的自動執行 chkconfig iptalbes off 驗證：chkconfig --list|grep iptables
- 設置主機名 etc/sysconfig/network[1]
- 設置SSH免密碼登陸 ssh-keygen -t rsa 在/root/.ssh 下生成功公鑰與私鑰; ssh-copy-id -i 主機地址 生成authoriaed_keys
- 綁定 ip與hostname /etc/hosts 增加IP與主機名
- 安裝JDK Hadoop /etc/profile 添加JDK_HOME HADOOP_HOME 路徑
- hadoop配置，修改位于etc/hadoop 目錄下的配置文件
- hadoop-env.sh 增加export JAVA_HOME=/usr/local/jdk
- core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>
【這里的值指的是默認的HDFS路徑。當有多個HDFS集群同時工作時，用戶如果不寫集群名稱，那么默認使用哪個哪？在這里指定！該值來自于hdfs-site.xml中的配置。在節點spark2和hadoop1中使用cluster1，在節點spark3、spark4、spark5中使用cluster2】
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
【這里的路徑默認是NameNode、DataNode、JournalNode等存放數據的公共目錄。用戶也可以自己單獨指定這三類節點的目錄。】
<property>
<name>ha.zookeeper.quorum</name>
<value>spark3:2181,spark4:2181,spark5:2181</value>
</property>
【這里是ZooKeeper集群的地址和端口。注意，數量一定是奇數，且不少于三個節點】
</configuration>
- hdfs-site.xml
該文件只配置在hadoop0和hadoop1上。
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
【指定DataNode存儲block的副本數量。默認值是3個，我們現在有4個DataNode，該值不大于4即可。】
<property>
<name>dfs.nameservices</name>
<value>cluster1,cluster2</value>
</property>
【使用federation時，使用了2個HDFS集群。這里抽象出兩個NameService實際上就是給這2個HDFS集群起了個別名。名字可以隨便起，相互不重復即可】
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop1,spark2</value>
</property>
【指定NameService是cluster1時的namenode有哪些，這里的值也是邏輯名稱，名字隨便起，相互不重復即可】
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
<value>hadoop0:9000</value>
</property>
【指定hadoop1的RPC地址】
<property>
<name>dfs.namenode.http-address.cluster1.hadoop1</name>
<value>hadoop1:50070</value>
</property>
【指定hadoop1的http地址】
<property>
<name>dfs.namenode.rpc-address.cluster1.spark2</name>
<value>spark2:9000</value>
</property>
【指定spark2的RPC地址】
<property>
<name>dfs.namenode.http-address.cluster1.spark2</name>
<value>spark2:50070</value>
</property>
【指定spark2的http地址】
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1</value>
</property>
【指定cluster1的兩個NameNode共享edits文件目錄時，使用的JournalNode集群信息】
<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>true</value>
</property>
【指定cluster1是否啟動自動故障恢復，即當NameNode出故障時，是否自動切換到另一臺NameNode】
<property> <name>dfs.client.failover.proxy.provider.cluster1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
【指定cluster1出故障時，哪個實現類負責執行故障切換】
<property>
<name>dfs.ha.namenodes.cluster2</name>
<value>spark3,spark4</value>
</property>
【指定NameService是cluster2時，兩個NameNode是誰，這里是邏輯名稱，不重復即可。以下配置與cluster1幾乎全部相似，不再添加注釋】
<property>
<name>dfs.namenode.rpc-address.cluster2.spark3</name>
<value>spark3:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster2.spark3</name>
<value>spark3:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster2.spark4</name>
<value>spark4:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster2.spark4</name>
<value>spark4:50070</value>
</property>
<!--
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
</property>
【這段代碼是注釋掉的，不要打開】
-->
<property>
<name>dfs.ha.automatic-failover.enabled.cluster2</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.cluster2</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/tmp/journal</value>
</property>
【指定JournalNode集群在對NameNode的目錄進行共享時，自己存儲數據的磁盤路徑】
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
【一旦需要NameNode切換，使用ssh方式進行操作】
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
【如果使用ssh進行故障切換，使用ssh通信時用的密鑰存儲的位置】
</configuration>
- slaves
spark2
spark3
spark4
spark5
- 把以上配置的內容復制到spark2、spark3、spark4、spark5節點上
- 修改spark2、spark3、spark4、spark5上的配置文件內容
- 修改spark3上的core-site.xml內容
fs.defaultFS的值改為hdfs://cluster2 - 修改spark3上的hdfs-site.xml內容
把cluster1中關于journalnode的配置項刪除，增加如下內容
- 修改spark3上的core-site.xml內容
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1</value>
</property>
- 開始啟動
- 啟動journalnode
在spark3、spark4、spark5上執行sbin/hadoop-daemon.sh start journalnode - 格式化ZooKeeper
在hadoop1、spark3上執行bin/hdfs zkfc -formatZK - 對hadoop1節點進行格式化和啟動
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode - 對spark2節點進行格式化和啟動
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode 在hadoop1、spark2上啟動zkfc
sbin/hadoop-daemon.sh start zkfc
我們的hadoop1、hadoop1有一個節點就會變為active狀態。
- 對于cluster2執行類似操作
- 啟動datanode
在hadoop0上執行命令sbin/hadoop-daemons.sh start datanode
- 配置Yarn
修改文件mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>修改文件yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
【自定ResourceManager的地址，還是單點，這是隱患】
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>啟動yarn
在hadoop1上執行sbin/start-yarn.sh
五. 問題
如果不定時出現 linux 64位中
異常解決：運行zookeeper zkServer.sh status時出現 Error contacting service. It is probably not running.
則在 /etc/hosts 加入
#127.0.0.1 localhost.localdomain localhost
#::1 localhost6.localdomain6 localhost6
127.0.0.1 localhost localhost.localdomainJournal Storage Directory not f ormatted
HA 三個NODE都沒有該目錄則重新格式化namenodeIPC's epoch 1 is less than the last promised epoch 2
訪問其它主機超時引起可配置core-site.xml 具體的日志信息可以參考對應的日志。出現
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/l
需其它的主機可以運行，最大的可能性在于配置的出錯。那么重新拷貝一份hadoop
-
設置主機名后需要重啟才會生效 reboot -h now ?
