一、集群基礎環境配置
- 關閉防火墻
- 配置ntp服務時鐘，與主節點同步: server 90.0.25.1
- 配置SSH免密登錄
- 配置hosts文件：vim /etc/hosts
- 安裝jdk
二、Hadoop配置
Hadoop安裝包
修改slaves配置,分發到各個節點
把/etc/hadoop下的配置文件發送到新節點，并新建相關目錄：mkdir tmp journaldata name data logs pids
注意修改/etc/profile配置文件，并使配置生效
在新節點上啟動DataNode：./hadoop-daemon.sh start datanode
在主節點上執行：hdfs dfsadmin -refreshNodes
查看列表信息：hdfs dfsadmin -report
設置負載均衡帶寬：hdfs dfsadmin -setBalancerBandwidth 67108864
數據傳輸帶寬默認為1M，這里設置為64M
- hdfs負載均衡：./sbin/start-balancer.sh -threshold 1
磁盤總利用率與各個節點的利用率之差的絕對值不超過1%。
執行該操作后，會看到其他節點上的block轉移到新加入的節點上。
小插曲：在生產環境上，執行以上操作后隨即啟動Regionserver，導致平臺無法訪問HBase，業務受到影響。嚇得我立馬停掉新的Regionserver平臺才得以恢復。
原因：這里需要等待Hadoop集群blocks達到平衡。
三、HBase配置
- HBase安裝包，解壓
- 修改/etc/profile配置文件，并使其生效
- 修改regionservers的配置，并發送到所有節點
- 將其他節點的conf目錄發送到新節點
- 創建相關目錄：mkdir pids tmp logs
- 啟動regionserver：./hbase-daemon.sh start regionserver
- 負載均衡，進入hbase shell執行：balance_switch true
