1.下載軟件

a. 下載VirtualBox http://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe
b. 下載CentOS http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
c. 下載XShell與XFtp 請在百度自己搜索與安裝
d. 下載jdk http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.rpm
e. 下載hadoop2.7.3 -> http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2.安裝VirtualBox

下載后請自行安裝，安裝完需要自行安裝linux，此文為centos7.可自行百度教程。
網絡配置請參考我之前的文章《Virtualbox配置centos7網絡》
在此簡單的列舉主要步驟如下：

a. 在虛擬機中選用host-only網絡
b. vi /etc/sysconfig/network
NETWORKING=yes
c. vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 TYPE=Ethernet IPADDR=192.168.56.200 NETMASK=255.255.255.0
d. 修改主機名hostnamectl set-hostname master (主機名千萬不能有下劃線！)
e. 重啟網絡service network restart
f. 互相ping，看是否測試成功，若不成功，注意防火墻的影響。關閉windows或虛擬機的防火墻。
systemctl stop firewalld
systemctl disable firewalld

3.安裝JDK

rpm -ivh ./xxxxx.jdk，驗證rpm -qa | grep jdk，在命令行中敲java命令，確認jdk已經安裝完成
配置環境變量：

JAVA_HOME=/usr/java/jdk1.8.0_91
JRE_HOME=/usr/java/jdk1.8.0_91/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

使環境變量生效：

source /etc/profile

4.安裝hadoop

cd /usr/local
tar –xvf ./hadoop-2.7.3.tar.gz
把目錄修改為hadoop mv hadoop-2.7.3 hadoop
修改hadoop-env.sh
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改export JAVA_HOME 語句為 export JAVA_HOME=/usr/java/default
把/usr/local/hadoop/bin和/usr/local/hadoop/sbin設到PATH中
vi /etc/profile
追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
source /etc/profile
測試hadoop命令是否可以直接執行，任意目錄下敲hadoop

5.關閉虛擬機，復制三份

6.開機后，自行配置各自的網絡配置，參照之前步驟。

主要是要修改:/etc/hosts,注意：四個節點的ip以及hostname都加上

7.分布式集群配置

7.1 配置core-site.xml

在所有的節點上都應該修改/etc/hadoop/core-site.xml.注意：需要修改tmp目錄，不然默認是linux的tmp目錄，這樣會出現意想不到的錯誤，因為linux重啟后，會刪除/tmp目錄下的內容。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/current/tmp</value>
</property>
<property>
    <name>fs.trash.interval</name>
    <value>4320</value>
</property>

注意：必須在各個機器上一定要保持此配置的一致性。這里配置的是master的地址，與對外通訊的端口，slaves需要知道master對外提供通訊的地址與端口，所以各臺機器需要保持一致，否則會在web管理頁面發現live nodes是0.正常應該是slaves的數量。

image.png

7.2配置hdfs-site.xml

在所有節點上修改/etc/hadoop/hdfs-site.xml

<property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/local/hadoop/current/dfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/usr/local/hadoop/current/dfs/data</value>
 </property>
 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.permissions.superusergroup</name>
   <value>staff</value>
 </property>
 <property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
 </property>

7.3格式化HDFS

執行以下命令即可：

 hdfs namenode -format

image.png

8.啟動集群

在master上啟動hadoop-daemon.sh start namenode

image.png

在slave上啟動hadoop-daemon.sh start datanode

image.png

用hdfs dfsadmin -report觀察集群配置情況，如圖所示，含有三個從節點

image.png

查看端口號：netstat -ntlp

image.png

通過http://192.168.56.100:50070/web界面觀察集群運行情況

image.png

用hadoop-daemon.sh stop ...手工關閉集群

image.png

image.png

9.集中管理

9.1對集群進行集中管理，需要修改以下配置文件：

修改master上/etc/hadoop/slaves文件，每一個slave占一行

slave1
slave2
slave3

9.2使用start-dfs.sh啟動集群，并觀察結果

image.png

以上需要每個節點的密碼都需要重新輸入一下
啟動成功：

NameNode.png

DataNode.png

9.3使用stop-dfs.sh停止集群

image.png

停止集群也需要每次輸入密碼

10.配置SSH免密登錄

在上一步驟中，每次都需要輸入密碼，非常麻煩，故需要配置一下SSH的免密登錄。
執行如下步驟：

cd
ls -la
cd .ssh
ssh-keygen -t rsa (四個回車)

image.png

會用rsa算法生成私鑰id_rsa和公鑰id_rsa.pub

image.png

利用ssh-copy-id slaveX命令把生成的公鑰copy到其他的節點上。

image.png

此時在yxxy-node2節點就可以有以下文件：

image.png

以此類推，其他兩個從節點也是這樣執行即可。
再次ssh slave1

image.png

此時應該不再需要密碼
重新使用start-dfs.sh啟動集群

image.png

image.png

停止集群stop-dfs.sh

image.png

11.web管理

修改windows中的C:\Windows\System32\drivers\etc\hosts文件，可以通過名字訪問集群web界面。

image.png

12.基本操作

12.1使用hdfs dfs 或者hadoop fs命令對文件進行增刪改查的操作

hadoop fs -ls /
hadoop fs -put file /
hadoop fs -mkdir /dirname
hadoop fs -text /filename
hadoop fs -rm /filename

基本操作.png

12.2 動態擴展

設定dfs.namenode.heartbeat.recheck-interval為10000，然后停掉其中一臺slave，觀察自動復制情況。
啟動停掉的slave節點，通過網頁觀察datanode的動態添加

12.3 橫向擴展

添加新的節點，體會hadoop的橫向擴展，步驟如下：

啟動slave4，關閉防火墻，修改hostname
修改etc/hosts，加入對自己以及其他機器的解析，重啟網絡
在master中設定對于slave4的解析
啟動slave4的datanode，通過網頁進行觀察
hdfs dfsadmin –shutdownDatanode slave4:50020

13.遇到問題

在啟動集群的時候，主節點（namenode）正常啟動，datanode啟動2個，一個未啟動，查看日志顯示如下異常信息：

image.png

經過網上查詢原因說是/etc/hosts中的第一第二行不能刪除。把他加上即可，如下圖所示：

image.png