終于開始學習大數據了，工欲善其事必先利其器。要想學得好，平臺不可少。現在開始萬里長征第一步之搭建hadoop平臺。

要準備的東西：
（1）VMware Workstation Pro（網上隨便找個注冊碼注冊一下就好了）
（2）ubuntun18.0
（3）hadoop2.8.2
（4）jdk
（5）winscp（復制文件什么的太麻煩）
東西準備好之后開干，第一步安裝ubuntun，這里就不細說了。反正我當時沒有選擇安裝中文語言，不要問我是怎么知道。
裝好兩臺：一臺配了6G的內存，一臺2G的內存。
具體安裝流程如下：
選定一臺機器作為 Master，安裝 SSH server、安裝 Java 環境
在 Master 節點上安裝 Hadoop，并完成配置
在其他 Slave 節點上安裝 SSH server、安裝 Java 環境
將 Master 節點上的 /usr/local/hadoop 目錄復制到其他 Slave 節點上
在 Master 節點上開啟 Hadoop

打開主節點虛擬機，輸入''ifconfig'' 找到IP地址。用winscp登陸之后，將hadoop和jdk文件上傳之后，就可以開始搭建了哦。

image.png

（1）安裝Java環境，默認情況是將Java環境安裝在/usr/java 下

mkdir /usr/java 創建文件夾，將·jdk文件放入進去。
tar -zxvf jdk******* 解壓之后安裝。

配置環境信息，

vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk***
source ~/.bashrc

安裝SSH，這玩意就是用來跟SLave通信的。同樣的事情要在Slave上面再做一遍。

vim /etc/hosts
vim /etc/hostname

image.png

將名稱改成上述所示，同樣的事情在Slave上面也要再來一次。做完之后重啟一次，這樣就能看到名字的變化了。重啟好了之后：
ping Slave1 看看是否能夠聯接。

上面的操作是為了后面可以無密碼單獨SSH登陸，首先在Master節點上生成公鑰。

cd ~/.ssh
ssh-keygen -t rsa 一直回車
cp ./id_rsa.pub >> ./authorized_keys
scp ~/.ssh/id_rsa.pub caoliang2@slave1:/home/caoliang2/
mkdir ~/.ssh
cp ~/.id-rsa.pub >> ~/.ssh/authorized_keys
最后 ssh Slave1 測試一下是否能夠連接上。

以上所有都安裝好了之后，就可以開始安裝hadoop了。

在/usr/local/ 下安裝hadoop將安裝包安裝到這里，然后將其中的五個文件：slaves、[core-site.xml]、[hdfs-site.xml]、[mapred-site.xml]、[yarn-site.xml]

1.Slave
文件 slaves，將作為 DataNode 的主機名寫入該文件，每行一個，默認為 localhost，所以在偽分布式配置時，節點即作為 NameNode 也作為 DataNode。分布式配置可以保留 localhost，也可以刪掉，讓 Master 節點僅作為 NameNode 使用。

2.core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

3. hdfs-site.xml
   <configuration>
   <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>Master:50090</value>
   </property>
   <property>
   <name>dfs.replication</name>
   <value>1</value>
   </property>
   <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop/tmp/dfs/name</value>
   </property>
   <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop/tmp/dfs/data</value>
   </property>
   </configuration>

4.mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>

5.yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
所有文件全部配置好之后，將這個完整的hadoop文件夾拷到各個節點上的/usr/local/上。
在首次執行MAster節點上必須要先執行一次

/usr/local/hadoop/bin/hdfs namenode -format

接下來就可以在sbin下面執行
(1)start-dfs.sh（start—all.sh）已經不用了。
(2)start-yarn.sh
通過jps 查看各個節點的啟動情況。或者用netstat -nltp查看這個端口的啟動情況。
基本上偽分布式的hadoop已經搭建起來了。

image.png

image.png