本文內容來自于尚硅谷大數據課程，此文歸納總結方便自己理解記憶

1.hadoop運行環境搭建

（1）安裝虛擬機IP地址 172.16.45.200、主機名稱 hadoop100、內存 4G、硬盤50G

（2）安裝epel-release

[root@hadoop100 ~]# yum install -y epel-release

注：Extra Packages for Enterprise Linux是為“紅帽系”的操作系統提供額外的軟件包，適用于RHEL、CentOS和Scientific Linux。相當于是一個軟件倉庫，大多數rpm包在官方 repository 中是找不到的）

（3）如果Linux安裝的是最小系統版，還需要安裝如下工具

net-tool：工具包集合，包含ifconfig等命令

vim：編輯器

[root@hadoop100 ~]# yum install -y net-tools 
[root@hadoop100 ~]# yum install -y vim

（4）關閉防火墻，關閉防火墻開機自啟

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld

（5）創建用戶和密碼

[root@hadoop100 ~]# useradd zy
[root@hadoop100 ~]# passwd zy

（6）配置zy用戶具有root權限，方便后期加sudo執行root權限的命令

配置后sudo命令不用輸入密碼了

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers文件，在%wheel這行下面添加一行，如下所示：

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
zy   ALL=(ALL)     NOPASSWD:ALL

注意：zy這一行不要直接放到root行下面，因為所有用戶都屬于wheel組，你先配置了zy具有免密功能，但是程序執行到%wheel行時，該功能又被覆蓋回需要密碼。所以 zy 要放到%wheel這行下面。

（7）重啟虛擬機

[root@hadoop100 ~]# reboot

2.JDK安裝

卸載虛擬機自帶的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

• rpm -qa：查詢所安裝的所有rpm軟件包

• grep -i：忽略大小寫

• xargs -n1：表示每次只傳遞一個參數

• rpm -e –nodeps：強制卸載軟件

配置JDK環境變量

/etc/profile 文件里面會掃描 /etc/profile.d 文件夾下 *.sh

vim /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

$ source /etc/profile
$ java -version

3.hadoop 安裝

Hadoop下載地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
解壓

$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

添加到環境變量

$ sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

$ source /etc/profile
$ hadoop version
Hadoop 3.1.3

如果hadoop命令不能用重啟虛擬機

4.目錄結構

drwxr-xr-x. 2 zy zy    183 9月  12 2019 bin
drwxr-xr-x. 3 zy zy     20 9月  12 2019 etc
drwxr-xr-x. 2 zy zy    106 9月  12 2019 include
drwxr-xr-x. 3 zy zy     20 9月  12 2019 lib
drwxr-xr-x. 4 zy zy    288 9月  12 2019 libexec
-rw-rw-r--. 1 zy zy 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 zy zy  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 zy zy   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 zy zy   4096 9月  12 2019 sbin
drwxr-xr-x. 4 zy zy     31 9月  12 2019 share

（1）bin目錄：存放對Hadoop相關服務（hdfs，yarn，mapred）進行操作的腳本

（2）etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件

（3）lib目錄：存放Hadoop的本地庫（對數據進行壓縮解壓縮功能）

（4）sbin目錄：存放啟動或停止Hadoop相關服務的腳本

（5）share目錄：存放Hadoop的依賴jar包、文檔、和官方案例

5.集群安裝（分布式運行模式）

集群部署規劃

NameNode和SecondaryNameNode不要安裝在同一臺服務器

ResourceManager也很消耗內存，不要和NameNode、SecondaryNameNode配置在同一臺機器上。

配置文件說明

Hadoop配置文件分兩類：默認配置文件和自定義配置文件，只有用戶想修改某一默認配置值時，才需要修改自定義配置文件，更改相應屬性值。

默認配置文件

自定義配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四個配置文件存放在$HADOOP_HOME/etc/hadoop這個路徑上，用戶可以根據項目需求重新進行修改配置

配置集群

在$HADOOP_HOME/etc/hadoop/ 目錄下，修改

core-site.xml

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop數據的存儲目錄，默認為/tmp臨時文件會定期刪除 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS網頁登錄使用的靜態用戶為zy -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>zy</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 環境變量的繼承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

配置日志聚集

日志聚集概念：應用運行完成以后，將程序運行日志信息上傳到HDFS系統上

日志聚集.png

上面配置中添加如下

<!-- 開啟日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 設置日志聚集服務器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 設置日志保留時間為7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

注意：如果新開啟日志聚集功能，需要重新啟動NodeManager 、ResourceManager和HistoryServer。

mapred-site.xml

<configuration>
    <!-- 指定MapReduce程序運行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置歷史服務器

為了查看程序的歷史運行情況，上面內容添加

<!-- 歷史服務器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 歷史服務器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

配置workers

$ vim $HADOOP_HOME/etc/hadoop/workers

在該文件中增加如下內容（其中存在的localhost需刪除，不然后面啟動停止會報錯）

hadoop102
hadoop103
hadoop104

注意：該文件中添加的內容結尾不允許有空格，文件中不允許有空行

注意：以上配置修改在所有節點（服務器）下都要做此更改

6.啟動集群

啟動步驟

（1）格式化namenode

如果集群是第一次啟動，需要在hadoop102節點格式化NameNode（注意：格式化NameNode，會產生新的集群id，導致NameNode和DataNode的集群id不一致，集群找不到已往數據。如果集群在運行過程中報錯，需要重新格式化NameNode的話，一定要先停止namenode和datanode進程，并且要刪除所有機器的data和logs目錄，然后再進行格式化。）

$ hdfs namenode -format

在 hadoop-3.1.3/data/dfs/name/current/VERSION 文件中

namespaceID=971897220
clusterID=CID-7eeb7676-bc94-4ec7-ab86-20bc5881a398
cTime=1697971819574
storageType=NAME_NODE
blockpoolID=BP-2032331130-172.16.45.202-1697971819574
layoutVersion=-64

（2）啟動HDFS

$ sbin/start-dfs.sh

（3）在配置了ResourceManager的節點（hadoop103）啟動YARN

$ sbin/start-yarn.sh

hdfs的NameNode

http://hadoop102:9870 查看HDFS上存儲的數據信息

# 上傳小文件
$ hadoop fs -mkdir /input # 必須加/
$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

# 上傳大文件
$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

# 文件存放位置
[zy@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-2032331130-172.16.45.202-1697971819574/current/finalized/subdir0/subdir0

namenode.png

Size 文件實際占用大小

Block Size 表示存儲文件塊最大128MB，文件大小超過，新開個文件繼續存儲（只是表示存儲塊最大限制）

下圖為jdk文件詳情，用了兩個塊，第一個塊Block0 128m，第二個塊Block1存剩下數據大小

block.png

yarn的ResourceManager

http://hadoop103:8088 查看YARN上運行的Job信息
重啟YARN 需要重新計算任務才會出現下面圖片中application

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

resourceManager.png

配置了歷史服務器上圖History可以點擊跳轉到下圖任務詳情，否則點擊出現錯誤頁面

歷史任務

http://hadoop102:19888/jobhistory

joblist.png

log.png

配置了日志聚集上圖logs可以點擊跳轉到下圖，否則點擊出現錯誤頁面
日志詳情

logDetail.png

7.集群啟動停止方式

各個模塊分開啟動/停止（配置ssh是前提）（常用）

（1）整體啟動/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整體啟動/停止YARN

start-yarn.sh/stop-yarn.sh

各個服務組件逐一啟動/停止

（1）分別啟動/停止HDFS組件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）啟動/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

腳本

啟動停止腳本

myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 啟動 hadoop集群 ==================="

        echo " --------------- 啟動 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 啟動 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 啟動 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 關閉 hadoop集群 ==================="

        echo " --------------- 關閉 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 關閉 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 關閉 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

jpsall腳本

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

8.常用端口總結