配置hadoop3.2.0
安裝前準備
1、完全分布式安裝下載
1）下載地址：[https://hadoop.apache.org/releases.html]
我們下載3.2.0版本，然后拷貝至node1上，由于我是root用戶下安裝，我存放在目錄 /root/software
沒有software文件夾的可以自己創建一個
2）進入software目錄 解壓該目錄至 /etc
tar -zxvf hadoop-3.2.0.tar.gz -C /etc/
3）解壓到 /etc 下文件夾名為hadoop-3.2.0,我們重命名為hadoop
mv ./hadoop-3.2.0/ ./hadoop
4)查看目錄內容如下
2、配置文件設置
首先我們梳理下要涉及的配置文件及對應路徑(根據我安裝目錄確定的絕對路徑)
安裝路徑為： /etc/hadoop/
| 配置文件 | 功能 | 路徑 |
|---|---|---|
| hadoop-env.sh | hadoop運行環境變量配置 | /etc/hadoop/etc/hadoop/hadoop-env.sh |
| sore-site.xml | hadoop公共屬性的配置 | /etc/hadoop/etc/hadoop/sore-site.xml |
| hdfs-site.xml | HDFS屬性配置 | /etc/hadoop/etc/hadoop/hdfs-site.xml |
| worker | DataNode 分配屬性配置 | /etc/hadoop/etc/hadoop/worker |
配置hadoop-env.sh 如下圖
vi /etc/hadoop/etc/hadoop/hadoop-env.sh
上圖紅色框線處填寫JDK的路徑
所有的安裝用戶我都使用root;
我的java_home 路徑為：usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_6
不知道的用如下命令查看
echo $JAVA_HOME
以上配置參數解釋：
JAVA_HOME 指定JDK的路徑
HDFS_NAMENODE_USER 指定操作NameNode進程的用戶
HDFS_DATANODE_USER 指定操作DataNode進程的用戶
HDFS_SECONDARYNAMENODE_USER 指定操作Secondary_NameNode的用戶
配置core-site.xml ，主要配置hadoop公共屬性 如下圖
vi /etc/hadoop/etc/hadoop/core-site.xml
以下代碼復制到<configuration></configuration>之間
<properyt>
<name>fs.defaultFs</name>
<value>hdfs://node1:9802</value>
</properyt>
<properyt>
<name>hadoop.tmp.dir</name>
<value>/opt.hadoopdata</value>
</properyt>
以上配置參數解釋：
fs.defaultFs 指NameNode所在節點，value這里配置node1；端口9820;hdfs指協議
hadoop.tmp.dir 指配置元數據存放的位置，value這里配置為/opt/hadoopdata, 后續如果查看fsiamge和edits文件，可以在這個目錄下找
手動在node1目錄下/opt/創建文件夾 hadoopdata
配置hdfs-site.xml ,主要是HDFS屬性配置
vi /etc/hadoop/etc/hadoop/hdfs-site.xml
<properyt>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:9868</value>
</properyt>
以上配置參數解釋：
dfs.namenode.secondary.http-address 配置Secondary NameNode的節點 這里配置值為 node2 端口 9868
配置workers,主要配置DataNode屬性
vi /etc/hadoop/etc/hadoop/workers
刪除默認的localhost 在其中寫入
node1
node2
node3
3、其他節點部署
以上均是在node1中完成了 NameNode,Secondary NameNode,DataNode的配置，現在將這些配置復制到其他兩個節點特定目錄。
為了方便我們三個節點目錄均設置一致
scp -r /etc/hadoop root@node2:/etc/
scp -r /etc/hadoop root@node3:/etc/
這樣hadoop配置文件就復制到其他節點上了
4、啟動
未完待續！需要交流可以私信我。
