Hadoop安裝與集群配置

一、環境及軟件說明

1、虛擬機軟件:

Oracle VM VirtualBox?

2、系統鏡像:

CentOS-7-x86_64

3、JDK:

jdk-8u121-linux-x64.tar.gz

4、hadoop安裝包:

hadoop-2.7.3.tar.gz


二、配置網絡

1. 選用host-only網絡

2. vi /etc/sysconfig/network

NETWORKING=yes

3. vi /etc/sysconfig/network-scripts/ifcfg-enp0s3?

TYPE=Ethernet?

IPADDR=192.168.56.100

?NETMASK=255.255.255.0

4. 修改主機名hostnamectl set-hostname master (主機名千萬不能有下劃線!)

5. 重啟網絡service network restart,使配置生效

6. 互相ping,看是否測試成功,若不成功,注意防火墻的影響。關閉windows或虛擬機的防火墻。

systemctl stop firewalld //關閉防火墻

systemctl disable firewalld //永久關閉防火墻(若不永久關閉防火墻下次開機防火墻還是開啟的)


三.安裝JDK

1.使用xshell連接虛擬機,xftp上傳jdk到 /usr/local/java下,并解壓

2.輸入java驗證安裝是否成功。

3.配置環境變量:vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_91

JRE_HOME=/usr/java/jdk1.8.0_91/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

4.使環境變量生效

source /etc/profile


驗證JDK是否安裝成功


安裝HADOOP

cd /usr/local

tar –xvf ./hadoop-2.7.3.tar.gz

把目錄修改為hadoop mv hadoop-2.7.3 hadoop

修改hadoop-env.sh

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

修改export JAVA_HOME 語句為 export JAVA_HOME=/usr/java/default

把/usr/local/hadoop/bin和/usr/local/hadoop/sbin設到PATH中

vi /etc/profile

追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin

source /etc/profile (使配置生效)

測試hadoop命令是否可以直接執行,任意目錄敲hadoop


測試命令,是否安裝成功!

安裝成功后復制三分虛擬機,這里注意各個虛擬機的MAC地址,將復制出來的虛擬機的MAC刷新幾下


刷新MAC地址

主要是要修改:/etc/hosts,注意:四個節點的ip以及hostname都加上

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容