一.前期準備

1.1 Win7官網下載hadoop包

本文使用版本hadoop-2.6.5.tar.gz

1.2 配置jdk

jdk1.7:linux jdk安裝和配置

1.3 centos7集群服務器

主機名 ? ?系統 ? ? ? ? ?IP地址

master ? ?centos7 ? ?192.168.32.128

slave01 ? centos7 ? ?192.168.32.131

slave02 ? centos7 ? ? 192.168.32.132

1.4 多服務器ssh免密碼登陸

由于Hadoop啟動以后，namenode是通過SSH（Secure Shell）來啟動和停止各個節點上的各種守護進程的，這就需要在節點之間執行指令的時候是不需要輸入密碼的方式，故我們需要配置SSH使用無密碼公鑰認證的方式。

ssh:SSH免密碼登錄詳解

1.5 集群服務器名稱配置

本文默認使用root用戶登錄，未新建hadoop專用登錄名。

1.5.1 配置各個服務器ip地址對應的別名

vi /etc/hosts

#配置ip對應名

192.168.32.128 master

192.168.32.131 slave01

192.168.32.132 slave02

ip別名配置

1.5.2 本地主機名配置

vi /etc/hostname

master

本地主機名稱

三臺服務器依次修改，并重啟。

二.hadoop完全分布式集群搭建

以下操作只針對master主機服務器，其他主機服務器類似。

2.1 上傳hadoop包至 /opt/software目錄

2.2 解壓和拷貝hadoop至 /usr/local/hadoop

cd /opt/software

tar -zxvf hadoop-2.6.5.tar.gz

cp -r hadoop-2.6.5 /usr/local/hadoop

hadoop解壓和拷貝

hadoop解壓和拷貝完成

三.hadoop完全分布式集群配置

3.1 系統文件profile配置

配置系統環境變量

vi /etc/profile

#hadoop

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

系統環境配置

退出保存，重啟配置

source /etc/profile

3.2 hadoop-env.sh文件配置

cd /usr/local/hadoop/etc/hadoop

vi hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/usr/local/jdk

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"

退出保存

hadoop-env.sh環境配置

3.3 新增namenode和datanode存放，臨時目錄tmp

定位：

cd /usr/local/hadoop

mkdir -p dfs/data

mkdir -p dfs/name

mkdir -p tmp

新建目錄

3.4 修改hdfs-site.xml文件

vi hdfs-site.xml

hdfs-site.xml文件

3.5 修改core-site.xml文件

vi core-site.xml

core-site.xml文件

3.6 修改mapred-site.xml文件

目錄默認只有mapred-site.xml.template文件，復制生成mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

mapred-site.xml文件

3.7 修改yarn-site.xml文件

vi yarn-site.xml

yarn-site.xml文件

3.8 修改slaves文件

vi slaves

slaves文件

3.9 slave01和slave02服務器修改

3.9.1 hadoop文件復制

復制master中hadoop文件到slave01和slave02服務器的/usr/local目錄

scp -r /usr/local/hadoop root@slave01:/usr/local/hadoop

scp -r /usr/local/hadoop root@slave012:/usr/local/hadoop

3.9.2 ?系統環境profile配置

類似3.2 分別在salve01和slave02配置系統環境

3.9.3 目錄文件新建

類似3.3 分別在slave01和slave02新建文件目錄

3.9.4 配置文件修改

修改core-site.xml文件

將fs.defaultFs對應的value中master修改slave02

core-site.xml文件

salve01修改類似。

四.hadoop集群測試

4.1 測試命令

#啟動

start-all.sh start

#停止

stop-all.sh start

#格式化節點

hadoop namenode -format

或者hdfs namenode -format

4.2 集群測試

在master服務器運行啟動命令

進入/usr/local/hadoop目錄

4.2.1 格式化namenode

4.2.2 啟動各個節點

sbin/start-all.sh start

start-all.sh啟動所有節點

4.2.3 查看節點狀態

jps查看節點進程

master進程

slave進程

查看節點狀態

http://192.168.32.128:50070/dfshealth.html#tab-overview

節點狀態

集群節點使用

http://192.168.32.128:8088/cluster/nodes

集群節點使用

至此，hadoop完成分布式集群搭建完畢。