聲明:作者原創,轉載注明出處。
作者:帥氣陳吃蘋果
1、下載Hadoop壓縮包
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
2、解壓Hadoop壓縮包
mkdir /bigdata
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdata
3、配置Hadoop(偽分布式)
cd /bigdata/hadoop-2.6.5/etc/hadoop
1)vim hadoop-env.xml
export JAVA_HOME=/usr/lib/jvm/java
2)vim core-site.xml
<configuration>
<!-- 配置hdfs的namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
<property>
<!-- 配置Hadoop運行時產生數據的存儲目錄,注意:不是臨時數據 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/local/var/hadoop/tmp/hadoop~${user.name}</value>
</property>
</configuration>
3)vim hdfs-site.xml
<configuration>
<!-- 指定HDFS存儲數據的副本數據量-->
<property>
<name>dfs.replication</name>
<value>1</value>
<property>
</configuration>
4)vim mapred-site.xml
<configuration>
<!-- 指定MapReduce編程模型運行在YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<property>
</configuration>
5)vim yarn-site.xml
<configuration>
<!-- 指定YARN的resourcemanager的地址(偽分布式時就是主機名,localhost或IP地址都行) -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
<property>
<!-- MapReduce執行shuffle時獲取數據的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<property>
</configuration>
6)vim /etc/hosts
添加主機ip與主機名的映射:
192.168.29.188 master
4、HDFS初始化
即格式化HDFS(的namenode),
cd hadoop/hadoop-2.6.5/bin
hadoop namenode -format
5、啟動Hadoop集群
cd hadoop/hadoop-2.6.5/sbin
//在hadoop-2.x中,推薦使用start-dfs.sh和start-yarn.sh來分別啟動
start-all.sh
6、使用jps命令查看進程是否存在
8707 DataNode
8580 NameNode
9013 ResourceManager
8873 SecondaryNameNode
18057 Application
9308 NodeManager
17644 Jps
7、查看WEB界面
訪問HDFS的管理界面:ip:50070
訪問YARN的管理界面:ip:8088
最后,歡迎指正。喜歡的話,點個贊唄,請你吃蘋果。