本文章僅作為個(gè)人筆記
一：Hadoop官網(wǎng)：http://hadoop.apache.org
二：前期準(zhǔn)備工作：
? ? 生成密鑰：
? ? 運(yùn)行 ssh-keygen –t dsa 連續(xù)回車?
? ? 此時(shí)會(huì)生成id_dsa和id_dsa.pub文件，及私鑰和公鑰，運(yùn)行? cat id_dsa.pub >> authorized_keys 將公鑰信息傳入authorized_keys文件即可完成免密自登陸。運(yùn)行 ssh localhost 可進(jìn)行驗(yàn)證。
? ? ?安裝 jdk/vim/tar
? ? ? ? yum install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 –y
? ? ? ? yum install vim –y
? ? ? ? yum install tar.x86_64 -y
三：Hadoop安裝：
? ? Hadoop下載：?
? ? wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz
? ? 解壓Hadoop：
? ? ? ? ?mkdir /bigdata? ? ? ? ?
? ? ? ? tar –zxvf hadoop-3.1.0.tar.gz –C /bigdata/
四：修改Hadoop配置文件：
? ? 1.配置hadoop引用的java環(huán)境
? ? ? ? 運(yùn)行 rpm -qa | grep java 查看所有安裝的java應(yīng)用
? ? ? ? 找到帶openjdk-devel的那個(gè)選項(xiàng)，運(yùn)行 rpm -ql java-1.8.0-openjdk-devel-1.8.0.131-3.b12.el7_3.x86_64 | grep /bin/java 找到j(luò)ava的安裝位置
? ? ? ? vim /bigdata/hadoop-3.1.0/etc/hadoop/hadoop-env.sh 添加環(huán)境地址?
? ? ? ? export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.el7_3.x86_64
? ? ?2.配置hadoop核心配置
? ? ? ? ? vim /bigdata/hadoop-3.1.0/etc/hadoop/core-site.xml
? ? ? ? ? <!--配置hdfs的namenode的地址 -->
? ? ? ? ? <property>
? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? <value>hdfs://127.0.0.1:9000</value>
? ? ? ? ? </property>
? ? ? ? ? <!-- 配置Hadoop運(yùn)行時(shí)產(chǎn)生數(shù)據(jù)的存儲(chǔ)目錄，不是臨時(shí)數(shù)據(jù) -->
? ? ? ? ? <property>
? ? ? ? ? ? ? ?<name>hadoop.tmp.dir</name>
? ? ? ? ? ? ? ?<value>/bigdata/tmp</value>
? ? ? ? ?</property>
? ? ?3.配置指定HDFS存儲(chǔ)數(shù)據(jù)的副本數(shù)據(jù)量
? ? ? ? vim?/bigdata/hadoop-3.1.0/etc/hadoop/hdfs-site.xml
? ? ? ? <!-- 指定HDFS存儲(chǔ)數(shù)據(jù)的副本數(shù)據(jù)量 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>dfs.replication</name>
? ? ? ? ? ? ? ? <value>1</value>
? ? ? ? </property>
? ? 4.指定mapreduce編程模型運(yùn)行在yarn上
? ? ? ? vim /bigdata/hadoop-3.1.0/etc/hadoop/mapred-site.xml
? ? ? ? ?<!-- 指定mapreduce編程模型運(yùn)行在yarn上 -->
? ? ? ? ?<property>
? ? ? ? ? ? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? ? ? ? ? ? <value>yarn</value>
? ? ? ? ?</property>
? ? 5.指定yarn的resourcemanager的地址
? ? ? ? vim /bigdata/hadoop-3.1.0/etc/hadoop/yarn-site.xml
? ? ? ? ?<!-- 指定yarn的resourcemanager的地址 -->
? ? ? ? ?<property>
? ? ? ? ? ? ? ? <name>yarn.resourcemanager.hostname</name>
? ? ? ? ? ? ? ? <value>127.0.0.1</value>
? ? ? ? </property>
? ? ? ? <!-- mapreduce執(zhí)行shuffle是獲取數(shù)據(jù)的方式 -->
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? ? ? ? <value>mapreduce_shuffle</value>
? ? ? ?</property> ? ??
? ? 6.更改hdfs啟動(dòng)和關(guān)閉文件腳本（3.0及以上配置，3.0以下請(qǐng)自動(dòng)忽略）
? ? ? ? vim /bigdata/hadoop-3.1.0/sbin/start-dfs.sh
? ? ? ? vim /bigdata/hadoop-3.1.0/sbin/stop-dfs.sh? 加入如下內(nèi)容：
? ? ? ? HDFS_DATANODE_USER=root?
? ? ? ? HADOOP_SECURE_DN_USER=hdfs?
? ? ? ? HDFS_NAMENODE_USER=root?
? ? ? ? HDFS_SECONDARYNAMENODE_USER=root??
? ? 7.更改yarn啟動(dòng)關(guān)閉腳本（3.0及以上配置，3.0以下請(qǐng)自動(dòng)忽略）
? ? ? ? ? vim?/bigdata/hadoop-3.1.0/sbin/start-yarn.sh
? ? ? ? ? vim /bigdata/hadoop-3.1.0/sbin/stop-yarn.sh? ? 加入如下內(nèi)容：
? ? ? ? ? YARN_RESOURCEMANAGER_USER=root
? ? ? ? ? HADOOP_SECURE_DN_USER=yarn
? ? ? ? ? YARN_NODEMANAGER_USER=root?
? ? 五：初始化并啟動(dòng)
? ? ? ? 運(yùn)行 /bigdata/hadoop-3.1.0/bin/hdfs namenode -format 初始化namenode出現(xiàn)如下標(biāo)識(shí)（has been successfully formatted.）則為初始化成功，失敗的自行百度 。
? ? ? 運(yùn)行 /bigdata/hadoop-3.1.0/sbin/start-all.sh 啟動(dòng)所有服務(wù)，運(yùn)行完可再運(yùn)行jps看是否啟動(dòng)成功，成功會(huì)多出NodeManager NameNode SecondaryNameNode DataNode ResourceManager
? ? ? 訪問(wèn)服務(wù)器9870端口（例：http://192.168.64.132: 9870）可觀察當(dāng)前Hadoop狀態(tài)（2.6.5為50070端口） Live Nodes 可以查看存活節(jié)點(diǎn)及hdfs的狀態(tài)。
? ? 訪問(wèn)服務(wù)器8042端口（例：http://192.168.64.132: 8042）可查看當(dāng)前yarn管理界面（2.6.5為8088）
? ? 至此Hadoop單機(jī)偽分布式搭建完畢
如果出現(xiàn)namenode無(wú)法啟動(dòng)，將/bigdata/tmp/dfs/name/current/VERSION 的clusterID值復(fù)制到/bigdata/tmp/dfs/data/current/VERSION 中在重啟便好
