Hadoop
1.Hadoop是什么
Hadoop是Apache開源軟甲之一，由Doug Cutting（Lucene編寫者）所編寫，主要用于海量數(shù)據(jù)的存儲(chǔ)和運(yùn)算。
2.Hadoop的安裝
在安裝Hadoop之前要先安裝jdk
jdk的安裝：
例如jdk的版本為jdk-7u25-linux-x86_64.tar.gz
①將jdk軟件上傳到linux服務(wù)器。
②使用指令解壓： tar -xvf jdk-7u25-linux-x86_64.tar.gz
③在/etc/profile或者/etc/environment 進(jìn)行環(huán)境變量的配置
JAVA_HOME=/usr/local/soft/jdk1.8.0_151
在PATH變量后添加/usr/local/soft/jdk1.8.0_151/bin
Hadoop的安裝
①將Hadoop軟件上傳到服務(wù)器
②在在/etc/profile或者/etc/environment 進(jìn)行環(huán)境變量的配置
/usr/local/soft/hadoop-3.0.0
在PATH變量后面添加/usr/local/soft/hadoop-3.0.0/bin:/usr/local/soft/hadoop-3.0.0/sbin
最后更新配置文件source /etc/environment
使用 java -version 驗(yàn)證java是否配置成功
使用hadoop version 驗(yàn)證hadoop是否配置成功
3.Hadoop的配置
1）Hadoop的配置模式分為三種：
獨(dú)立模式
偽分布模式
完全分布模式
2）三種配置模式的定義：
獨(dú)立模式：
沒(méi)有運(yùn)行的守護(hù)程序，所有程序運(yùn)行在一個(gè)JVM中。適合開發(fā)期間運(yùn)行MapReduce程序，源于他的易于測(cè)試和調(diào)試
偽分布模式：
守護(hù)程序運(yùn)行在本地主機(jī)，模擬一個(gè)小規(guī)模集群。
完全分布模式：
守護(hù)程序運(yùn)行在多個(gè)主機(jī)的集群上
3）三種配置模式的配置：
①獨(dú)立模式：
什么也不需要做，默認(rèn)就是獨(dú)立模式。
②偽分布模式的配置：
1）先進(jìn)入到hadoop的配置文件中：cd /usr/local/soft/hadoop-3.0.0/etc/hadoop
2)修改四種配置文件的內(nèi)容：
core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020/</value>
</property>
<property>
<name>hadoop.tep.dir</name>
<value>/ddhome/tep/data</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2）安裝ssh，使用指令：sudo apt-get install ssh
安裝完成后，會(huì)自動(dòng)生成ssh-keygen 執(zhí)行文件 ：使用命令 which ssh-keygen 可查看
使用指令：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 生成公鑰和私鑰
將公鑰數(shù)據(jù)輸出到authorized_keys文件 ，使用指令：cat id_rsa.pub >> ~/.ssh/authorized_keys
第一次登錄（使用輸入yes確定）：ssh localhost
退出登錄：exit
第二次登錄（不需要輸入yes確定） ssh localhost
3）最后操作：
格式化文件系統(tǒng)：
hadoop namenode -format
指定配置目錄：
啟動(dòng)進(jìn)程時(shí)設(shè)置指定目錄：
啟動(dòng)hadoop命令：start-all.sh
驗(yàn)證集群是否啟動(dòng)成功，使用jps命令：
jps:
NameNode
SecondaryNameNode
DataNode
JobTracker
TaskTracker
通過(guò)瀏覽器訪問(wèn)：
http://192.168.25.132:50070 (hdfs管理界面)
http://192.168.25.132:50030 (mr管理界面)
