一、基礎環境搭建:
1、安裝虛擬機及linux環境
? ? ? ? ? ? 虛擬機軟件:可選擇vmware或者virtualbox;
? ? ? ? ? ? linux系統:可選擇ubuntu或者centos;
2、安裝安裝JDK并配置環境變量;
? ? ? ? ? ? JDK下載地址:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
? ? ? ? ? ? ?安裝JDK:rpm -ihv jdk-7u71-linux-x64.rpm
? ? ? ? ? ? ?配置環境變量:export JAVA_HOME=/usr/java/jdk1.7.0_71
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?export PATH=$PATH:$JAVA_HOME/bin
3、修改主機名,并關閉防火墻:
? ? ? ? ? ? 修改主機名:vi /etc/sysconfig/network
? ? ? ? ? ? 關閉防火墻:service iptables stop
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? chkconfig iptables off
4、配置免密碼登陸:
? ? ? ? ? ? ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
? ? ? ? ? ? cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
二、安裝hadoop:
1、下載hadoop2.60安裝包,并解壓;
? ? ? ? ? tar -zxvf hadoop-2.6.0.tar.gz
2、修改配置文件,可查看文檔;
core-site.xml
? ? ? ? <property>
? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? <value>hdfs://localhost:9000</value>
? ? ? ? </property>
hdfs-site.xml
? ? ? ? <property>
? ? ? ? ? ? ? ?<name></name>
? ? ? ? </property>
? ? ? ? dfs.replication1dfs.permissionsfalse
3、格式化namenode;
? ? ? ? ? hdfs namenode -format
4、執行腳本,啟動進程,配置環境變量。
? ? ? ? ? ./start-dfs.sh? ? ? ? ? ? ./start-yarn.sh
三、hadoop命令介紹:
可查看官網:hadoop.apache.org
版本:http://archive.apache.org/dist
常見命令:hadoop、hdfs、mapred
提交任務、查看命令狀態、殺任務等。