1.查看是否安裝了Java
以后會運行jar包,肯定需要java的運行環境。查看java版本,在terminal輸入:java -version
2.下載hadoop
地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
本次下載中間版本,hadoop-2.7.3版本.用第二個鏡像下載速度較快
3.配置mac os 自身環境
這個主要是配置ssh環境。先在terminal里面輸入ssh localhost
方法一:當前用戶沒有權限。這個多半是系統為安全考慮,默認設置的。
更改設置如下:進入系統偏好設置 --> 共享 --> 勾選遠程登錄,并設置允許訪問:所有用戶。
再次輸入“ssh localhost",再輸入密碼并確認之后,可以看到ssh成功。
方法二:
$ ssh-keygen-t dsa-P''-f~/.ssh/id_dsa
$ cat/.ssh/id_dsa.pub>>/.ssh/authorized_keys
無論方法一,還是方法二這里面還有一個麻煩,就是每次都會要求輸入用戶密碼。//ToDo(待補充解決方案)
4.設置環境變量
①在terminal輸入:touch ~/.bash_profile
打開文件:vim ~/.bash_profile
export HADOOP_HOME=/Users/hadoop/hadoop-1.2.1(根據你自己的目錄進行設定)
export PATH=$PATH:$HADOOP_HOME/bin
②保存文件
③設置變量立即生效命令:source ~/.bash_profile
④查看設置變量設置是否成功:hadoop version
5.配置Hadoop目錄下的文件
路徑下:hadoop-2.7.3/etc/hadoop
① Hadoop hadoop-env.sh 配置
JAVA_HOME={your java home directory}
HADOOP_PREFIX={your hadoop distribution directory}
說明:查看JAVA_HOME 命令:/usr/libexec/java_home# set to the root of your Hadoop
說明:HADOOP_PREFIX 你本地hadoop路徑 xxxx/hadoop-2.7.3/
② core-site.xml文件配置
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
③ hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
④ mapred-site.xml (此文件默認有mapred-site.xml.template,拷貝使用)
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
⑤ yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>
</property>
⑥ 安裝HDFS
xxxxx(你機器hadoop的目錄)/hadoop-2.7.3/bin/hadoop namenode -format
..........中間省略.....
HDFS 安裝成功
⑦ 啟動hadoop
xxxx/hadoop-2.7.3
1)啟動NameNode和DataNode的守護進程
(中間提示輸入password ,需要輸入mac開機密碼)
$ sbin/start-dfs.sh
2)啟動ResourceManager和NodeManager的守護進程。
(中間提示輸入password ,需要輸入mac開機密碼)
$ sbin/start-yarn.sh
3)訪問localhost:50070和localhost:8088測試是否正常
6 運行Hadoop樣例程序
/hadoop-2.7.3(在此目錄下運行以下命令)
①創建hdfs目錄:
$ bin/hdfs dfs -mkdir/user
$ bin/hdfs dfs -mkdir/user/{username}
說明:username 自己設置 (#make sure you add correct username here)
②拷貝一些文件到input目錄:
$ bin/hdfs dfs-put etc/hadoop input
③運行樣例:
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jargrep input output'dfs[a-z.]+'
hadoop-mapreduce-examples-2.7.3.jar此文件需要版本需要自己查看 ,路徑為:xxxx/hadoop-2.7.3/share/hadoop/mapreduce
..........中間省略.....
④在localhost:50070中的Utilities標簽下找到/user/{username}目錄,可以看到樣例運行成功。
7 停止Hadoop
/hadoop-2.7.3(在此目錄下運行以下命令)
$ sbin/stop-yarn.sh
$ sbin/stop-dfs.sh
本文參考:http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html