軟件環境

Ubuntu 16.04 LTS
Hadoop: 2.6.5
Spark: 1.3.0

0 寫在前面

本例中的演示均為非 root 權限，所以有些命令行需要加 sudo，如果你是 root 身份運行，請忽略 sudo。下載安裝的軟件建議都放在 home 目錄之上，比如~/workspace中，這樣比較方便，以免權限問題帶來不必要的麻煩。

1 環境準備

修改主機名

搭建1個master，2個slave的集群方案。首先修改主機名vi /etc/hostname，在master上修改為master，其中一個slave上修改為slave1，另一個同理。

設置靜態IP

在終端中輸入：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

開始編輯，填寫ip地址、子網掩碼、網關、DNS等。其中“紅框內的信息”是必須得有的。

編輯完后，保存退出。重啟網絡服務

service network restart
或
/etc/init.d/network restart

ping網關，ping外網進行測試。都能ping通表示網絡正常。

若沒有設置成功，可以在桌面環境在右擊網絡屬性進行設置。

配置hosts

在每臺主機上修改host文件（如果有三列，最后一列是主機別名）

vi /etc/hosts
10.1.1.107? ? ? master
10.1.1.108? ? ? slave1
10.1.1.109? ? ? slave2

配置之后ping一下用戶名看是否生效

ping slave1
ping slave2

SSH 免密碼登錄

安裝Openssh server

sudo apt-get install openssh-server

在所有機器上都生成私鑰和公鑰

ssh-keygen -t rsa? #一路回車

需要讓機器間都能相互訪問，就把每個機子上的id_rsa.pub發給master節點，傳輸公鑰可以用scp來傳輸。

scp ~/.ssh/id_rsa.pub spark@master:~/.ssh/id_rsa.pub.slave1

在master上，將所有公鑰加到用于認證的公鑰文件authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

將公鑰文件authorized_keys分發給每臺slave

scp ~/.ssh/authorized_keys spark@slave1:~/.ssh/

在每臺機子上驗證SSH無密碼通信

ssh master
ssh slave1
ssh slave2

如果登陸測試不成功，則可能需要修改文件authorized_keys的權限（權限的設置非常重要，因為不安全的設置安全設置,會讓你不能使用RSA功能 ）

chmod 600 ~/.ssh/authorized_keys

安裝 Java

從官網下載最新版 Java 就可以，Spark官方說明 Java 只要是6以上的版本都可以，我下的是 jdk-7u75-linux-x64.gz

在~/workspace目錄下直接解壓

tar -zxvf jdk-7u75-linux-x64.gz

修改環境變量sudo vi /etc/profile，添加下列內容，注意將home路徑替換成你的：

export WORK_SPACE=/home/spark/workspace/
export JAVA_HOME=$WORK_SPACE/jdk1.7.0_75
export JRE_HOME=/home/spark/work/jdk1.7.0_75/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

然后使環境變量生效，并驗證 Java 是否安裝成功

$ source /etc/profile? #生效環境變量
$ java -version? ? ? ? #如果打印出如下版本信息，則說明安裝成功
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

安裝 Scala

Spark官方要求 Scala 版本為 2.10.x，注意不要下錯版本，我這里下了 2.10.4，官方下載地址（http://www.scala-lang.org/download/2.10.4.html）。

同樣我們在~/workspace中解壓

tar -zxvf scala-2.10.4.tgz

再次修改環境變量sudo vi /etc/profile，添加以下內容：

export SCALA_HOME=$WORK_SPACE/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin

同樣的方法使環境變量生效，并驗證 scala 是否安裝成功

$ source /etc/profile? #生效環境變量
$ scala -version? ? ? ? #如果打印出如下版本信息，則說明安裝成功
Scala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL

安裝配置 Hadoop YARN

從這部分起，主要在master上操作，再把配置分發給slave，要保證所以機子的配置是一樣的

下載解壓

從官網（http://hadoop.apache.org/releases.html#Download）下載 hadoop2.6.0 版本

同樣我們在~/workspace中解壓

tar -zxvf hadoop-2.6.0.tar.gz

配置 Hadoop

注意路徑要修改為自己的路徑，cd ~/workspace/hadoop-2.6.0/etc/hadoop進入hadoop配置目錄，需要配置有以下7個文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml。若找不到對應的配置文件，查看是否有.template的模板文件，去掉其.template的后綴名。

1.在hadoop-env.sh中配置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75

2.在yarn-env.sh中配置JAVA_HOME

# some Java parameters
export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75

3.在slaves中配置slave節點的ip或者host（如果要將master也設為工作節點，則多加一個master）

slave1
slave2

4.修改core-site.xml

5.修改hdfs-site.xml

6.修改mapred-site.xml

7.修改yarn-site.xml

將配置好的hadoop-2.6.5文件夾分發給所有slaves吧

scp -r ~/workspace/hadoop-2.6.5 spark@slave1:~/workspace/

啟動Hadoop

在 master 上執行以下操作，就可以啟動 hadoop 了。

cd ~/workspace/hadoop-2.6.0? ? #進入hadoop目錄
bin/hadoop namenode -format? ? #格式化namenode
sbin/start-dfs.sh? ? ? ? ? ? ? #啟動dfs
sbin/start-yarn.sh? ? ? ? ? ? ? #啟動yarn

驗證 Hadoop 是否安裝成功

可以通過jps命令查看各個節點啟動的進程是否正常。在 master 上應該有以下幾個進程：

$ jps? #run on master
3407 SecondaryNameNode
3218 NameNode
3552 ResourceManager
3910 Jps

在每個slave上應該有以下幾個進程：

$ jps? #run on slaves
2072 NodeManager
2213 Jps
1962 DataNode

或者在瀏覽器中輸入 http://master:8088 ，應該有 hadoop 的管理界面出來了，并能看到 slave1 和 slave2 節點。

注意：

若出現DataNode沒有啟動的問題，檢查hdfs-site.xml對應路徑下的namenode和datanode的clusterId是否一致，若不一致則修改datanode里的VERSION文件的clusterId;

若namenode不啟動，則重新格式化namenode，可以先刪除master主節點下的data, name, namesecondary三個文件夾，刪除mapred設置路徑對應下的四個文件夾，以及刪除所有logs文件，slave同理

2Spark安裝

下載解壓

進入官方（http://spark.apache.org/downloads.html）下載地址下載最新版 Spark。我下載的是 spark-1.3.0-bin-hadoop2.4.tgz。

在~/workspace目錄下解壓

tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz
mv spark-1.3.0-bin-hadoop2.4 spark-1.3.0? ? #原來的文件名太長了，修改下

配置 Spark

cd ~/workspace/spark-1.3.0/conf? ? #進入spark配置目錄
cp spark-env.sh.template spark-env.sh? #從配置模板復制
vi spark-env.sh? ? #添加配置內容

在spark-env.sh末尾添加以下內容（這是我的配置，你可以自行修改）：

export SCALA_HOME=/home/spark/workspace/scala-2.10.4
export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75
export HADOOP_HOME=/home/spark/workspace/hadoop-2.6.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/home/spark/workspace/spark-1.3.0
SPARK_DRIVER_MEMORY=1G

注：在設置Worker進程的CPU個數和內存大小，要注意機器的實際硬件條件，如果配置的超過當前Worker節點的硬件條件，Worker進程會啟動失敗。

vi slaves在slaves文件下填上slave主機名（同理，master也可以加上）：

slave1
slave2

將配置好的spark-1.3.0文件夾分發給所有slaves吧

啟動Spark

sbin/start-all.sh

驗證 Spark 是否安裝成功

用jps檢查，在 master 上應該有以下幾個進程：

$ jps
7949 Jps
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager

在 slave 上應該有以下幾個進程：

$jps
3132 DataNode
3759 Worker
3858 Jps
3231 NodeManager

進入Spark的Web管理頁面： http://master:8080

（注意有個safe-mode模式，可能需要關閉，需要另外查）

運行示例

#本地模式兩線程運行

./bin/run-example SparkPi 10 --master local[2]

#Spark Standalone 集群模式運行

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
lib/spark-examples-1.3.0-hadoop2.4.0.jar \
100

#Spark on YARN 集群上 yarn-cluster 模式運行

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \? # can also be `yarn-client`
lib/spark-examples*.jar \
10

注意 Spark on YARN 支持兩種運行模式，分別為yarn-cluster和yarn-client，具體的區別可以看這篇博文，從廣義上講，yarn-cluster適用于生產環境；而yarn-client適用于交互和調試，也就是希望快速地看到application的輸出。

（另外，我配置完后，本地模式線程運行沒問題，但是在集群上跑的時候，不知道為什么，有時候slave的系統會重啟，有時候節點會斷開連接，如果有誰知道這有可能是什么原因導致的，請告知一下哈，萬分感謝！）