1. 前言
1.1 Spark 簡介
Spark 是快速和通用的大數據處理引擎。Spark的內存計算速度是Hadoop MapReduce的100倍。Spark支持Java、Scala、Python、和R開發，方便我們開發并行程序，并且我們還可以通過Scala、Python、R的Shell命令和Spark交互。Spark支持SQL、流計算和復雜分析，提供了Spark SQL、Spark Streaming、MLlib、GraphX等組件。
Spark集群的結構如下圖所示，是個典型的Master/Slaves結構。
Spark的部署方式包括Standalone、YARN、Mesos，在我們學習Spark編程的過程中，往往機器資源有限，于是可以采用偽分布式部署。
1.2 Spark 部署依賴
Spark Standalone的運行依賴于JDK、Scala，本來是不依賴于Hadoop的，但Spark自帶的許多演示程序都依賴于Hadoop HDFS，因此我們也部署了偽分布式的Hadoop。
本次部署是在centos 7.1上部署的，ip地址是192.168.1.91，主機名稱是vm91，已經做好了ssh免登錄。Spark各依賴組件的版本分別如下：
- JDK 1.8.0_71
- Scala 2.11.8
- Hadoop 2.6.0
安裝后，設置各組件的環境變量如下：
# JDK Eenvironment Variables
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8
# Scala Eenvironment Variables
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
# Hadoop Eenvironment Variables
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop
2. Spark 部署
2.1 下載和安裝
Spark最新的穩定版本是2.0.1，下載地址是http://spark.apache.org/downloads.html。因為我們使用Hadoop版本是2.6.0.因此下載的時候選擇的是Pre-built for Hadoop 2.6。
# 下載
wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz
# 解壓安裝
tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz
配置環境變量
# vi /etc/profile
輸入以下配置項，在profile的尾部，并保存退出。
# Spark Eenvironment Variables
export SPARK_HOME=/opt/spark-2.0.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH
使配置生效
source /etc/profile
Spark目錄結構介紹
- bin：提交運行Spark程序的腳本
- conf：配置文件所在的目錄
- data：測試數據
- examples：樣例程序和源碼
- jars：jar lib的目錄
- LICENSE：顧名思義，license文件
- licenses：依賴的第三方組件的licenses
- logs：默認的日志目錄
- NOTICE
- python：Python相關的腳本、文檔和lib
- R：R語言相關的文檔、lib
- README.md：readme文件，對于初學者很有用
- RELEASE：發行版本介紹
- sbin：啟動和停止腳本目錄
- yarn：spark-yarn-shuffer.jar目錄
2.2 配置
Spark的配置文件位于$SPARK_HOME/conf目錄下，需要修改的配置文件包括spark-env.sh、spark-defaults.conf和slaves。這三個文件，conf目錄都只有模版文件，需要我們重命名。
cd /opt/spark-2.0.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves
spark-env.sh
本次只修改了以下兩個參數。
# 指定JDK路徑
export JAVA_HOME=/opt/jdk
# 設置Master的地址
SPARK_MASTER_HOST=vm91
其余參數均采用了默認配置，包括了Hadoop配置文件的路徑、Worker的內存和CPU資源的配置等，各配置項的含義，注釋中都有說明。
spark-defaults.conf
spark-defaults.conf文件用于設定一些默認的Spark環境變量，本次設定了master的地址，和spark shuffer文件的保存路徑。
spark.master spark://vm91:7077
spark.local.dir /opt/data/spark_shuffle
slaves
slaves文件用于配置集群擁有的Worker。編輯slaves文件，輸入hostname。
vm91
以上就是Spark偽分布式的安裝配置過程；如果要分布式部署，只需要在slaves中設置其余Worker的主機名，并把本機的spark部署環境拷貝到其余主機上即可。
2.3 啟動和停止
Spark啟動后，可以通過jps命令來查看啟動的進程，正常情況下，可以看到1個Master進程和1個Worker進程。
# 啟動
$SPARK_HOME/sbin/start-all.sh
# 停止
$SPARK_HOME/sbin/stop-all.sh
# Web UI地址
http://192.168.1.91:8080
3. Spark 程序運行
3.1 提交Spark程序
使用腳本提交運行Spark程序。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/run-example SparkPi
可以看到屏幕上輸出了Pi的值。
Pi is roughly 3.13959569797849
3.2 Spark-shell
使用如下命令，可以進入scala的shell交互式模式。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/spark-shell
（完）
