1. 前言
1.1 Spark 簡介
Spark 是快速和通用的大數據處理引擎。Spark的內存計算速度是Hadoop MapReduce的100倍。Spark支持Java、Scala、Python、和R開發,方便我們開發并行程序,并且我們還可以通過Scala、Python、R的Shell命令和Spark交互。Spark支持SQL、流計算和復雜分析,提供了Spark SQL、Spark Streaming、MLlib、GraphX等組件。
Spark集群的結構如下圖所示,是個典型的Master/Slaves結構。
Spark的部署方式包括Standalone、YARN、Mesos,在我們學習Spark編程的過程中,往往機器資源有限,于是可以采用偽分布式部署。
1.2 Spark 部署依賴
Spark Standalone的運行依賴于JDK、Scala,本來是不依賴于Hadoop的,但Spark自帶的許多演示程序都依賴于Hadoop HDFS,因此我們也部署了偽分布式的Hadoop。
本次部署是在centos 7.1上部署的,ip地址是192.168.1.91,主機名稱是vm91,已經做好了ssh免登錄。Spark各依賴組件的版本分別如下:
- JDK 1.8.0_71
- Scala 2.11.8
- Hadoop 2.6.0
安裝后,設置各組件的環境變量如下:
# JDK Eenvironment Variables
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8
# Scala Eenvironment Variables
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
# Hadoop Eenvironment Variables
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop
2. Spark 部署
2.1 下載和安裝
Spark最新的穩定版本是2.0.1,下載地址是http://spark.apache.org/downloads.html。因為我們使用Hadoop版本是2.6.0.因此下載的時候選擇的是Pre-built for Hadoop 2.6
。
# 下載
wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz
# 解壓安裝
tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz
配置環境變量
# vi /etc/profile
輸入以下配置項,在profile的尾部,并保存退出。
# Spark Eenvironment Variables
export SPARK_HOME=/opt/spark-2.0.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH
使配置生效
source /etc/profile
Spark目錄結構介紹
- bin:提交運行Spark程序的腳本
- conf:配置文件所在的目錄
- data:測試數據
- examples:樣例程序和源碼
- jars:jar lib的目錄
- LICENSE:顧名思義,license文件
- licenses:依賴的第三方組件的licenses
- logs:默認的日志目錄
- NOTICE
- python:Python相關的腳本、文檔和lib
- R:R語言相關的文檔、lib
- README.md:readme文件,對于初學者很有用
- RELEASE:發行版本介紹
- sbin:啟動和停止腳本目錄
- yarn:spark-yarn-shuffer.jar目錄
2.2 配置
Spark的配置文件位于$SPARK_HOME/conf目錄下,需要修改的配置文件包括spark-env.sh
、spark-defaults.conf
和slaves
。這三個文件,conf目錄都只有模版文件,需要我們重命名。
cd /opt/spark-2.0.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves
spark-env.sh
本次只修改了以下兩個參數。
# 指定JDK路徑
export JAVA_HOME=/opt/jdk
# 設置Master的地址
SPARK_MASTER_HOST=vm91
其余參數均采用了默認配置,包括了Hadoop配置文件的路徑、Worker的內存和CPU資源的配置等,各配置項的含義,注釋中都有說明。
spark-defaults.conf
spark-defaults.conf文件用于設定一些默認的Spark環境變量,本次設定了master的地址,和spark shuffer文件的保存路徑。
spark.master spark://vm91:7077
spark.local.dir /opt/data/spark_shuffle
slaves
slaves文件用于配置集群擁有的Worker。編輯slaves文件,輸入hostname。
vm91
以上就是Spark偽分布式的安裝配置過程;如果要分布式部署,只需要在slaves中設置其余Worker的主機名,并把本機的spark部署環境拷貝到其余主機上即可。
2.3 啟動和停止
Spark啟動后,可以通過jps
命令來查看啟動的進程,正常情況下,可以看到1個Master進程和1個Worker進程。
# 啟動
$SPARK_HOME/sbin/start-all.sh
# 停止
$SPARK_HOME/sbin/stop-all.sh
# Web UI地址
http://192.168.1.91:8080
3. Spark 程序運行
3.1 提交Spark程序
使用腳本提交運行Spark程序。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/run-example SparkPi
可以看到屏幕上輸出了Pi的值。
Pi is roughly 3.13959569797849
3.2 Spark-shell
使用如下命令,可以進入scala的shell交互式模式。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/spark-shell
(完)