Spark 偽分布式部署

1. 前言

1.1 Spark 簡介

Spark 是快速和通用的大數據處理引擎。Spark的內存計算速度是Hadoop MapReduce的100倍。Spark支持Java、Scala、Python、和R開發,方便我們開發并行程序,并且我們還可以通過Scala、Python、R的Shell命令和Spark交互。Spark支持SQL、流計算和復雜分析,提供了Spark SQL、Spark Streaming、MLlib、GraphX等組件。

Paste_Image.png

Spark集群的結構如下圖所示,是個典型的Master/Slaves結構。

Paste_Image.png

Spark的部署方式包括Standalone、YARN、Mesos,在我們學習Spark編程的過程中,往往機器資源有限,于是可以采用偽分布式部署。

1.2 Spark 部署依賴

Spark Standalone的運行依賴于JDK、Scala,本來是不依賴于Hadoop的,但Spark自帶的許多演示程序都依賴于Hadoop HDFS,因此我們也部署了偽分布式的Hadoop。

本次部署是在centos 7.1上部署的,ip地址是192.168.1.91,主機名稱是vm91,已經做好了ssh免登錄。Spark各依賴組件的版本分別如下:

  • JDK 1.8.0_71
  • Scala 2.11.8
  • Hadoop 2.6.0

安裝后,設置各組件的環境變量如下:

# JDK Eenvironment Variables
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8

# Scala Eenvironment Variables
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

# Hadoop Eenvironment Variables
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop

2. Spark 部署

2.1 下載和安裝

Spark最新的穩定版本是2.0.1,下載地址是http://spark.apache.org/downloads.html。因為我們使用Hadoop版本是2.6.0.因此下載的時候選擇的是Pre-built for Hadoop 2.6

# 下載
wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz
# 解壓安裝
tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz

配置環境變量

# vi /etc/profile

輸入以下配置項,在profile的尾部,并保存退出。

# Spark Eenvironment Variables
export SPARK_HOME=/opt/spark-2.0.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

使配置生效

source /etc/profile

Spark目錄結構介紹

  • bin:提交運行Spark程序的腳本
  • conf:配置文件所在的目錄
  • data:測試數據
  • examples:樣例程序和源碼
  • jars:jar lib的目錄
  • LICENSE:顧名思義,license文件
  • licenses:依賴的第三方組件的licenses
  • logs:默認的日志目錄
  • NOTICE
  • python:Python相關的腳本、文檔和lib
  • R:R語言相關的文檔、lib
  • README.md:readme文件,對于初學者很有用
  • RELEASE:發行版本介紹
  • sbin:啟動和停止腳本目錄
  • yarn:spark-yarn-shuffer.jar目錄

2.2 配置

Spark的配置文件位于$SPARK_HOME/conf目錄下,需要修改的配置文件包括spark-env.shspark-defaults.confslaves。這三個文件,conf目錄都只有模版文件,需要我們重命名。

cd /opt/spark-2.0.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves

spark-env.sh

本次只修改了以下兩個參數。

# 指定JDK路徑
export JAVA_HOME=/opt/jdk
# 設置Master的地址
SPARK_MASTER_HOST=vm91

其余參數均采用了默認配置,包括了Hadoop配置文件的路徑、Worker的內存和CPU資源的配置等,各配置項的含義,注釋中都有說明。

spark-defaults.conf

spark-defaults.conf文件用于設定一些默認的Spark環境變量,本次設定了master的地址,和spark shuffer文件的保存路徑。

spark.master spark://vm91:7077
spark.local.dir /opt/data/spark_shuffle

slaves

slaves文件用于配置集群擁有的Worker。編輯slaves文件,輸入hostname。

vm91

以上就是Spark偽分布式的安裝配置過程;如果要分布式部署,只需要在slaves中設置其余Worker的主機名,并把本機的spark部署環境拷貝到其余主機上即可。

2.3 啟動和停止

Spark啟動后,可以通過jps命令來查看啟動的進程,正常情況下,可以看到1個Master進程和1個Worker進程。

# 啟動
$SPARK_HOME/sbin/start-all.sh

# 停止
$SPARK_HOME/sbin/stop-all.sh

# Web UI地址
http://192.168.1.91:8080

3. Spark 程序運行

3.1 提交Spark程序

使用腳本提交運行Spark程序。

[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/run-example SparkPi

可以看到屏幕上輸出了Pi的值。

Pi is roughly 3.13959569797849

3.2 Spark-shell

使用如下命令,可以進入scala的shell交互式模式。

[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/spark-shell

(完)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容