Spark 運行模式----Standalone模式

構建一個由Master + Slave 構成的 Spark 集群,Spark 運行在集群中。

這個要和Hadoop 中的 Standalone 區別開來. 這里的 Standalone 是指只用 Spark 來搭建一個集群, 不需要借助其他的框架.是相對于 Yarn 和 Mesos 來說的.

進入Spark/conf配置文件目錄下,配置spark-evn.sh

cd?conf/?

mv?spark-env.sh.template spark-env.sh

1. 在spark-env.sh文件中配置如下內容:

SPARK_MASTER_HOST=hadoop102

SPARK_MASTER_PORT=7077#默認端口就是7077, 可以省略不配

2. 修改slaves文件, 添加 worker 節點

mv?slaves.template slaves

3. 在slaves文件中配置如下內容:

hadoop103

hadoop104

4. sbin/spark-config.sh中添加入JAVA_HOME

vi?spark-config.sh

export JAVA_HOME=/opt/module/jdk8

5. 分發?spark-standalone

scp -r /opt/module/spark?hadoop103:/opt/module/

scp -r /opt/module/spark?hadoop104:/opt/module/

scp /etc/profile root@hadoop103:/etc

scp /etc/profile root@hadoop104:/etc source?

/etc/profile 刷新配置

6. 啟動Spark集群

sbin/start-all.sh

7.使用jps查看,或者在網頁中查看Spark集群情況

http://192.168.1.102:8080/



?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。