五、Scala 和Spark 安裝
Scala的安裝比較簡(jiǎn)單，下載安裝包，解壓，然后配置環(huán)境變量即可使用。
1. Scala 安裝
下載Scala http://www.scala-lang.org/download/2.11.6.html
為保持統(tǒng)一，我們將安裝的程序都放在/usr目錄下，在/usr目錄下創(chuàng)建Scala文件夾
sudo mkdir /usr/scala
解壓
tar zxvf scala-2.11.6.tgz
sudo mv scala-2.11.6.tgz /usr/scala/
在/etc/profile中添加scala環(huán)境變量
sudo vim /etc/profile
添加以下內(nèi)容：
export SCALA_HOME=/usr/scala/scala-2.11.6
export PATH=$PATH:$SCALA_HOME/bin
使修改立刻生效：
source /etc/profile
測(cè)試Scala是否安裝成功
scala -version // 查看Scala的版本
2. Spark安裝
spark的安裝和hadoop有些相近，添加環(huán)境變量，修改配置文件。
2.1 spark下載
下載spark：http://www-eu.apache.org/dist/spark/spark-1.6.2/
這里我們下載：spark-1.6.2-bin-hadoop2.6.tgz
我的程序放置路徑為：
解壓：
tar zxvf spark-1.6.2-bin-hadoop2.6.tgz
2.2 添加環(huán)境變量
在/etc/profile中添加spark環(huán)境變量，如下：
export SPARK_HOME=/home/hadoop/package/spark-1.6.2-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
是的修改立刻生效
source /etc/profile
2.3 修改配置文件
配置文件在spark-1.6.2-bin-hadoop2.6/conf 文件夾下，因此進(jìn)入文件配置
2.3.1 修改spark-env.sh
conf文件下只有spark-env.sh.template，因此我們copy一份
cp spark-env.sh.template spark-env.sh
該文件中是一個(gè)模板文件里面有沒有配置，我們?cè)倨渲刑砑觠ava，Scala，hadoop，spark的環(huán)境變量，以使其能夠正常到運(yùn)行，具體添加內(nèi)容為：
export JAVA_HOME=/usr/java/jdk1.8.0_91
export SCALA_HOME=/usr/scala/scala-2.11.6
export SPARK_MASTER=192.168.56.112
export SPARK_WORKER_MEMORY=1g
export HADOOP_HOME=/home/hadoop/package/hadoop-2.7.2/etc/hadoop
2.3.2 修改slaves
操作步驟同上，
cp slaves.template slaves
添加以下內(nèi)容：
master
slave1
slave2
至此所有安裝都已完成，剩下的就是用同樣的方法去配置另外的機(jī)器，由于其他機(jī)器是clone出來的，所以路徑都一樣，直接將 配置好的spark文件夾和/usr/scala 文件夾和環(huán)境變量文件/etc/profile，copy到其他機(jī)器即可。
3. 測(cè)試spark集群
在master機(jī)器上啟動(dòng)hadoop
./hadoop-2.7.2/sbin/start-all.sh
啟動(dòng)spark
./spark-1.6.2-bin-hadoop2.6/sbin/start-all.sh
如果不出問題的話，此時(shí)你的spark集群已經(jīng)成功啟動(dòng)，查看集群情況，
http://192.168.56.112:8080/ // ip換成你自己的master地址
會(huì)出現(xiàn)一下界面，
如果你跟著教程走到了這一步，那么恭喜你已經(jīng)進(jìn)入大數(shù)據(jù)開發(fā)的海洋，我也是一名初學(xué)者，以后還會(huì)繼續(xù)發(fā)布spark學(xué)習(xí)相關(guān)的文章，還望繼續(xù)支持。
