spark集群環境搭建(超詳細)

精簡流程

1.安裝vm ubuntu虛擬機

2.新建2臺虛擬機 ?

3.虛擬機之間ssh免密登錄

4.在一臺虛擬機上搭建java ,scala,spark,hadoop環境

5.成功

詳細過程:

2.新建兩臺虛擬機:(這里我用的是ubuntu 16.04)

3.ssh免密登錄:

? ?1. ? ?sudo apt-get install openssh-server? //安裝ssh(在兩臺機器上都安裝)

? ? 2. /etc/init.d/sshstart? // 啟動ssh (在slave 上啟動:)

? ? 3. sudo vim ?/etc/hostname ? //兩臺機器上都操作(一個master ,另一個slave,沒有vim ?先 sudo apt-get install vim)

? ?4. ?sudo vim /etc/hosts //兩臺機器都操作 hosts內容如下:

(192.168.195.130 ?master

192.168.195.131 ? slave)

5. ssh-keygen -t rsa ? //輸入之后一直選擇enter即可

sudo scp id_rsa.pub spark@slave:~/.ssh //復制到slave機器上

sudo cat id_rsa.pub >> authorized_keys //免密認證

sudo chmod 600 authorized_keys ?//加權限

6 ?在master 上 ?輸入 ?ssh spark@slave ? ?即可

4.

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 最近在學習大數據技術,朋友叫我直接學習Spark,英雄不問出處,菜鳥不問對錯,于是我就開始了Spark學習。 為什...
    Plokmijn閱讀 26,679評論 6 26
  • --------"道路是曲折的,前途是光明的。"最近又涉及到了hadoop以及spark的安裝,之前課題設計中有要...
    九七學姐閱讀 3,092評論 3 5
  • 由于最近學習大數據開發,spark作為分布式內存計算框架,當前十分火熱,因此作為首選學習技術之一。Spark官方提...
    Fang2016閱讀 17,129評論 3 6
  • 1、要加強學習能力,這么長時間了還沒把java和數據庫搞定,這是很大的問題。要學的很快。 2、老了就會不想學習,然...
    智囊團閱讀 139評論 0 0
  • 今年8月,小米科技終于推出了VR眼鏡玩具版本,這款產品售價僅49元,在低價刺激下,小米 VR 眼鏡玩具版的銷量也較...
    小離2014閱讀 722評論 0 49