(八)Windows下配置Geospark

Update

2020.6.9: 更新GeoSpark版本到1.3.1, 更新Hadoop版本到2.7.2, 更新Spark到2.3.4, 更新Scala到2.11.x

JDK安裝

  1. 下載地址
    1. 官網下載地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html
    2. 在官網下載時,需要先注冊oracle網站的賬號,為了方便下載,這里提供一個百度云下載地址:鏈接:https://pan.baidu.com/s/16T1meL7pWD4Rk2qdmIS6kQ 提取碼:9obn
  2. 下載完成后,直接雙擊安裝,安裝完成后,配置JAVA_HOMEJDK安裝目錄,在將%JAVA_HOME%\bin配置到PATH下,配置CLASSPATH為.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

Maven安裝

  1. 下載地址:http://maven.apache.org/download.cgi

  2. 解壓后,將解壓文件拷貝到任意目錄,然后將maven下面的bin目錄添加到環境變量

  3. 在命令控制行中輸入mvn -v,如果有提示以下信息,則代表maven安裝成功

    Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00)
    Maven home: D:\Program Files\Java\apache-maven-3.6.1\bin\..
    Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: D:\Program Files\Java\jdk1.8.0_181\jre
    Default locale: zh_CN, platform encoding: GBK
    OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
    

Scala安裝

  1. 下載地址: https://www.scala-lang.org/download/2.11.12.html
  2. scala安裝很簡單,直接雙擊下載好的msi文件,scala會自動配置環境變量。

Hadoop安裝

  1. 下載地址:
    1. https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
    2. winutil.exe下載:https://github.com/steveloughran/winutils,選擇hadoop-2.7.1即可。
  2. 解壓后,配置環境變量,設置HADOOP_HOME為Hadoop的解壓目錄,然后再設置該目錄下的bin目錄到系統變量的PATH下。
  3. 將下載winutils.exe復制到hadoop的bin目錄下完成安裝。

Spark安裝

  1. 下載地址:

    1. https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz](https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz)
  2. 解壓后,配置環境變量,設置SPARK_HOME為Spark的解壓目錄,然后再設置該目錄下的bin目錄到系統變量的PATH下。

  3. 在CMD中輸入spark-shell,若有以下信息提示,則代表成功

    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark context Web UI available at http://hwang:4040
    Spark context available as 'sc' (master = local[*], app id = local-1591705705311).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 2.3.4
          /_/
    
    Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181)
    Type in expressions to have them evaluated.
    Type :help for more information.
    

搭建工程

  1. 首先從https://github.com/scially/GeosparkBook將整個工程下載下來,并解壓
  2. 打開IDEA,選擇Import Project,選擇剛才解壓的目錄,選中Import project from external model,選擇Maven,點擊Next
  3. 勾選Import Maven projects automatically,然后點擊Environment Settings,選擇我們之前安裝的maven目錄,然后一路Next,完成后IDEA會去自動構建工程,如果你是第一次開發Spark相關應用,這個構建時間會有點長,因為IDEA要去maven中央倉庫拉取依賴,耐心等待即可(需要30分鐘左右)。
  4. 構建完成后,打開cn.dev下面的任意一個類,點擊main函數左邊的執行按鈕,若運行成功,則代表環境配置成功。
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。