spark1.2源碼編譯

為什么要編譯源碼呢?要搞hive on spark。。。


1.CHD不好用,缺jar包啊

2.hive1.1的 pom文件寫了只支持spark1.2

3.Apache版本的部署包有-Phive編譯,不能用


簡單粗暴的說


下載源碼包開始編譯:

1.使用這個命令:

mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package

官網只支持參數hadoop版本到2.4,想編譯其他版本 改pom文件,加進去就好了

編譯完之后是是沒有部署包的,要做的就是把./assembly/target/scala-2.11中的spark-assembly-1.2.0-hadoop2.4.0.jar包 替換到 之前解壓的Apache版本的lib目錄下

2.上步做完還是不能用。。。報錯。。呵呵

3.恩。。在編譯完的目錄內再使用這個命令編譯一遍

./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"

4.編譯完之后的目錄下會有個tar包,拿出來重新解壓

5.

./bin/spark-submit --classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclientlib/spark-examples-

測試成功了,服務也開啟了。。。。

接下來hive on spark 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

附個我自己編譯完的包~

鏈接: https://pan.baidu.com/s/1qXH0Eh2 密碼: 7x2h

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容