Ubuntu 14.04 64位編譯hadoop 2.7.3

1 下載解壓

$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
$ tar -zxvf hadoop-2.7.3/hadoop-2.7.3-src.tar.gz

2 安裝依賴

在hadoop的根目錄下有一個BUILDING.txt文件,該文件列出了當(dāng)前hadoop版本所有的必選依賴包以及可選依賴包,以及安裝這些依賴包的apt-get指令。其中jdk以及maven的安裝,之前博客有介紹如何安裝。現(xiàn)在只需使用如下指令安裝其余的依賴包:

$ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
$ sudo apt-get -y install libprotobuf-dev protobuf-compiler

3 編譯hadoop

之前提到的BUILDING.txt文件中也有使用maven編譯hadoop的指令建議,這里使用如下指令進行編譯:

$ mvn package -Pdist,native -DskipTests -Dtar

需要注意的是:不要在-P選項中添加docs參數(shù),添加之后,在我的機器上編譯出錯,具體原因不明,去掉docs參數(shù)可以編譯成功。
編譯時間較長1530分鐘左右,并且在第一次編譯時,maven會下載很多相關(guān)包當(dāng)本地**/.m2**目錄下,以后再次編譯就不需要下載了。當(dāng)最后出現(xiàn)如下內(nèi)容時,表示編譯成功:

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 14:59.240s
[INFO] Finished at: Fri Nov 11 15:04:44 CST 2016
[INFO] Final Memory: 168M/435M
[INFO] ------------------------------------------------------------------------

編譯好的二進制包在如下目錄:

hadoop-2.7.3-src/hadoop-dist/target/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容