1 下載解壓
$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
$ tar -zxvf hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
2 安裝依賴
在hadoop的根目錄下有一個BUILDING.txt文件,該文件列出了當(dāng)前hadoop版本所有的必選依賴包以及可選依賴包,以及安裝這些依賴包的apt-get指令。其中jdk以及maven的安裝,之前博客有介紹如何安裝。現(xiàn)在只需使用如下指令安裝其余的依賴包:
$ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
$ sudo apt-get -y install libprotobuf-dev protobuf-compiler
3 編譯hadoop
之前提到的BUILDING.txt文件中也有使用maven編譯hadoop的指令建議,這里使用如下指令進行編譯:
$ mvn package -Pdist,native -DskipTests -Dtar
需要注意的是:不要在-P選項中添加docs參數(shù),添加之后,在我的機器上編譯出錯,具體原因不明,去掉docs參數(shù)可以編譯成功。
編譯時間較長1530分鐘左右,并且在第一次編譯時,maven會下載很多相關(guān)包當(dāng)本地**/.m2**目錄下,以后再次編譯就不需要下載了。當(dāng)最后出現(xiàn)如下內(nèi)容時,表示編譯成功:
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 14:59.240s
[INFO] Finished at: Fri Nov 11 15:04:44 CST 2016
[INFO] Final Memory: 168M/435M
[INFO] ------------------------------------------------------------------------
編譯好的二進制包在如下目錄:
hadoop-2.7.3-src/hadoop-dist/target/