CentOS6.9安裝hadoop中出現的問題

Tips:
非手動編譯的情況下,一定要注意各個軟件包的版本對應關系。
如果學習的話還是推薦手動編譯。

這是我在編譯搭建過程中出現的一些問題。記錄一下:

1.在搭建hadoop環境時,需要安裝protobuf-3.3.0的包時,然而在源碼編譯的過程中出現錯誤如下:

   ./google/protobuf/metadata.h:175: error: class 
   ‘google::protobuf::internal::InternalMetadataWithArena’ 
   does not have any field named ‘InternalMetadataWithArenaBase’

只知道是編譯過程中出現缺失什么的問題,卻在網上一直找不到原因。

于是去該軟件包的github上找,在該軟件包的issue中找到了一個#2599找到了相關的解決方案,

安裝上邊所說,需要修改源碼中的一個文件。在protobuf/src/google/protobuf/metadata_lite.h文件中修改。如下:

vim metadata_lite.h
replace:
   explicit InternalMetadataWithArenaLite(Arena* arena)
   : InternalMetadataWithArenaBase(arena) {}

with:
   explicit InternalMetadataWithArenaLite(Arena* arena)
   : InternalMetadataWithArenaBase<string,
   InternalMetadataWithArenaLite>(arena) {}

然后重新執行編譯過程,就可以通過了。

#./configure
#make
#make check  
#make install

然而在最后安裝hadoop的時候,卻提示需要protobuf-2.5.0的包,我無語了,但是重新安裝這個包時,卻沒有遇到問題,不明白。。。。。

2.在build hadoop中的時候,使用命令:

mvn package -Pdist,native,docs -DskipTests -Dtar。

出現錯誤:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-
javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-annotations: 
MavenReportException: Error while creating archive:
[ERROR] Exit code: 1 - /tmp/hadoop-2.5.0-src/hadoop-common-
project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag: </ul>
[ERROR] * </ul>

看這個錯誤是在包的doc文件中出現的的,根據stack Overflow上的提示,在編譯的時候忽略掉doc文件。使用如下命令:

mvn package -Pdist,native,docs -DskipTests -Dtar -Dmaven.javadoc.skip=true  

就可以正確安裝了。

在build hadoop時,注意與其依賴包的對應關系。
比如,在我編譯hadoop2.5.0的時候,需要依賴的包有protobuf-2.5.0,如果使用其他版本,就會出現錯誤。

3.配置好hadoop-2.5.0后,執行啟動 ./start-all.sh,報錯:

[hadoop@hadoop1]$ ./start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Error: Cannot find configuration directory: /etc/hadoop
starting yarn daemons
Error: Cannot find configuration directory: /etc/hadoop

[hadoop@hadoop1]$ ./start-all.sh

 This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

 Error: Cannot find configuration directory: /etc/hadoop

 starting yarn daemons

 Error: Cannot find configuration directory: /etc/hadoop

這是因為使用了hadoop-env.sh默認的關于hadoop配置文件所在目錄的配置,這里需要根據你自己的安裝路徑重新設置。修改hadoop-env.sh:

 export HADOOP_CONF_DIR=/app/hadoop/hadoop-2.5.0/etc/hadoop/

最后別忘了:

 source  hadoop-env.sh
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,606評論 6 533
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,582評論 3 418
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,540評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,028評論 1 314
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,801評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,223評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,294評論 3 442
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,442評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,976評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,800評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,996評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,543評論 5 360
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,233評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,662評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,926評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,702評論 3 392
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,991評論 2 374

推薦閱讀更多精彩內容