通過前面幾篇,我們已經布置好Hadoop集群環境了。接下來配置eclipse,使用eclipse編寫Hadoop代碼。
(1)安裝好eclipse
省略,參加網上其他博客
(2)找到安裝hadoop安裝目錄下的 contrib/eclipse-plugin的jar文件。這是hadoop給eclipse插件。
(3)找到eclipse的插件目錄,安裝目錄/eclipse/plugins,將第二步hadoop找到的插件,復制到該目錄下。
(4)重啟eclipse
(5) 打開eclipse
window ->preference -> hadoop Map/Reduce -> Hadoop installation directory
image.png
配置Map/Reduce視圖
window ->Open Perspective -> other->Map/Reduce -> 點擊“OK”
image.png
在“Map/Reduce Locations” Tab頁 點擊圖標<大象+>或者在空白的地方右鍵,選擇“New Hadoop location…”,彈出對話框“New hadoop location…”,
進行相應配置
image.png
image.png
這里配置倆個端口就行。
MR Master和DFS Master配置必須和mapred-site.xml和core-site.xml等配置文件一致。
然后打開Project Explorer,查看DS文件系統。
8.新建MapReduce任務 前提是 啟動了 hadoop
image.png
沒連接reconnect即可。
然后就可以建立Map/Reduce 項目了
File->New->project->Map/Reduce Project->Next