個人喜歡的運行順序:su,然后start-all,有可能存在修改ip的情況,ifconfig查看就可以,對應改core或者mapred。
運行wordcount程序一直停在map 100% reduce 0%,
input文件夾的內容:
其中:
f1.txt中的內容為:hello hadoop
f2.txt中的內容為:hello hadoop
f3.txt中的內容為:hello world
解決方法:
在/etc/hosts中增加以下紅色一行,其中第一列為127.0.0.1,第二列為主機名稱:
然后重新使用start-all.sh啟動hadoop,然后執行wordcount程序,然后可以看到執行成功:
查看執行結果:
監控頁面
http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 狀態
http://localhost:50070/ - Hadoop DFS 狀態
already exists
ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /wc/output already exists
解決方案:
先刪除再重新啟動
ctrl+c強制退出
bin/hadoop fs -rmr /wc/output
[root@aubin hadoop-1.2.1]# hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input/ /wc/output/
然后在重新啟動一次。
注意文件目錄是要hdfs上的路徑,然后路徑ip的配置,etc/hosts里面
eclipse一直連接不上ip:
解決方案在linux里面hosts改映射條件。
windows下沒辦法看文件存儲詳細信息
還未解決:
分析原因:
看文件詳細會跳轉到aubin.com:50070 linux下能看到,windows不能
http://192.168.38.129:50075/browseDirectory.jsp?dir=%2Fuser%2Froot%2Finput&namenodeInfoPort=50070
前面的這個datanodeInfos是指,每遍歷到一個文件,都叫這個名字。
根據hadoop的api文檔去查詢這些功能和函數。
百度云第52課 代碼沒看懂 第54課 增加的代碼沒看懂 以及課后作業代碼