HDFS常用命令
-
在 hdfs 文件系統上創建一個 input 文件夾
bin/hdfs dfs -mkdir -p /user/anna/input -
將測試文件內容上傳到文件系統上
bin/hdfs dfs -put wc.input /user/anna/input -
查看上傳的文件是否正確
bin/hdfs dfs -cat /user/anna/input/wc.input -
運行 mapreduce 程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/anna/input/ /user/anna/output -
查看輸出結果
命令行查看： bin/hdfs dfs -cat /user/anna/output/p* -
將測試文件內容下載到本地
hadoop fs -get /user/output/p* /opt/module/hadoop -
刪除輸出結果
hdfs dfs -rmr /user/anna/output -
遞歸查看根目錄下下所有文件和文件夾
hadoop fs -lsr / -
從本地剪切粘貼到hdfs
hadoop fs -moveFromLocal test /user/anna/test -
追加一個文件到已經存在的文件的末尾
hadoop fs -appendToFile appendTest.txt /user/anna/test/test(將appendTest.txt追加到hdfs中的test文件下) -
顯示文件的末尾
hadoop fs -tail /user/anna/test/test -
修改文件所屬權限
-chgrp -chown -chmod hadoop fs -chown anna:anna /user/anna/test/test -
從本地文件系統中拷貝文件到 hdfs 路徑去
-copyFromLocal： hadoop fs -copyFromLocal copy.txt /user/anna/test -
從 hdfs 拷貝到本地
-copyToLocal： hadoop fs -copyToLocal /user/anna/test/copy.txt /opt/module -
從 hdfs 的一個路徑拷貝到 hdfs 的另一個路徑
-cp hadoop fs -cp /user/anna/input/wc.input /user/anna/test -
在 hdfs 目錄中移動文件
-mv： hadoop fs -mv /user/anna/test/wc.input / -
-get：等同于 copyToLocal，就是從 hdfs 下載文件到本地
hadoop fs -get /user/anna/input/wc.input /opt/module -
-getmerge ：合并下載多個文件，比如 hdfs 的目錄 /aaa/下有多個文件:log.1,log.2,log.3,...
hadoop fs -getmerge /user/anna/input /opt/module/new.txt 注意只能合并文件夾下的文件 -
-put：等同于 copyFromLocal
hadoop fs -put data/ /user/anna/test -rm：刪除文件
-rmdir：刪除空目錄
-
-df ：統計文件系統的可用空間信息
hadoop fs -df -h / Filesystem Size Used Available Use% hdfs://master:9000 43.9 G 204 K 28.7 G 0% -
-du 統計文件夾的大小信息
hadoop fs -du / 186 /user 100 /wc.input hadoop fs -du -s / 統計根目錄下文件夾大小總數 -
-setrep：設置 hdfs 中文件的副本數量
hadoop fs -setrep 2 /user/anna/input/wc.input
