一、Hadoop Shell簡介
改編自：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
Hadoop Shell調用文件系統(FS)Shell命令應使用?bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作為參數。URI格式是scheme://authority/path。對HDFS文件系統，scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的默認scheme。一個HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡單的/parent/child（假設你配置文件中的默認值是namenode:namenodeport）。大多數FS Shell命令的行為和對應的Unix Shell命令類似，不同之處會在下面介紹各命令使用詳情時指出。出錯信息會輸出到stderr，其他信息輸出到stdout。
二、Hadoop Shell命令列表
? ? ? ? ? ? ? ? ? ? ? ? 為方便文本復制，再來一遍文本版本得
????????????????????????????cat????chgrp????chmod????chown????copyFromLocal
????????????????????????????copyToLocal????cp????du????dus????expunge
????????????????????????????get????getmerge????ls????lsr????mkdir
????????????????????????????movefromLocal????mv????put????rm????rmr
????????????????????????????setrep????stat????tail????test????ext
????????????????????????????touchz
三、實驗數據準備
????????為了對這些命令進行試驗，先做一些準備工作,由于terminal對中文顯示支持的不好，所以建議使用英文文本作為例子，可以到http://www.chinadaily.com.cn/摘取幾段英文文本，做幾個英文的文本文件。
? ? 目錄創建
? ? ? ? ? ? ? ? hadoop fs -mkdir -p /fs-test/news
? ??????????????hadoop fs -mkdir -p /fs-test/words
????文件準備
? ? ? ? ? ? ? ? news01.txt
? ? ? ? ? ? ? ? news02.txt
? ? ? ? ? ? ? ? news03.txt
????????????????words01.txt
????????????????words02.txt
? ? ? ? ? ? ? ? words03.txt
? ? ? ? ?將這幾個文件放入到hdfs中
????????????????hadoop fs -put news*.txt /fs-test/news
????????????????hadoop fs -put news*.txt /fs-test/words
? ? ? ? ?展示/fs-test及其子目錄
? ??????????????hadoop fs -ls -R /fs-test
四、Hadoop FS Shell例子
1 cat
? ??????使用方法：hadoop fs -cat URI [URI …]
????????將路徑指定文件的內容輸出到stdout。
????????示例：
????????????????hadoop fs -cat hdfs://master:9000/fs-test/news/news01.txt hdfs://master:9000/fs-test/words/words01.txt
????????????????hadoop fs -cat /fs-test/news/news01.txt /fs-test/words/words01.txt
????????????????hadoop fs -cat file:///home/hadoop/share/news/news01.txt
2 chgrp
? ??????使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]
? ??????改變文件所屬的組。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。
3 chmod
? ??????使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
? ??????改變文件的擁有者。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是超級用戶。
? ??????示例：
? ??????????????hadoop fs -chmod? -R 777 hdfs://master:9000/fs-test/news/news01.txt
4 chown
????????使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
????????改變文件的擁有者。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是超級用戶。
5 copyFromLocal
????????使用方法：hadoop fs -copyFromLocal <localsrc> URI
????????除了限定源路徑是一個本地文件外，和put命令相似。
? ??????示例：
? ??????hadoop fs -ls /fs-test/news
????????hadoop fs -rm hdfs://master:9000/fs-test/news/news01.txt
? ??????hadoop fs -ls /fs-test/news
? ??????hadoop fs -copyFromLocal file:///home/hadoop/share/news/news01.txt hdfs://master:9000/fs-test/news
????????hadoop fs -ls /fs-test/news
6 cp
????????使用方法：hadoop fs -cp URI [URI …] <dest>
????????將文件從源路徑復制到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。
????????示例：
????????????hadoop fs -ls /fs-test/news
????????????hadoop fs -rm hdfs://master:9000/fs-test/news/*
????????????hadoop fs -ls /fs-test/news
????????????hadoop fs -cp?file:///home/hadoop/share/news/news01.txt hdfs://master:9000/fs-test/news
????????????hadoop fs -cp?file:///home/hadoop/share/news/news01.txt? file:///home/hadoop/share/news/news02.txt?file:///home/hadoop/share/news/news03.txt hdfs://master:9000/fs-test/news
????????????hadoop fs -ls /fs-test/news
7 du
????????使用方法：hadoop fs -du URI [URI …]
????????顯示目錄中所有文件的大小，或者當只指定一個文件時，顯示此文件的大小。
????????示例：
????????????????hadoop fs -du file:///home/hadoop/share hdfs://master:9000/fs-test
8 dus（?廢棄，推薦使用-du -s?）
????????使用方法：hadoop fs -dus <args>?
????????顯示文件的大小。
? ??????示例：
????????????????hadoop fs -dus?file:///home/hadoop/share?hdfs://master:9000/fs-test
????????????????hadoop fs -du -s?file:///home/hadoop/share?hdfs://master:9000/fs-test
9 expunge
????????使用方法：hadoop fs -expunge
????????清空回收站。請參考HDFS設計文檔以獲取更多關于回收站特性的信息。
10 get
????????使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
????????復制文件到本地文件系統。可用-ignorecrc選項復制CRC校驗失敗的文件。使用-crc選項復制文件以及CRC信息。
????????示例：
? ? ? ? ? ? ? ? mkdir?/home/hadoop/share/tmp
? ? ? ? ? ? ? ? hadoop fs -get hdfs://master:9000/user/hadoop/fs-test/news/*? /home/hadoop/share/tmp
? ? ? ? ? ? ? ? ls?/home/hadoop/share/tmp
11 getmerge
????????使用方法：hadoop fs -getmerge <src> <localdst> [addnl]
????????接受一個源目錄和一個目標文件作為輸入，并且將源目錄中所有的文件連接成本地目標文件。addnl是可選的，用于指定在每個文件結尾添加一個換行符。
????????示例：
12 ls
????????使用方法：hadoop fs -ls <args>
????????如果是文件，則按照如下格式返回文件信息：
????????????????文件名 <副本數> 文件大小 修改日期 修改時間 權限 用戶ID 組ID
????????如果是目錄，則返回它直接子文件的一個列表，就像在Unix中一樣。目錄返回列表的信息如下：
????????????????目錄名 <dir> 修改日期 修改時間 權限 用戶ID 組ID
????????示例：
? ??????????????hadoop fs -ls hdfs://master:9000/fs-test/news
????????????????hadoop fs -ls -R hdfs://master:9000/fs-test
13 lsr(?廢棄，推薦使用ls -R)
????????使用方法：hadoop fs -lsr <args>
????????ls命令的遞歸版本。類似于Unix中的ls -R。
????????示例：
????????????????hadoop fs -lsr hdfs://master:9000/fs-test
????????????????hadoop fs -ls -R hdfs://master:9000/fs-test
14 mkdir
????????使用方法：hadoop fs -mkdir <paths>
????????接受路徑指定的uri作為參數，創建這些目錄。其行為類似于Unix的mkdir -p，它會創建路徑中的各級父目錄。
????????示例：
????????????????hadoop fs -mkdir hdfs://master:9000/fs-test/t1?hdfs://master:9000/fs-test/t2
15 movefromLocal
????????使用方法：dfs -moveFromLocal <src> <dst>
16 mv
? ? ? ? 使用方法：hadoop fs -mv URI [URI …] <dest>
????????將文件從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。不允許在不同的文件系統間移動文件。
????????示例：
????????????????hadoop fs -ls hdfs://master:9000/fs-test/t1
????????????????hadoop fs -mv hdfs://master:9000/fs-test/news/news01.txt hdfs://master:9000/fs-test/t1
????????????????hadoop fs -mv /fs-test/news/news02.txt?/fs-test/news/news03.txt /fs-test/t1
????????????????hadoop fs -ls hdfs://master:9000/fs-test/t1
????????????????hadoop fs -ls hdfs://master:9000/fs-test/news
????????????????hadoop fs -mv /fs-test/t1/* /fs-test/news
????????????????hadoop fs -ls hdfs://master:9000/fs-test/t1
????????????????hadoop fs -ls hdfs://master:9000/fs-test/news
17 put
????????使用方法：hadoop fs -put <localsrc> ... <dst>
????????從本地文件系統中復制單個或多個源路徑到目標文件系統。也支持從標準輸入中讀取輸入寫入目標文件系統。
????????示例：
? ???????????????hadoop fs -rm hdfs://master:9000/fs-test/t1/*
????????????????hadoop fs -put? /home/hadoop/share/news/* hdfs://master:9000/fs-test/t1
? ??????????????hadoop fs -ls hdfs://master:9000/fs-test/t1
????????????????hadoop fs -put - hdfs://master:9000/fs-test/t1/stdio.txt
????????????????????????????從標準輸入中讀取輸入。CTRL+D結束輸入
????????????????hadoop fs -ls hdfs://master:9000/fs-test/t1
? ??????????????hadoop fs -cat hdfs://master:9000/fs-test/t1/stdio.txt
18 rm
????????使用方法：hadoop fs -rm URI [URI …]
????????刪除指定的文件。只刪除非空目錄和文件。請參考rmr命令了解遞歸刪除。
????????示例：
????????????????hadoop fs -rm hdfs://master:9000/fs-test/t1/*
19 rmr（已廢棄，推薦使用-rm -r）
????????使用方法：hadoop fs -rmr URI [URI …]
????????delete的遞歸版本。
????????示例：
????????????????hadoop fs -rm hdfs://master:9000/fs-test/t1
????????????????hadoop fs -rm -r hdfs://master:9000/fs-test/t1
20 setrep
????????使用方法：hadoop fs -setrep [-R] <path>
????????改變一個文件的副本系數。-R選項用于遞歸改變目錄下所有文件的副本系數。
????????示例：
????????????????hadoop fs -setrep -w 3 -R hdfs://master:9000/fs-test/news/news01.txt
21 stat
????????使用方法：hadoop fs -stat URI [URI …]
????????返回指定路徑的統計信息。
????????示例：
????????????hadoop fs -stat?hdfs://master:9000/fs-test/news/news01.txt
22 tail
????????使用方法：hadoop fs -tail [-f] URI
????????將文件尾部1K字節的內容輸出到stdout。支持-f選項，行為和Unix中一致。
????????示例：
????????????????hadoop fs -tail hdfs://master:9000/fs-test/news/news01.txt
23 test
????????使用方法：hadoop fs -test -[ezd] URI
????????選項：
????????????????-e 檢查文件是否存在。如果存在則返回0。
????????????????-z 檢查文件是否是0字節。如果是則返回0。
????????????????-d 如果路徑是個目錄，則返回1，否則返回0。
????????示例：
????????????????hadoop fs -test -e hdfs://master:9000/fs-test/news/news01.txt
24 text
????????使用方法：hadoop fs -text <src>
????????將源文件輸出為文本格式。允許的格式是zip和TextRecordInputStream。
25 touchz
????????使用方法：hadoop fs -touchz URI [URI …]
????????創建一個0字節的空文件。
? ??????????hadoop fs -touchz?hdfs://master:9000/fs-test/t2/zero.txt
? ??????????hadoop fs -ls hdfs://master:9000/fs-test/t2/zero.txt
