1. 文件操作
(1) 列出HDFS下的文件
/usr/local/hadoop$bin/hadoop dfs -ls
(2) 列出HDFS文件下名為in的文檔中的文件
/usr/local/hadoop$bin/hadoop dfs -ls in
(3) 上傳文件
將hadoop目錄下的test1文件上傳到HDFS上并重命名為test:
/usr/local/hadoop$bin/hadoop dfs -put test1 test
(4) 文件被復(fù)制到本地系統(tǒng)中
將HDFS中的in文件復(fù)制到本地系統(tǒng)并命名為getin:
/usr/local/hadoop$bin/hadoop dfs -get in getin
(5) 刪除文檔
刪除HDFS下名為out的文檔:
/usr/local/hadoop$bin/hadoop dfs -rmr out
(6) 查看文件
查看HDFS下in文件中的內(nèi)容:
/usr/local/hadoop$bin/hadoop dfs -cat in/*
(7) 建立目錄
/usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples(目錄/目錄名)
只能一級一級的建目錄。
(8) 復(fù)制文件
/usr/local/hadoop$bin/hadoop dfs -copyFromLocal 源路徑 路徑
(9)通過Hadoop命令把兩個文件的內(nèi)容合并起來
hdfs dfs -getmerge 位于hdfs中的原文件(里面有多個文件) 合并后的文件名
例如:hdfs dfs
-getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult
?注:合并后的文件位于當(dāng)前目錄,不在hdfs中,是本地文件
2. 管理與更新
(1) 執(zhí)行基本信息
查看HDFS的基本統(tǒng)計信息:
/usr/local/hadoop$bin/hadoop dfsadmin -report
(2) 退出安全模式
NameNode在啟動時會自動進(jìn)入安全模式。安全模式是NameNode的一種狀態(tài),在這個階段,文件系統(tǒng)不允許有任何修改。
系統(tǒng)顯示Name node in safe mode,說明系統(tǒng)正處于安全模式,這時只需要等待十幾秒即可,也可通過下面的命令退出安全模式:
/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave
(3) 進(jìn)入安全模式
在必要情況下,可以通過以下命令把HDFS置于安全模式:
/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter
(4)節(jié)點添加
添加一個新的DataNode節(jié)點,先在新加節(jié)點上安裝好Hadoop,要和NameNode使用相同的配置(可以直接從NameNode復(fù)制),修改$HADOOP_HOME/conf/master文件,加入NameNode主機(jī)名。然后在NameNode節(jié)點上修改$HADOOP_HOME/conf/slaves文件,加入新節(jié)點名,再建立新加節(jié)點無密碼的SSH連接,運(yùn)行啟動命令為:
/usr/local/hadoop$bin/start-all.sh
(5)負(fù)載均衡
HDFS的數(shù)據(jù)在各個DataNode中的分布可能很不均勻,尤其是在DataNode節(jié)點出現(xiàn)故障或新增DataNode節(jié)點時。新增數(shù)據(jù)塊時NameNode對DataNode節(jié)點的選擇策略也有可能導(dǎo)致數(shù)據(jù)塊分布不均勻。用戶可以使用命令重新平衡DataNode上的數(shù)據(jù)塊的分布:
/usr/local/hadoop$bin/start-balancer.sh