1--hadoop dfsadmin -report/-refreshNodes
2--hadoop balancer -threshold 5
3--distcp hdfs-hftp://had-0:8020-50070 url2 -i,-overwrite,-update
4--fsck -blocks -files
5--fs du,cat,text
6--hadoop job -list/-kill jobid/-killtask -taskid
7--編譯libfs
fuse -hadoop-fuse-dfs dfs:// <local-dir>
Hadoop對處理單個大文件比處理多個小文件更有效率,另外單個文件也非常占用HDFS的存儲空間。所以往往要將其合并起來。
1,getmerge
hadoop有一個命令行工具getmerge,用于將一組HDFS上的文件復(fù)制到本地計算機以前進(jìn)行合并
參考:http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html
使用方法:hadoop fs -getmerge <src> <localdst> [addnl]
接受一個源目錄和一個目標(biāo)文件作為輸入,并且將源目錄中所有的文件連接成本地目標(biāo)文件。addnl是可選的,用于指定在每個文件結(jié)尾添加一個換行符。
多嘴幾句:調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作為參數(shù)。URI格式是scheme://authority/path。
--上傳文件
nohup ~/line/soft/hadoop/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/hadoop --config ~/line/soft/hadoop/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/hadoop-conf/ fs -put ~/db /user/dub/tmp/ > upload.log.201503261122 &
hadoop常用命令
最后編輯于 :
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
推薦閱讀更多精彩內(nèi)容
- 啟動Hadoop進(jìn)入HADOOP_HOME目錄。執(zhí)行sh bin/start-all.sh 關(guān)閉Hadoop進(jìn)入H...
- FS Shell調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用 bin/hadoop fs 的形式。 所有的的FS s...
- Linux: 查看9001端口的監(jiān)聽進(jìn)程 netstat -anp | grep 9001 Mac查看監(jiān)聽端口 n...
- 1、運行環(huán)境 主機IP 主機名 2、配置主機名(分別在五臺機器上執(zhí)行) hostname +主機名例如: h...
- FS Shell 調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用bin/hadoop fs 的形式。 所有的的FS ...