hadoop常用命令

1--hadoop dfsadmin -report/-refreshNodes
2--hadoop balancer -threshold 5
3--distcp hdfs-hftp://had-0:8020-50070 url2 -i,-overwrite,-update
4--fsck -blocks -files
5--fs du,cat,text
6--hadoop job -list/-kill jobid/-killtask -taskid
7--編譯libfs
fuse -hadoop-fuse-dfs dfs:// <local-dir>
Hadoop對處理單個大文件比處理多個小文件更有效率,另外單個文件也非常占用HDFS的存儲空間。所以往往要將其合并起來。
1,getmerge
hadoop有一個命令行工具getmerge,用于將一組HDFS上的文件復(fù)制到本地計算機以前進(jìn)行合并
參考:http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html
使用方法:hadoop fs -getmerge <src> <localdst> [addnl]
接受一個源目錄和一個目標(biāo)文件作為輸入,并且將源目錄中所有的文件連接成本地目標(biāo)文件。addnl是可選的,用于指定在每個文件結(jié)尾添加一個換行符。
多嘴幾句:調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作為參數(shù)。URI格式是scheme://authority/path
--上傳文件
nohup ~/line/soft/hadoop/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/hadoop --config ~/line/soft/hadoop/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/hadoop-conf/ fs -put ~/db /user/dub/tmp/ > upload.log.201503261122 &

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容