用Fluentd實現(xiàn)收集日志到HDFS（上和下）

當(dāng)td-agent與namenode在一臺物理機上時可以正常運行，當(dāng)不在一臺物理機上時，報“Connection refused”錯誤。
接下來： td-agent與namenode是否必須在一臺物理機上？ 現(xiàn)在采用了append的方式，對于HDFS來說效率較低，可以設(shè)置一個中間節(jié)點，收集了其他節(jié)點的日志之后，匯總成大文件，然后上傳到HDFS。 td-agent的配置文件格式。 File Input和WebHDFS Output的具體細(xì)節(jié)。

用Fluentd實現(xiàn)收集日志到HDFS（上）
http://www.itdadao.com/articles/c15a471553p0.html

用Fluentd實現(xiàn)收集日志到HDFS（下）
http://www.itdadao.com/articles/c15a471554p0.html

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容