在使用flume spooling組件傳輸文件時,經(jīng)常會出現(xiàn)以下問題:
1.文件只能傳輸一部分。
2.第二次將文件放到flume的監(jiān)控目錄下時,不能傳輸文件,監(jiān)控目錄中的文件也不會被刪除。
3.flume重啟之后,文件才能繼續(xù)被傳輸。
原因:在Spooling傳輸文件的時候,出現(xiàn)了同時讀寫一個文件導致的問題。
異常:Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 2。
爆出下面的異常:
解決辦法:
1.將原始日志cp到安裝flume的同級目錄下(防止在第二步mv的時候,不是在同一個磁盤會出現(xiàn)上面的異常)。
2.使用mv到flume監(jiān)控目錄。