flume傳輸大文件異常Input length = 2

在使用flume spooling組件傳輸文件時,經(jīng)常會出現(xiàn)以下問題:

1.文件只能傳輸一部分。

2.第二次將文件放到flume的監(jiān)控目錄下時,不能傳輸文件,監(jiān)控目錄中的文件也不會被刪除。

3.flume重啟之后,文件才能繼續(xù)被傳輸。

原因:在Spooling傳輸文件的時候,出現(xiàn)了同時讀寫一個文件導致的問題。

異常:Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.

java.nio.charset.MalformedInputException: Input length = 2。

爆出下面的異常:


解決辦法:

1.將原始日志cp到安裝flume的同級目錄下(防止在第二步mv的時候,不是在同一個磁盤會出現(xiàn)上面的異常)。

2.使用mv到flume監(jiān)控目錄。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容