在linux上處理中文的時候，特別是自然語言這種頻繁讀寫中文到文件的情況，經常會出錯，下面梳理總結一下。常用相關編碼有：文件編碼，文件內容編碼，終端編碼，標準輸入輸出流編碼，操作系統編碼。
常出問題的是文件編碼與文件內容編碼，有時候這兩個不一致會導致導入時，解碼出錯，可用vim設置:set fileencoding=xxx修改文件編碼。對于批量文件編碼修改，可用convmv工具(非系統自帶，一般需要安裝)
導致文件編碼與文件內容編碼不一致的原因：
在數據流寫入文件時，會從fileencodings去逐個讀取，如果發現某個編碼能正常解析當前文件流，即當作該編碼，設置文件編碼為這個編碼；如果沒有找到合適的編碼，那么文件編碼就會被設置為空。在寫文件的時候，經常會因為沒有設置fileencodings變量，而導致文件編碼為空。
解決辦法是：在寫入文件，如用iconv轉碼時，先set fileencodings=xxx,xxxx ，在操作寫入文件，這能從根本上解決問題。
問題影響：文件編碼和文件內容編碼不一致，會導致在文件處理的時候解析異常。比如用python處理中文，讀取文件時，會默認以fileencoding的編碼打開，如果這個編碼不對，在腳本中，要decode的時候就會掛掉，即便文件內容的編碼是正確的。如：文件內容編碼是utf-8，而文件編碼是gb18030，python以gb18030打開文件，這時候，文件內容已經編碼異常了。。然后用decode('utf-8')時，拋出UnicodeDecodeError，接著一臉蒙x。。
下面總結下常用的轉碼方式：
文件內容編碼用iconv 轉碼即可，用法就是iconv -f [原編碼] -t [目標編碼] file -o outfile 。需要注意的時，有時候文件里會有個別編碼錯誤的字節，導致后續內容轉碼失敗，對這種情況，只要加上-c參數即可，也就是iconv -f [原編碼] -t [目標編碼] -c file -o outfile
查看文件編碼，可以用file命令，加參數-bi可獲得更精確的編碼，但是file查看的編碼經常不準確，注意此坑。對應單個的也可以用vim的encoding命令查看
操作系統編碼看環境變量LANG
在用python處理文件時，統一用unicode編碼處理。對于字符串，從文件讀入內存時，會先按照文件編碼轉到標準輸入流編碼，所以處理中文字符串時，可用str.decode(sys.stdin.encoding)解碼到Unicode，可解決中文字符串的編碼問題
中文顯示異常問題：
經常在用vim打開文件時，中文會亂碼，導致文件亂碼的一般是文件編碼，文件內容編碼，vim編碼，iterm/scurecrt/其他終端 的編碼不一致，把這三個編碼修改成一樣的就可以了
當然，這么復雜的工序，很多同學都蒙了，人民群眾的力量是無窮的，需求就是用來解決的，這不，有個傳說中的工具enca，可以智能識別編碼，以及批量編碼轉化，具體使用，可以查找相關wiki或博客，有很多介紹。。。不。過。作為有geek基因的青年，少了折騰，心里怎么會爽，因此不用這種工具，是上策（用原始方法能更深入理解操作系統編碼的原理，又能解決問題，又能漲姿勢，多好~）
