python 里面的編碼和解碼也就是 unicode 和 str 這兩種形式的相互轉化。編碼是 unicode -> str，相反的，解碼就是 str -> unicode。剩下的問題就是確定何時需要進行編碼或者解碼了.關于文件開頭的"編碼指示"，也就是 # -- coding: -- 這個語句。Python 默認腳本文件都是 UTF-8 編碼的，當文件中有非 UTF-8 編碼范圍內的字符的時候就要使用"編碼指示"來修正. 關于 sys.defaultencoding，這個在解碼沒有明確指明解碼方式的時候使用。
比如我有如下代碼：
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = '中文' # 注意這里的 str 是 str 類型的，而不是 unicode
s.encode('gb18030')
#這句代碼將 s 重新編碼為 gb18030 的格式，即進行 unicode -> str 的轉換。
因為 s 本身就是 str 類型的，因此 Python 會自動的先將 s 解碼為 unicode ，然后再編碼成 gb18030。因為解碼是python自動進行的，我們沒有指明解碼方式，python 就會使用 sys.defaultencoding 指明的方式來解碼。很多情況下 sys.defaultencoding 是 ANSCII，如果 s 不是這個類型就會出錯。拿上面的情況來說，我的 sys.defaultencoding 是 anscii，而 s 的編碼方式和文件的編碼方式一致，是 utf8 的，所以出錯了:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
對于這種情況，我們有兩種方法來改正錯誤： 一是明確的指示出 s 的編碼方式
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = '中文'
s.decode('utf-8').encode('gb18030')
二是更改 sys.defaultencoding 為文件的編碼方式
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import sys
reload(sys) # Python2.5 初始化后會刪除 sys.setdefaultencoding 這個方法，我們需要重新載入
sys.setdefaultencoding('utf-8')
str = '中文'
str.encode('gb18030')
看完之后,改成這樣
print "<p>addr:", form["addr"].value.decode('gb2312').encode('utf-8')
成功通過.
我總結一下為什么要這么寫的原因:
- 當取回來的數據與你當前腳本中聲明的編碼不一致時就要做編碼轉換
2.在編碼轉換時首先要將該數據以自身編碼的格式換成unicode碼,再將這個unicode按utf8編碼
3.為什么我的瀏覽器會傳回gb2312的編碼數據到服務器,這應該和客戶端的系統編碼有關系
我爬蟲時的錯誤：
Traceback (most recent call last):
File "E:/workspace/webCrawler/day04/01???С?.py", line 56, in <module>
getText(url)
File "E:/workspace/webCrawler/day04/01???С?.py", line 41, in getText
fileName = i.decode('utf-8')
File "G:\tools\python2.7.12\lib\encodings\utf_8.py", line 16, in decode
return codecs.utf_8_decode(input, errors, True)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-8: ordinal not in range(128)
加入代碼
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
之后正常運行
