python編碼

python編碼簡介

字符串在Python內(nèi)部的表示是unicode編碼，因此，在做編碼轉(zhuǎn)換時(shí)，通常需要以unicode作為中間編碼，即先將其他編碼的字符串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。

• decode的作用是將其他編碼的字符串轉(zhuǎn)換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字符串str1轉(zhuǎn)換成unicode編碼。
• encode的作用是將unicode編碼轉(zhuǎn)換成其他編碼的字符串，如str2.encode('gb2312')，表示將unicode編碼的字符串str2轉(zhuǎn)換成gb2312編碼。

# -*- coding=gb2312 -*-

a = u"中文"

a_gb2312 = a.encode('gb2312')
print a_gb2312
 
a_unicode = a_gb2312.decode('gb2312')
# 或者采用unicode(a_gb2312, 'gb2312')
assert(a_unicode == a)

a_utf_8 = a_unicode.encode('utf-8')
print a_utf_8

因此，轉(zhuǎn)碼的時(shí)候一定要先搞明白，字符串str是什么編碼，然后decode成unicode，然后再encode成其他編碼.

代碼中字符串的默認(rèn)編碼與代碼文件本身的編碼一致。如：s='中文', 如果是在utf8的文件中，該字符串就是utf8編碼，如果是在gb2312的文件中，則其編碼為gb2312。這種情況下，要進(jìn)行編碼轉(zhuǎn)換，都需要先用decode方法將其轉(zhuǎn)換成unicode編碼，再使用encode方法將其轉(zhuǎn)換成其他編碼。通常，在沒有指定特定的編碼方式時(shí)，都是使用的系統(tǒng)默認(rèn)編碼創(chuàng)建的代碼文件。

提示: 編寫python代碼，需要在文件的頭部加上coding=utf-8. python支持# -*- coding=utf-8 -*-和coding=utf-8兩種寫法，效果相同，前者是多數(shù)語言的寫法，后者是python支持的的簡潔寫法。

如果字符串是這樣定義：s=u'中文', 則該字符串的編碼就被指定為unicode了，即python的內(nèi)部編碼，而與代碼文件本身的編碼無關(guān)。因此，對于這種情況做編碼轉(zhuǎn)換，只需要直接使用encode方法將其轉(zhuǎn)換成指定編碼即可。

如果一個字符串已經(jīng)是unicode了，再進(jìn)行解碼則將出錯。用非unicode編碼形式的str來encode也會報(bào)錯。因此通常要對其編碼方式是否為unicode進(jìn)行判斷：

isinstance(s, str) # 用來判斷是否為一般字符串 
isinstance(s, unicode)  #用來判斷是否為unicode

編碼間的區(qū)別

主要介紹python的編碼機(jī)制，unicode, utf-8, utf-16, GBK, GB2312, ISO-8859-1等編碼之間的區(qū)別。

GBK與GB2312的區(qū)別

GB碼，全稱是GB2312-80《信息交換用漢字編碼字符集基本集》，1980年發(fā)布，是中文信息處理的國家標(biāo)準(zhǔn)，在大陸及海外使用簡體中文的地區(qū)（如新加坡等）是強(qiáng)制使用的唯一中文編碼。Windows3.2和蘋果OS就是以GB2312為基本漢字編碼，Windows95/98則以GBK為基本漢字編碼、但兼容支持GB2312。GB碼共收錄6763個簡體漢字、682個符號，其中漢字部分：一級字3755，以拼音排序，二級字3008，以偏旁排序。該標(biāo)準(zhǔn)的制定和應(yīng)用為規(guī)范、推動中文信息化進(jìn)程起了很大作用。

GBK編碼是中國大陸制訂的、等同于UCS的新的中文編碼擴(kuò)展國家標(biāo)準(zhǔn)。GBK工作小組于1995年10月，同年12月完成GBK規(guī)范。該編碼標(biāo)準(zhǔn)兼容GB2312，共收錄漢字21003個、符號883個，并提供1894個造字碼位，簡、繁體字融于一庫。

GBK包括GB2312的所有編碼，有些字GB2312沒有，需要用GBK來編碼。

其它編碼(utf-8,GBK)轉(zhuǎn)換為unicode

unicode與其它編碼之間的區(qū)別

為什么不所有的文件都使用unicode，還要用GBK，utf-8等編碼呢？
unicode可以稱為抽象編碼，也就是它只是一種內(nèi)部表示，一般不能直接保存。
保存到磁盤上時(shí)，需要把它轉(zhuǎn)換為對應(yīng)的編碼，如utf-8和utf-16。

除上以上的編碼方法，在讀寫文件時(shí)還可以使用codecs的open方法在讀寫時(shí)進(jìn)行轉(zhuǎn)換。

系統(tǒng)編碼的獲取和設(shè)置

獲取系統(tǒng)編碼，該段程序在英文WindowsXP上輸出為：ascii：

# coding=utf-8

import sys
print(sys.getdefaultencoding())

也可以用python自帶的模塊locale來檢測命令行默認(rèn)編碼和設(shè)置命令行編碼:

import locale
 
#get 
locale.getdefaultlocale()
#('zh_CN', 'cp936')
 
#set
locale.setlocale(...)

編碼錯誤

IDE中編碼錯誤

在某些IDE中，字符串的輸出總是出現(xiàn)亂碼，甚至錯誤，其實(shí)是由于IDE的結(jié)果輸出控制臺自身不能顯示字符串的編碼，而不是程序本身的問題。 如在UliPad中運(yùn)行如下代碼：

s=u"中文"
print s
# 顯示如下
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

這是因?yàn)閁liPad在英文WindowsXP上的控制臺信息輸出窗口是按照ascii編碼輸出的（英文系統(tǒng)的默認(rèn)編碼是ascii），而上面代碼中的字符串是Unicode編碼的，所以輸出時(shí)產(chǎn)生了錯誤。

將最后一句改為：print s.encode('gb2312'), 則能正確輸出“中文”兩個字。

若最后一句改為：print s.encode('utf8'), 則輸出：\xe4\xb8\xad\xe6\x96\x87，這是控制臺信息輸出窗口按照ascii編碼輸出utf8編碼的字符串的結(jié)果。

unicode(str,'gb2312')與str.decode('gb2312')是一樣的，都是將gb2312編碼的str轉(zhuǎn)為unicode編碼. 使用str.class可以查看str的編碼形式.

python中sys模塊原本有setdefaultencoding函數(shù)，但在啟動腳本setting.py中被刪除了，可以通過reload(sys)啟用，這樣可以解決編碼問題：

import sys
if sys.getdefaultencoding() != 'utf-8':
    reload(sys)
    sys.setdefaultencoding('utf-8')

常見的錯誤有setuptools, pip, install, UnicodeDecodeError: 'ascii' codec can't decode byte.

UnicodeDecodeError: 'ascii' codec can't decode byte 0xb0 in position 1: ordinal not in range(128)  
Something went wrong during the installation.  
See the error message above.  

原因與注冊表有關(guān)，可能與某些國產(chǎn)軟件對注冊表的改寫的gbk格式導(dǎo)致python無法進(jìn)行第三方庫的安裝操作。

解決方法：打開C:\Python27\Lib下的mimetypes.py文件，找到大概256行（你可以用Notepad++的搜索功能）:default_encoding = sys.getdefaultencoding()。
在這行前面添加三行：

if sys.getdefaultencoding() != 'gbk':  
    reload(sys)  
    sys.setdefaultencoding('gbk')  
default_encoding = sys.getdefaultencoding()  

保存，就解決問題了。