數據提取之JSON與JsonPATH
JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式，它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用于進行數據交互的場景，比如網站前臺與后臺之間的數據交互。
JSON和XML的比較可謂不相上下。
Python 2.7中自帶了JSON模塊，直接import json就可以使用了。
官方文檔：http://docs.python.org/library/json.html
Json在線解析網站：http://www.json.cn/#
JSON
json簡單說就是javascript中的對象和數組，所以這兩種結構就是對象和數組兩種結構，通過這兩種結構可以表示各種復雜的結構
- 對象：對象在js中表示為
{ }括起來的內容，數據結構為{ key：value, key：value, ... }的鍵值對的結構，在面向對象的語言中，key為對象的屬性，value為對應的屬性值，所以很容易理解，取值方法為 對象.key 獲取屬性值，這個屬性值的類型可以是數字、字符串、數組、對象這幾種。
- 數組：數組在js中是中括號
[ ]括起來的內容，數據結構為["Python", "javascript", "C++", ...]，取值方式和所有語言中一樣，使用索引獲取，字段值的類型可以是 數字、字符串、數組、對象幾種。
import json
json模塊提供了四個功能：dumps、dump、loads、load，用于字符串 和 python數據類型間進行轉換。
1. json.loads()
把Json格式字符串解碼轉換成Python對象 從json到python的類型轉化對照如下：
# json_loads.py
import json
strList = '[1, 2, 3, 4]'
strDict = '{"city": "北京", "name": "大貓"}'
json.loads(strList)
# [1, 2, 3, 4]
json.loads(strDict) # json數據自動按Unicode存儲
# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}
2. json.dumps()
實現python類型轉化為json字符串，返回一個str對象 把一個Python對象編碼轉換成Json字符串
從python原始類型向json類型的轉化對照如下：
# json_dumps.py
import json
import chardet
listStr = [1, 2, 3, 4]
tupleStr = (1, 2, 3, 4)
dictStr = {"city": "北京", "name": "大貓"}
json.dumps(listStr)
# '[1, 2, 3, 4]'
json.dumps(tupleStr)
# '[1, 2, 3, 4]'
# 注意：json.dumps() 序列化時默認使用的ascii編碼
# 添加參數 ensure_ascii=False 禁用ascii編碼，按utf-8編碼
# chardet.detect()返回字典, 其中confidence是檢測精確度
json.dumps(dictStr)
# '{"city": "\\u5317\\u4eac", "name": "\\u5927\\u5218"}'
chardet.detect(json.dumps(dictStr))
# {'confidence': 1.0, 'encoding': 'ascii'}
print json.dumps(dictStr, ensure_ascii=False)
# {"city": "北京", "name": "大劉"}
chardet.detect(json.dumps(dictStr, ensure_ascii=False))
# {'confidence': 0.99, 'encoding': 'utf-8'}
chardet是一個非常優秀的編碼識別模塊，可通過pip安裝
3. json.dump()
將Python內置類型序列化為json對象后寫入文件
# json_dump.py
import json
listStr = [{"city": "北京"}, {"name": "大劉"}]
json.dump(listStr, open("listStr.json","w"), ensure_ascii=False)
dictStr = {"city": "北京", "name": "大劉"}
json.dump(dictStr, open("dictStr.json","w"), ensure_ascii=False)
4. json.load()
讀取文件中json形式的字符串元素 轉化成python類型
# json_load.py
import json
strList = json.load(open("listStr.json"))
print strList
# [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}]
strDict = json.load(open("dictStr.json"))
print strDict
# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}
JsonPath
JsonPath 是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種語言實現版本，包括：Javascript, Python， PHP 和 Java。
JsonPath 對于 JSON 來說，相當于 XPATH 對于 XML。
下載地址：https://pypi.python.org/pypi/jsonpath
安裝方法：點擊
Download URL鏈接下載jsonpath，解壓之后執行python setup.py install
JsonPath與XPath語法對比：
Json結構清晰，可讀性高，復雜度低，非常容易匹配，下表中對應了XPath的用法。
| XPath | JSONPath | 描述 | |
|---|---|---|---|
/ |
$ |
根節點 | |
. |
@ |
現行節點 | |
/ |
.or[]
|
取子節點 | |
.. |
n/a | 取父節點，Jsonpath未支持 | |
// |
.. |
就是不管位置，選擇所有符合條件的條件 | |
* |
* |
匹配所有元素節點 | |
@ |
n/a | 根據屬性訪問，Json不支持，因為Json是個Key-value遞歸結構，不需要。 | |
[] |
[] |
迭代器標示（可以在里邊做簡單的迭代操作，如數組下標，根據內容選值等） | |
[,] |
支持迭代器中做多選。 | ||
[] |
?() |
支持過濾操作. | |
| n/a | () |
支持表達式計算 | |
() |
n/a | 分組，JsonPath不支持 |
示例：
我們以拉勾網城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 為例，獲取所有城市。
# jsonpath_lagou.py
import urllib2
import jsonpath
import json
import chardet
url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
request =urllib2.Request(url)
response = urllib2.urlopen(request)
html = response.read()
# 把json格式字符串轉換成python對象
jsonobj = json.loads(html)
# 從根節點開始，匹配name節點
citylist = jsonpath.jsonpath(jsonobj,'$..name')
print citylist
print type(citylist)
fp = open('city.json','w')
content = json.dumps(citylist, ensure_ascii=False)
print content
fp.write(content.encode('utf-8'))
fp.close()
注意事項：
json.loads() 是把 Json格式字符串解碼轉換成Python對象，如果在json.loads的時候出錯，要注意被解碼的Json字符的編碼。
如果傳入的字符串的編碼不是UTF-8的話，需要指定字符編碼的參數 encoding
dataDict = json.loads(jsonStrGBK);
-
dataJsonStr是JSON字符串，假設其編碼本身是非UTF-8的話而是GBK 的，那么上述代碼會導致出錯，改為對應的：
dataDict = json.loads(jsonStrGBK, encoding="GBK"); 如果 dataJsonStr通過encoding指定了合適的編碼，但是其中又包含了其他編碼的字符，則需要先去將dataJsonStr轉換為Unicode，然后再指定編碼格式調用json.loads()
``` python
dataJsonStrUni = dataJsonStr.decode("GB2312"); dataDict = json.loads(dataJsonStrUni, encoding="GB2312");
##字符串編碼轉換
這是中國程序員最苦逼的地方，什么亂碼之類的幾乎都是由漢字引起的。
其實編碼問題很好搞定，只要記住一點：
####任何平臺的任何編碼 都能和 Unicode 互相轉換
UTF-8 與 GBK 互相轉換，那就先把UTF-8轉換成Unicode，再從Unicode轉換成GBK，反之同理。
``` python
# 這是一個 UTF-8 編碼的字符串
utf8Str = "你好地球"
# 1\. 將 UTF-8 編碼的字符串 轉換成 Unicode 編碼
unicodeStr = utf8Str.decode("UTF-8")
# 2\. 再將 Unicode 編碼格式字符串 轉換成 GBK 編碼
gbkData = unicodeStr.encode("GBK")
# 1\. 再將 GBK 編碼格式字符串 轉化成 Unicode
unicodeStr = gbkData.decode("gbk")
# 2\. 再將 Unicode 編碼格式字符串轉換成 UTF-8
utf8Str = unicodeStr.encode("UTF-8")
decode的作用是將其他編碼的字符串轉換成 Unicode 編碼
encode的作用是將 Unicode 編碼轉換成其他編碼的字符串
一句話：UTF-8是對Unicode字符集進行編碼的一種編碼方式
