requests和元素定位
requests
requests：HTTP for Humans相比之前使用的urllib2,requests稱得上是for humans.
這里介紹使用requests需要注意的幾個地方：
簡單使用
import requests
r = requests.get('https://www.baidu.com')
print r.text
s = requests.Session()
res = s.get('http://www.baidu.com')
print res.text
s.close()
也支持with的上下文管理，能夠自動關閉s
with requests.Session() as s:
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
上面第二種方式能夠使用一些高級特性，比如cookie的保持。
r.text就是我們要處理的網頁，下一篇文章介紹元素定位來獲取我們想要的數據。
response解碼
請求發出后，Requests會基于HTTP頭部對響應的編碼作出有根據的推測。當你訪問 r.text 之時，Requests會使用其推測的文本編碼。
當r.text顯示亂碼時，那就是requests不能自動解碼，這時候可以查看網站源碼，meta標簽中charset的值會說明網站采用的編碼，再使用r.encoding即可按照對應格式解碼：
r.encoding = '編碼格式'
響應內容
二進制響應內容，從r.content中獲取
>>> from PIL import Image
>>> from StringIO import StringIO
>>> i = Image.open(StringIO(r.content))
json響應內容
>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.json()
原始套接字響應內容
>>> r = requests.get('https://github.com/timeline.json', stream=True)
>>> r.raw
定制請求頭
定制請求頭，請求頭中可以添加http頭(包括Useragent,content-type等等)，負載(data=或者json=,使用json=的時候直接傳dict格式，而不需要json.dumps轉換)
>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> headers = {'content-type': 'application/json'}
>>> r = requests.post(url, data=json.dumps(payload), headers=headers)
使用代理
最新版本的requests目前支持http,https,socks4,socks5代理，通過proxies=設置
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
requests.get('http://example.org', proxies=proxies)
在最新的version 2.10.0中已經添加對socks的支持，老版本需要更新requests
pip install requests -U
pip install requests[socks]
proxies = {
'http': 'socks5://user:pass@host:port',
'https': 'socks5://user:pass@host:port'
}
在實際使用中發現socks4的使用方式和http一樣
若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/
proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}
SSL證書校驗
在最上面額度例子中，獲取https://www.baidu.com的網頁中，實際上就已經開啟了證書校驗，證書校驗使用verify 參數，默認值為True
requests.get('https://www.baidu.com', verify=True)
對于已認證CA簽發的證書默認都會通過驗證，而對于私有證書，需要指定證書的存放路徑，或者將verify 值設為False
requests.get('https://kennethreitz.com', verify=False)
requests.get('https://kennethreitz.com', cert=('/path/server.crt', '/path/key'))
身份認證
很多網站需要登錄后才能獲取更多的內容，在實現登錄前需要抓包分析網站使用的何種登錄方式，詳細此系列請見第6篇文章。
requests異常處理
我們需要保證爬蟲能夠一直跑下去，不會因為異常而退出，
那么我們就需要異常處理。
requests的異常我一般這樣處理：
res = None
try:
res = requests.get(test_url, headers=headers, proxies=proxies, timeout=10)
except:
"""process exception situation"""
if res is not None and res.status_code == 200:
"""process success situation"""
上面大部分都是requests官網中提到的內容，只是我總結了下實際使用中遇到的一些常用的需要注意的地方，供大家參考使用。
在實際抓取中，還會遇到動態頁面，圖片識別等問題，后面都會介紹
