urllib庫
python內置的HTTP請求庫
四個模塊:request,parse,error,rebotparser
一。request模塊
請求對象組成：url，參數，請求頭，請求體四部分。
response = urllib.request.urlopen(url,data=None,timeout,..)
response = urllib.request.urlopen(Request對象）
Request對象
urllib.request.Request(url,data,headers,method)
data是作為請求體進行傳遞的
data = bytes(utllib.parse.urlencode(map),'utf-8')
headers的一些屬性：
User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發出的請求
Referer：有的服務器會識別headers中的referer是不是自己
Content-Type : 在使用 REST 接口時，服務器會檢查該值，用來確定 HTTP Body 中的內容該怎樣解析。
application/xml ： 在 XML RPC，如 RESTful/SOAP 調用時使用
application/json ： 在 JSON RPC 調用時使用
application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會導致服務器拒絕服務
例如
headers={
'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Referer':'http://www.zhihu.com/articles'
}
response對象
響應對象組成：狀態碼，響應頭，響應主體
狀態碼，響應頭，響應主體
response.status
response.getheaders() ? ?/ ? response.getheaders("server")
response.read().decode('utf-8') ? ?# 如果不加decode，則返回的是bytes類型的流
二。parse模塊（URL解析和URL引用）
1.URL解析：urlparse將url解析成各個組件和urlunparse將組件拼裝成url
urlparse
urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)
# scheme指定協議類型，如果url中已經存在，則scheme不起作用
＃allow_fragments為false時，fragment將為空，＃后的內容將前移至path中，如果path之后的參數全為空
＃URL組成
URL:scheme://netloc/path;parameters?query#fragment
urljoin
將前后兩個url進行拼接，每個url分成６個部分，后面那個參數會被分割后會填充前面那個參數中分割后不存在的那個部分，雙方都有的話，將以前者為準
urljoin('http://www.cwi.nl/%7Eguido/Python.html','FAQ.html')
>>>'http://www.cwi.nl/%7Eguido/FAQ.html'
urlencode
將字典轉為query的形式
from urllib.parse import urlencode
params = {
? ? 'name' :'tim',
? ? 'age' :23
}
print(urlencode(params))
>>> name='tim'&age=23
urlunparse
將url的６個部分拼接成url
data = {'','',...}
三。error模塊
由request產生。主要存在兩個類：URLError，HTTPError（繼承URLError）
URLError屬性：reason
HTTPError屬性：code，reason，headers
四。rebotparser模塊
用來解析robots.txt文件，不常用。
五。高級用法
1. Opener
當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面，我們都是使用的默認的opener，也就是urlopen。它是一個特殊的opener，可以理解成opener的一個特殊實例，傳入的參數僅僅是url，data，timeout。
如果我們需要用到Cookie或者Proxy，只用這個opener是不能達到目的的，所以我們需要創建更一般的opener來實現對Cookie和Proxy的設置。
2. proxy代理
import urllib.request
proxy_handler = ProxyHandler({'http':'http://127.0.0.1:9999',...})
opener = build_opener(proxy_handler)
response = opener.open('http://..')
3. Cookielib
主要用來提供可存儲的cookie對象。可以利用本模塊的CookieJar類的對象來捕獲cookie并在后續連接請求時重新發送。可以通過F12->Application->Cookies中查看
CookieJar —-派生—->FileCookieJar? —-派生—–>MozillaCookieJar和LWPCookieJar
import http.cookiejar
#聲明一個CookieJar對象實例來保存cookie
cookie = http.cookiejar,CookieJar()
#利用urllib庫request模塊的HTTPCookieProcessor對象來創建cookie處理器
handler=urllib.request.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener=urllib.request.build_opener(handler)
#此處的open方法同urllib2的urlopen方法，也可以傳入request
response=opener.open('http://www.baidu.com')
for item in cookie:
? ? print'Name = '+item.name
? ? print'Value = '+item.value
使用MozillaCookieJar和LWPCookieJar可以將cookie保存到文件中，使用save來存儲，使用load來加載。
#設置保存cookie的文件，同級目錄下的cookie.txt
filename='cookie.txt'
#聲明一個MozillaCookieJar對象實例來保存cookie，之后寫入文件
cookie=http.cookiejar.MozillaCookieJar(filename)
#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器
handler=urllib2.request.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener=urllib.request.build_opener(handler)
#創建一個請求，原理同urllib2的urlopen
response=opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True,ignore_expires=True)
使用load來加載cookie文件到cookie
cookie = http.cookiejar.MozillaCookieJar()
cookie.load(filename,ignore_discard=True,ignore_expires=True)
handler=urllib2.request.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener=urllib.request.build_opener(handler)
#創建一個請求，原理同urllib2的urlopen
response=opener.open("http://www.baidu.com")
