這幾天在學習模擬登陸，而登陸離不開http中Cookie技術
Cookie
由于HTTP是一種無狀態的協議，服務器單從網絡連接上無從知道客戶身份。怎么辦呢？就給客戶端們頒發一個通行證吧，每人一個，無論誰訪問都必須攜帶自己通行證。這樣服務器就能從通行證上確認客戶身份了。這就是Cookie的工作原理。
分析網頁數據
我們用Chrome來打開豆瓣（F12開發者工具），先輸入一個錯誤的賬戶信息來觀察瀏覽器是如何發送請求的
從瀏覽器的請求可以發現幾個關鍵的信息
- 登錄的 URL 地址是 https://accounts.douban.com/login
- 登錄需要提供的表單數據有7個：
- source:index_nav
- redir:https://www.douban.com/
- form_email:286210002@qq.com
- form_password:123
- captcha-solution:errfdf
- captcha-id:lWtHfckzUAF4PoAtFtQdsyZy:en
- login:登錄
我們還需要獲取驗證碼元素，我們在開發者工具中切換到Elements一欄
從中我們得到了驗證碼元素在img標簽內
img id="captcha_image"
最后我們還需要captcha-id元素，Ctrl+U打開頁面源碼（在登陸頁面打開），Ctrl+F搜索captcha-id
好了，到了這一步所需的數據全部獲取完畢
實戰應用
登陸所需要的模塊
- Requests
- BeautifulSoup4
pip install requests
pip install BeautifulSoup4
http.cookiejar 模塊可用于自動處理HTTP Cookie，LWPCookieJar 對象就是對 cookies 的封裝，它支持把 cookies 保存到文件以及從文件中加載。
而 session 對象 提供了 Cookie 的持久化，連接池功能，可以通過 session 對象發送請求
首先從cookies 文件中加載 cookie信息，因為首次運行還沒有cookie，會出現 LoadError 異常。
import requests
from http import cookiejar
session = requests.session()
session.cookies = cookiejar.LWPCookieJar(filename='cookies')
try:
print(session.cookies)
session.cookies.load(ignore_discard=True)
except LoadError:
print('no cookie')
獲取驗證碼
def get_captcha():
'''
把驗證碼圖片保存到當前目錄，手動識別驗證碼
:return:
'''
r = requests.post(download_url, data=data, headers=headers)
page = r.text
soup = BeautifulSoup(page, 'html.parser')
image = soup.find('img', attrs={'id': 'captcha_image'}).get('src')
s = session.get(captcha_url, headers=headers)
with open('captcha.jpg', 'wb') as f:
f.write(s.content)
captcha = input('Please input the captcha: ')
captcha_id = soup.find('input', {'type': 'hidden', 'name': 'captcha-id' }).get('value')
return captcha, captcha_id
登陸
def login():
captcha, captcha_id = get_captcha()
# 增加表數據
data['captcha-solution'] = captcha
data['captcha-id'] = captcha_id
response = session.post(download_url, data=data, headers=headers)
page = response.text
print(page)
session.cookies.save()
第一次登陸后session 會自動把 服務端的返回的cookie 信息填充到 session.cookies 對象中，下次登陸時就不需要再輸入賬號密碼
完整代碼
歡迎訪問我的博客Treehl的博客
