一、寫在前面
首先呢,由于之前重裝系統,又要重新配置環境,然后還有一些別的事,導致我一直沒有寫爬蟲了,不過現在又可以繼續寫了。
然后我這次說的模擬登錄新浪微博呢,不是使用Selenium模擬瀏覽器操作,畢竟Selenium的效率是真的有些低,所以我選擇用Python發送請求實現模擬登錄,整個過程還算是有點小曲折吧。
二、開發環境
Windows10 + Python3.7 + Pycharm + Fiddler
三、頁面分析
首先打開新浪微博,網址為:https://weibo.com/,這里我們只需要關注登錄這一部分,如下圖:
這樣看是看不出來東西的,打開開發者工具,刷新一下頁面,找找看有沒有什么可疑的東西,然后就能找到下面這個包:
看到prelogin就能猜到應該是和登錄有關的了,于是點擊“Preview”查看具體內容:
到這里還是什么都看不出來,也不知道這些數據有什么用。這時候Fiddler就能派上用場了,首先打開Fiddler,然后在網頁上輸入用戶名和密碼并登錄新浪微博,登錄成功之后在Fiddler中找尋相關信息,可以找到下面這個url:
https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)
?點開之后可以看到攜帶了很多參數:
在這些參數中,我們需要關注的參數為:su,sp,servertime,nonce,pubkey,rsakv。其中su是用戶名加密后的結果,sp是密碼加密后的結果,servertime是一個時間戳,而剩余三個參數都來源于我們前面找到的prelogin.php。那么現在的問題就在于用戶名和密碼是怎么加密的?
小編給大家推薦一個學習氛圍超好的地方,python交流企鵝裙:【611+530+101】適合在校大學生,小白,想轉行,想通過這個找工作的加入。裙里有大量學習資料,有大神解答交流問題,每晚都有免費的直播課程
四、加密規則
首先還是找到prelogin.php,在它攜帶的參數中看到有一個ssologin.js,猜測它可能和加密規則有關系,所以找一下這個ssologin.js。
這里需要打開新浪的登錄頁面:https://login.sina.com.cn/,然后右鍵查看源碼,再搜索“ssologin.js”,就能找到這個js文件了:
https://passport.sinaimg.cn/js/sso/ssologin.js
?打開之后搜索“username”,就能找到加密規則了,如下圖(紅框框出來的分別是用戶名加密規則和密碼加密規則):
用戶名的加密是很簡單的,使用base64加密就行了。但是對于密碼的加密有一些復雜,雖然有if和else,但其實這里我們只需要看if部分:
request.servertime =me.servertime;
request.nonce =me.nonce;
request.pwencode ="rsa2";
request.rsakv =me.rsakv;
var RSAKey =new sinaSSOEncoder.RSAKey();
RSAKey.setPublic(me.rsaPubkey,"10001");
password = RSAKey.encrypt([me.servertime,me.nonce].join("\t") +"\n" + password)
密碼的加密過程為:首先創建一個rsa公鑰,公鑰的兩個參數都是固定值,第一個參數是prelogin.php中的pubkey,第二個參數是加密的ssologin.js文件中指定的10001,這兩個值需要先從16進制轉換成10進制,其中10001轉成十進制為65537。最后再加入servertime時間戳和nonce字段,以及一個“\t”和一個"\n"進行進一步加密。
五、主要代碼
?由于使用了rsa加密,所以需要使用導入rsa模塊,沒有安裝的可以使用pip install rsa進行安裝。
?這里主要說一下加密用戶名和密碼部分的代碼:
# Base64加密用戶名
def encode_username(usr):
? ? return base64.b64encode(usr.encode('utf-8'))[:-1]
需要注意的是要使用base64加密,需要先轉換成字節型數據,而且加密之后末尾會多一個"\n",因此需要用[:-1]來去掉多余字符。
# RSA加密密碼
def encode_password(code_str):
? ? pub_key = rsa.PublicKey(int(pubkey, 16), 65537)
? ? crypto = rsa.encrypt(code_str.encode('utf8'), pub_key)
? ? return binascii.b2a_hex(crypto)? # 轉換成16進制
在加密密碼的時候傳入的這個code_str參數就是servertime + '\t' + nonce + '\n' + password得到的結果,而在整個加密過程完成之后要轉換成16進制再返回。
但是做了這兩步之后并沒有真的登錄微博,還需要提取鏈接并進行跳轉,不過對于我們來說做到這一步就已經夠了,我們只需要保存此時的Cookie就行了,為了驗證這個Cookie是否有效,我還寫了一段代碼進行測試,這里就不放出來了。