【Python3爬蟲】最新的模擬登錄新浪微博教程

一、寫在前面

首先呢,由于之前重裝系統,又要重新配置環境,然后還有一些別的事,導致我一直沒有寫爬蟲了,不過現在又可以繼續寫了。

然后我這次說的模擬登錄新浪微博呢,不是使用Selenium模擬瀏覽器操作,畢竟Selenium的效率是真的有些低,所以我選擇用Python發送請求實現模擬登錄,整個過程還算是有點小曲折吧。


二、開發環境

Windows10 + Python3.7 + Pycharm + Fiddler


三、頁面分析

首先打開新浪微博,網址為:https://weibo.com/,這里我們只需要關注登錄這一部分,如下圖:

這樣看是看不出來東西的,打開開發者工具,刷新一下頁面,找找看有沒有什么可疑的東西,然后就能找到下面這個包:

看到prelogin就能猜到應該是和登錄有關的了,于是點擊“Preview”查看具體內容:

到這里還是什么都看不出來,也不知道這些數據有什么用。這時候Fiddler就能派上用場了,首先打開Fiddler,然后在網頁上輸入用戶名和密碼并登錄新浪微博,登錄成功之后在Fiddler中找尋相關信息,可以找到下面這個url:

https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)

?點開之后可以看到攜帶了很多參數:

在這些參數中,我們需要關注的參數為:su,sp,servertime,nonce,pubkey,rsakv。其中su是用戶名加密后的結果,sp是密碼加密后的結果,servertime是一個時間戳,而剩余三個參數都來源于我們前面找到的prelogin.php。那么現在的問題就在于用戶名和密碼是怎么加密的?




小編給大家推薦一個學習氛圍超好的地方,python交流企鵝裙:【611+530+101】適合在校大學生,小白,想轉行,想通過這個找工作的加入。裙里有大量學習資料,有大神解答交流問題,每晚都有免費的直播課程


四、加密規則

首先還是找到prelogin.php,在它攜帶的參數中看到有一個ssologin.js,猜測它可能和加密規則有關系,所以找一下這個ssologin.js。

這里需要打開新浪的登錄頁面:https://login.sina.com.cn/,然后右鍵查看源碼,再搜索“ssologin.js”,就能找到這個js文件了:

https://passport.sinaimg.cn/js/sso/ssologin.js

?打開之后搜索“username”,就能找到加密規則了,如下圖(紅框框出來的分別是用戶名加密規則和密碼加密規則):

用戶名的加密是很簡單的,使用base64加密就行了。但是對于密碼的加密有一些復雜,雖然有if和else,但其實這里我們只需要看if部分:

request.servertime =me.servertime;

request.nonce =me.nonce;

request.pwencode ="rsa2";

request.rsakv =me.rsakv;

var RSAKey =new sinaSSOEncoder.RSAKey();

RSAKey.setPublic(me.rsaPubkey,"10001");

password = RSAKey.encrypt([me.servertime,me.nonce].join("\t") +"\n" + password)

密碼的加密過程為:首先創建一個rsa公鑰,公鑰的兩個參數都是固定值,第一個參數是prelogin.php中的pubkey,第二個參數是加密的ssologin.js文件中指定的10001,這兩個值需要先從16進制轉換成10進制,其中10001轉成十進制為65537。最后再加入servertime時間戳和nonce字段,以及一個“\t”和一個"\n"進行進一步加密。


五、主要代碼

?由于使用了rsa加密,所以需要使用導入rsa模塊,沒有安裝的可以使用pip install rsa進行安裝。

?這里主要說一下加密用戶名和密碼部分的代碼:

# Base64加密用戶名

def encode_username(usr):

? ? return base64.b64encode(usr.encode('utf-8'))[:-1]

需要注意的是要使用base64加密,需要先轉換成字節型數據,而且加密之后末尾會多一個"\n",因此需要用[:-1]來去掉多余字符。

# RSA加密密碼

def encode_password(code_str):

? ? pub_key = rsa.PublicKey(int(pubkey, 16), 65537)

? ? crypto = rsa.encrypt(code_str.encode('utf8'), pub_key)

? ? return binascii.b2a_hex(crypto)? # 轉換成16進制

在加密密碼的時候傳入的這個code_str參數就是servertime + '\t' + nonce + '\n' + password得到的結果,而在整個加密過程完成之后要轉換成16進制再返回。

但是做了這兩步之后并沒有真的登錄微博,還需要提取鏈接并進行跳轉,不過對于我們來說做到這一步就已經夠了,我們只需要保存此時的Cookie就行了,為了驗證這個Cookie是否有效,我還寫了一段代碼進行測試,這里就不放出來了。

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,563評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,694評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,672評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,965評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,690評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,019評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,013評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,188評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,718評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,438評論 3 360
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,667評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,149評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,845評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,252評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,590評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,384評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,635評論 2 380

推薦閱讀更多精彩內容