簡單NodeJS爬蟲和使用cookie進(jìn)行模擬登錄

? ? ? ?NodeJS做爬蟲也是很方便的。因為nodejs有HTTP模塊直接可以使用,而且還有很多簡單粗暴的庫可以即拿即用。

? ? ? 首先,需要的庫文件,

? ? ? 1、superagent 是個輕量的的 http 方面的庫,就像jquery的post,和get一樣,很簡單。

? ? ? 2、cheerio是一個服務(wù)端操作DOM的庫,簡直就是服務(wù)端的jquery。


? ? ?好的,我們需要抓取某個網(wǎng)站的題目。如下圖。這個系統(tǒng)下,及時是游客狀態(tài)也是可以查看題目的,只是答案我們看不到。會顯示我沒有登錄。


現(xiàn)在我們有個需求,先抓取15頁,根據(jù)URL的參數(shù)可以頁數(shù)就是地址中 的P。并且要有本地cookie,獲取cookie的方法,最簡單的是,利用瀏覽器登錄網(wǎng)站之后,在控制臺直接打印document.cookie,得到之后,復(fù)制進(jìn)txt文本。用fs模塊讀取并轉(zhuǎn)換成字符串。在superagent請求時,把cookie傳進(jìn)去。



好了,控制臺已經(jīng)不輸出“未登錄”,說明已經(jīng)登錄成功了。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • Node基本 node的最大特性莫過于基于事件驅(qū)動的非阻塞I/O模型。 node通過事件驅(qū)動的方式處理請求,無須為...
    AkaTBS閱讀 2,215評論 0 11
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 173,524評論 25 708
  • 最近在搗鼓一個仿簡書的開源項目,從前端到后臺,一戰(zhàn)擼到底。就需要數(shù)據(jù)支持,最近mock數(shù)據(jù),比較費(fèi)勁。簡書的很多數(shù)...
    jiayisheji閱讀 2,388評論 5 15
  • Swift是一門面向協(xié)議的語言,在使用Swift時我們已經(jīng)充分享受到了面向協(xié)議編程帶給我們的便利,但是Swift相...
    Lilin_Coder閱讀 2,791評論 4 13
  • 1、三十秒法則 30秒能用來做什么? 30秒,銀行點(diǎn)鈔機(jī)可以點(diǎn)700張人民幣, 央視播音員可以播4...
    朱朱的餐具閱讀 229評論 4 7