各位在爬蟲的時候,有時需要遍歷所有的頁碼,但有的網站最后一頁頁碼是以...方式存在的,一次次點擊肯定不可能啦。所以,大家可以用下面這種辦法
京東某商品評價頁.jpg
如上圖所見,最后一頁是看不到的。這時我們按下F12(我用的是Chrome),打開Network,在Disable cache上打勾
Chrome開發者工具.png
然后右鍵重新加載下,就能看到最后一頁頁碼是多少了。
最后一頁頁碼.png
剛才測試了下,發現只對1000以內的評論數有效。
各位在爬蟲的時候,有時需要遍歷所有的頁碼,但有的網站最后一頁頁碼是以...方式存在的,一次次點擊肯定不可能啦。所以,大家可以用下面這種辦法
如上圖所見,最后一頁是看不到的。這時我們按下F12(我用的是Chrome),打開Network,在Disable cache上打勾
然后右鍵重新加載下,就能看到最后一頁頁碼是多少了。
剛才測試了下,發現只對1000以內的評論數有效。