scrapy設置隨機請求頭的兩種方法

1.在settings.py中設置USER_AGENT_LIST

需要先導入random模塊

然后在meddlewares.py中創建RandomUserAgentMiddleWare()類.重寫scrapy內置的UserAgentMiddleware.


這種最后需要在settings.py中設置DOWNLOAD_MIDDLEWARES,將系統默認的隨機請求頭給禁掉,再添加我們自己定義的隨機UserAgent



2.通過pip install fake-useragent,從而直接通過fake_useragent第三方庫來隨機生成請求頭.

需要先導入UserAgent

from fake_useragen timport UserAgent

需要在settings.py中設置

# 用于配置隨機user-agent的類型，如果值是random，表示任意隨機一個；如果配置的是chrome，則只隨機chrome中的user-agent.

RANDOM_UA_TYPE ='chrome'


最后同上面一樣需要在settings.py中設置DOWNLOAD_MIDDLEWARES,將系統默認的隨機請求頭給禁掉,再添加我們自己定義的隨機UserAgent


?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容