爬蟲框架scrapy篇七——中間件的相關操作

1、下載中間件添加cookie

修改middlewares.py文件下xxxDownloaderMiddleware方法process_request

class CxrDownloaderMiddleware:
    @classmethod
    def from_crawler(cls, crawler):
        # This method is used by Scrapy to create your spiders.
        s = cls()
        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
        return s

    def process_request(self, request, spider):
        # # 在這里添加cookie到請求頭
        cookies = {
            '_gid': 'GA1.2.1669620947.1730686665',
            '_gat_gtag_UA_87592301_7': '1',
            '_ga_YKC8ZQQ4FF': 'GS1.1.1730699582.2.1.1730700166.0.0.0',
            '_ga': 'GA1.1.1502111631.1730686665',
            # 添加更多cookie
        }
        request.cookies.update(cookies)
        # print(f'下載中間件添加cookie:{cookies}')
        return None

有一點需要注意，如果是在pipelines管道內自己寫的請求內容，在中間件加cookie是不管用的，需要自己手動加上cookie

待續(xù)。。

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容