Scrapy "Filtered duplicate request" 結束運行

也是看別人的，并不清楚原理。。

dont_filter=True #加一行這個

yield scrapy.Request(
    info_url,
    cookies=self.cookie,
    callback=self.parse_info,
    dont_filter=True,
    meta={
        'item': item,
        'date': meta_data['date'],
        'weibo_id': meta_data['weibo_id']
    }
)
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 173,544評論 25贊 708
  • 懶癌治療第2天，今天要寫的兩個字是--沉淀。我說想要參加一個小貴的培訓，朋友告訴我，可以先沉淀一下再進行深度學習。...
    愛笑的沅霖閱讀 159評論 0贊 0
  • 當我開始閱讀這本書時，我深深的被它吸引了，它一開始就告訴我們故事的結局，莉迪亞失蹤了，莉迪亞死了，面對如此冷酷的結...
    Catherine_龍貓閱讀 255評論 0贊 0
  • 首先使用命令iptables -P INPUT ACCEPT允許所有連接，否則容易把自己關在外邊。然后使用ipta...
    夕立空閱讀 594評論 0贊 0
  • 高天宇回到住處看到藍菲在客廳那里端著一杯白開水一口氣喝完，又到了一杯就這樣喝著有些發愣的現在屋里。藍菲看見高天宇發...
    古怪的精靈閱讀 450評論 3贊 2