scrapy適合一次性爬取全站，如果我想多次爬取，主目錄頁面難免會出現重復，去重增量爬取就很有必要了。
我在網上搜到了這樣的文章scrapy+redis增量爬取,
邏輯是前一次存取每次爬過的url進數據庫，這一次在pipeline中再把數據庫中已爬url讀取存進redis里，然后比對這次爬的item里的url，一樣就不存。

看了這個邏輯，我覺得核心思想有道理，用redis鍵值比對，不過，更優化的邏輯應該是我先比對url，重復的url直接不request，而不是還去request-response-獲取到item到pipeline再來處理。

所以文章的邏輯都對，只是篩選位置不對，應該放在spider里。

import scrapy
from pyquery import PyQuery as pq
from rscrapydouban.items import RscrapydoubanItem
import sqlite3
import redis
import pandas as pd


class JianshuCrawler(scrapy.Spider):
    name = 'jianshu'
    start_urls =['http://www.lxweimin.com/users/3a2f7a33a8cc/timeline']


    def parse(self, response):
  
        self.conn = sqlite3.connect('jianshu.sqlite')
        self.cur = self.conn.cursor()
        redis_db = redis.Redis(host='127.0.0.1', port='6379')
        redis_data_dict = "dup_url"
        redis_db.flushdb()
        sql = 'select url from js'
        df = pd.read_sql(sql, self.conn)
        self.conn.commit()
        self.conn.close()
        if len(df['url']):
            for url in df['url'].tolist():
                redis_db.hset(redis_data_dict, url, 0)
        res = pq(response.body)
        for title in res('#list-container .title').items():
            urlpa ='http://www.lxweimin.com'+title.attr('href')
            if redis_db.hexists(redis_data_dict, urlpa):
                pass
            else:
                yield scrapy.Request(urlpa,callback=self.parse_detai)  

  def parse_detail(self,response):
        res = pq(response.body)
        jsitems = RscrapydoubanItem()
        jsitems['name'] = res('.article .title').text()
        jsitems['url'] =response.url
        return jsitems

Redis相關的有三條：
redis_db.flushdb()清空數據庫db，這是粗暴的解決方案，可以保證每次都能把所有的url都放入，假如也是增量添加的話，可以考慮在item中添加一項flag，已表示這次新增的量，每次讀取數據庫得到flag只添加flag相同的項，然后flag+1為這次的項。但是數據io一個也是讀，一堆也是讀，所以我倒覺得這樣url的增量無關緊要吧。

redis_db.hset(redis_data_dict, url, 0)
這個是把url作為keys存入redis，至于values無所謂
redis_db.hexists(redis_data_dict, urlpa)
判斷url是否存在了

反思：
1.初始request的額外需求應該可以放在spider中間件中的process_start_requests,但是然后剩查重還是要在spider里，這里又要再連接一次數據庫感覺有些麻煩，故全部放在spider。

2.增量我覺得有兩種，一種就是上面說的，每次爬的url不一樣，想從不同頁面繼續爬。比方說簡書里新增一篇文章就有一個新的url，比如什么值得買雖然page1的內容永遠是新的，但是每個div里的內容頁面確是獨一無二的。
一種是每次新增的內容在相同的頁面里，比如文章的修改，或者論壇的評論之類的，這種可能就要在pipeline里來去重了。