scrapy+redis增量爬蟲

scrapy適合一次性爬取全站,如果我想多次爬取,主目錄頁面難免會出現重復,去重增量爬取就很有必要了。
我在網上搜到了這樣的文章scrapy+redis增量爬取,
邏輯是前一次存取每次爬過的url進數據庫,這一次在pipeline中再把數據庫中已爬url讀取存進redis里,然后比對這次爬的item里的url,一樣就不存。

看了這個邏輯,我覺得核心思想有道理,用redis鍵值比對,不過,更優化的邏輯應該是我先比對url,重復的url直接不request,而不是還去request-response-獲取到item到pipeline再來處理。

所以文章的邏輯都對,只是篩選位置不對,應該放在spider里。

import scrapy
from pyquery import PyQuery as pq
from rscrapydouban.items import RscrapydoubanItem
import sqlite3
import redis
import pandas as pd


class JianshuCrawler(scrapy.Spider):
    name = 'jianshu'
    start_urls =['http://www.lxweimin.com/users/3a2f7a33a8cc/timeline']


    def parse(self, response):
  
        self.conn = sqlite3.connect('jianshu.sqlite')
        self.cur = self.conn.cursor()
        redis_db = redis.Redis(host='127.0.0.1', port='6379')
        redis_data_dict = "dup_url"
        redis_db.flushdb()
        sql = 'select url from js'
        df = pd.read_sql(sql, self.conn)
        self.conn.commit()
        self.conn.close()
        if len(df['url']):
            for url in df['url'].tolist():
                redis_db.hset(redis_data_dict, url, 0)
        res = pq(response.body)
        for title in res('#list-container .title').items():
            urlpa ='http://www.lxweimin.com'+title.attr('href')
            if redis_db.hexists(redis_data_dict, urlpa):
                pass
            else:
                yield scrapy.Request(urlpa,callback=self.parse_detai)  

  def parse_detail(self,response):
        res = pq(response.body)
        jsitems = RscrapydoubanItem()
        jsitems['name'] = res('.article .title').text()
        jsitems['url'] =response.url
        return jsitems

Redis相關的有三條:
redis_db.flushdb()清空數據庫db,這是粗暴的解決方案,可以保證每次都能把所有的url都放入,假如也是增量添加的話,可以考慮在item中添加一項flag,已表示這次新增的量,每次讀取數據庫得到flag只添加flag相同的項,然后flag+1為這次的項。但是數據io一個也是讀,一堆也是讀,所以我倒覺得這樣url的增量無關緊要吧。

redis_db.hset(redis_data_dict, url, 0)
這個是把url作為keys存入redis,至于values無所謂
redis_db.hexists(redis_data_dict, urlpa)
判斷url是否存在了

反思:
1.初始request的額外需求應該可以放在spider中間件中的process_start_requests,但是然后剩查重還是要在spider里,這里又要再連接一次數據庫感覺有些麻煩,故全部放在spider。

2.增量我覺得有兩種,一種就是上面說的,每次爬的url不一樣,想從不同頁面繼續爬。比方說簡書里新增一篇文章就有一個新的url,比如什么值得買雖然page1的內容永遠是新的,但是每個div里的內容頁面確是獨一無二的。
一種是每次新增的內容在相同的頁面里,比如文章的修改,或者論壇的評論之類的,這種可能就要在pipeline里來去重了。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容