Scrapy CrawlSpider了解
scrapy通用爬蟲
CrawlSpider它是Spider的派生類，Spider類的設計原則是只爬取start_url列表中的網頁，而CrawlSpider類定義了一些規則Rule來提供跟進鏈接的方便的機制，從爬取的網頁結果中獲取鏈接并繼續爬取的工作．
源碼：
class CrawlSpider(Spider):
rules = ()
def __init__(self, *a, **kw):
super(CrawlSpider, self).__init__(*a, **kw)
self._compile_rules()
#首先調用parse()來處理start_urls中返回的response對象
#parse()則將這些response對象傳遞給了_parse_response()函數處理，并設置回調函數為parse_start_url()
#設置了跟進標志位True
#parse將返回item和跟進了的Request對象
def parse(self, response):
return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)
#處理start_url中返回的response，需要重寫
def parse_start_url(self, response):
return []
def process_results(self, response, results):
return results
#從response中抽取符合任一用戶定義'規則'的鏈接，并構造成Resquest對象返回
def _requests_to_follow(self, response):
if not isinstance(response, HtmlResponse):
return
seen = set()
#抽取之內的所有鏈接，只要通過任意一個'規則'，即表示合法
for n, rule in enumerate(self._rules):
links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
#使用用戶指定的process_links處理每個連接
if links and rule.process_links:
links = rule.process_links(links)
#將鏈接加入seen集合，為每個鏈接生成Request對象，并設置回調函數為_repsonse_downloaded()
for link in links:
seen.add(link)
#構造Request對象，并將Rule規則中定義的回調函數作為這個Request對象的回調函數
r = Request(url=link.url, callback=self._response_downloaded)
r.meta.update(rule=n, link_text=link.text)
#對每個Request調用process_request()函數。該函數默認為indentify，即不做任何處理，直接返回該Request.
yield rule.process_request(r)
#處理通過rule提取出的連接，并返回item以及request
def _response_downloaded(self, response):
rule = self._rules[response.meta['rule']]
return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)
#解析response對象，會用callback解析處理他，并返回request或Item對象
def _parse_response(self, response, callback, cb_kwargs, follow=True):
#首先判斷是否設置了回調函數。（該回調函數可能是rule中的解析函數，也可能是 parse_start_url函數）
#如果設置了回調函數（parse_start_url()），那么首先用parse_start_url()處理response對象，
#然后再交給process_results處理。返回cb_res的一個列表
if callback:
#如果是parse調用的，則會解析成Request對象
#如果是rule callback，則會解析成Item
cb_res = callback(response, **cb_kwargs) or ()
cb_res = self.process_results(response, cb_res)
for requests_or_item in iterate_spider_output(cb_res):
yield requests_or_item
#如果需要跟進，那么使用定義的Rule規則提取并返回這些Request對象
if follow and self._follow_links:
#返回每個Request對象
for request_or_item in self._requests_to_follow(response):
yield request_or_item
def _compile_rules(self):
def get_method(method):
if callable(method):
return method
elif isinstance(method, basestring):
return getattr(self, method, None)
self._rules = [copy.copy(r) for r in self.rules]
for rule in self._rules:
rule.callback = get_method(rule.callback)
rule.process_links = get_method(rule.process_links)
rule.process_request = get_method(rule.process_request)
def set_crawler(self, crawler):
super(CrawlSpider, self).set_crawler(crawler)
self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)
通過下面的命令可以快速創建 CrawlSpider模板 的代碼：
scrapy genspider -t crawl 爬蟲文件 域名
rules
CrawlSpider使用rules屬性來決定爬蟲的爬取規則，并將匹配后的url請求提交給引擎,完成后續的爬取工作。
在rules中包含一個或多個Rule對象，每個Rule對爬取網站的動作定義了某種特定操作，比如提取當前相應內容里的特定鏈接，是否對提取的鏈接跟進爬取，對提交的請求設置回調函數等。
class scrapy.spiders.Rule(
link_extractor,
callback = None,
cb_kwargs = None,
follow = None,
process_links = None,
process_request = None
)
link_extractor：是一個Link Extractor對象，用于定義需要提取的鏈接。
callback： 從link_extractor中每獲取到鏈接得到Responses時，會調用參數所指定的值作為回調函數，該回調函數接收一個response作為其一個參數。
follow：是一個布爾(boolean)值，指定了根據該規則從response提取的鏈接是否需要跟進。如果callback為None，follow 默認設置為True ，否則默認為False。
process_links：指定spider中哪個的函數將會被調用，從link_extractor中獲取到鏈接列表時將會調用該函數。該方法主要用來過濾。
process_request：指定處理函數，根據該Rule提取到的每個Request時，該函數將會被調用，可以對Request進行處理，該函數必須返回Request或者None
class scrapy.linkextractors.LinkExtractor(
allow = (),
deny = (),
allow_domains = (),
deny_domains = (),
deny_extensions = None,
restrict_xpaths = (),
tags = ('a','area'),
attrs = ('href'),
canonicalize = True,
unique = True,
process_value = None
)
allow：滿足括號中“正則表達式”的URL會被提取，如果為空，則全部匹配。
deny：滿足括號中“正則表達式”的URL一定不提?。▋炏燃壐哂赼llow）。
allow_domains：會提取的鏈接的domains。
deny_domains：一定不會被提取鏈接的domains。
restrict_xpaths：使用xpath表達式，和allow共同作用過濾鏈接。
下載中間件
下載中間件：處于引擎與下載器之間
反爬措施
- 基于請求頭的反爬（合理構建請求頭）
- 基于cookie的反爬（cookie池，文件存儲，數據庫存儲）(如何獲取cookies，如何驗證cookie，怎么進行模擬登陸)
- 基于ip的反爬（代理，代理的原理，代理怎么獲?。看碓趺礄z測？代理池？）
- 基于動態加載的網頁？（ajax，js，jq）（selenium？無頭.有頭瀏覽器）
- 關于數據加密？（js，aPP，web網頁，）
@classmethod
def from_crawler(cls, crawler):
# This method is used by Scrapy to create your spiders.
s = cls()
crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
return s
def process_request(self, request, spider):
# 所有的request請求在交給下載器之前都會交給進入方法
# Called for each request that goes through the downloader middleware.
# Must either:
# - return None: continue processing this request
# - or return a Response object
# - or return a Request object
# - or raise IgnoreRequest: process_exception() methods of
# installed downloader middleware will be called
return None
def process_response(self, request, response, spider):
# 響應結果都會經過這個方法
# Called with the response returned from the downloader.
# Must either;
# - return a Response object
# - return a Request object
# - or raise IgnoreRequest
return response
def process_exception(self, request, exception, spider):
# 處理錯誤
# Called when a download handler or a process_request()
# (from other downloader middleware) raises an exception.
# Must either:
# - return None: continue processing this exception
# - return a Response object: stops process_exception() chain
# - return a Request object: stops process_exception() chain
pass
def spider_opened(self, spider):
spider.logger.info('Spider opened: %s' % spider.name)
scrapy.settings.py文件中的配置:
# 項目名稱
BOT_NAME = 'downloadmiddler'
# 爬蟲存儲的文件路徑
SPIDER_MODULES = ['downloadmiddler.spiders']
# 創建爬蟲文件的模板,創建好的文件存放在這個目錄下
NEWSPIDER_MODULE = 'downloadmiddler.spiders'
# 模擬瀏覽器請求
USER_AGENT = 'downloadmiddler (+http://www.yourdomain.com)'
# 設置是否遵守robots協議,默認TRUE遵守
ROBOTSTXT_OBEY = False
# 設置請求最大的并發數量(下載器處理的最大數量),默認16個
CONCURRENT_REQUESTS = 32
# 設置請求下載延時,默認為0.
DOWNLOAD_DELAY = 3
# 設置網站的最大并發請求數量,默認8個
CONCURRENT_REQUESTS_PER_DOMAIN = 16
# 設置某個IP下的最大并發請求數量,默認0個,如果非0,要注意網站并發就無效,請求的并發數量將只針對于IP,如果非零,下載延時則針對IP,而不是網站
CONCURRENT_REQUESTS_PER_IP = 16
# 是否攜帶cookie,默認為TRUE
COOKIES_ENABLED = False
# 是一個終端的擴展插件
TELNETCONSOLE_ENABLED = False
# 設置默認的請求頭(cookie不要放在這里)
DEFAULT_REQUEST_HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
# 設置和激活爬蟲中間鍵
SPIDER_MIDDLEWARES = {
'downloadmiddler.middlewares.DownloadmiddlerSpiderMiddleware': 543,
}
# 設置和激活下載中間鍵
DOWNLOADER_MIDDLEWARES = {
'downloadmiddler.middlewares.SeleniumDownloadMiddlerware': 543
}
# 設置和激活管道文件,數字表示優先級,越小越高
ITEM_PIPELINES = {
'downloadmiddler.pipelines.DownloadmiddlerPipeline': 300,
}
# 設置擴展
EXTENSIONS = {
'scrapy.extensions.telnet.TelnetConsole': None,
}
# 自動限速的擴展,上一個請求和下一個請求之間的時間是不固定的,默認情況下,自動限速擴是沒有打開的False
AUTOTHROTTLE_ENABLED = True
# 初始的下載延時,默認為5秒
AUTOTHROTTLE_START_DELAY = 5
# 最大下載延時
AUTOTHROTTLE_MAX_DELAY = 60
# 針對于網站的最大的并行請求數量
AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# debug調試模式,默認為False
AUTOTHROTTLE_DEBUG = False
# 設置數據緩存,默認不開啟
HTTPCACHE_ENABLED = True
# 設置緩存的超時時間,為0代表永久有效
HTTPCACHE_EXPIRATION_SECS = 0
# 設置緩存數據的存儲路徑
HTTPCACHE_DIR = 'httpcache'
# 忽略某些狀態碼的請求結果
HTTPCACHE_IGNORE_HTTP_CODES = []
# 開啟緩存的一個擴展插件
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
# cookie debug模式,默認為Fales
COOKIES_DEBUG = True
# 關于日志信息設置
Scrapy提供5層logging級別:
CRITICAL - 嚴重錯誤(critical)
ERROR - 一般錯誤(regular errors)
WARNING - 警告信息(warning messages)
INFO - 一般信息(informational messages)
DEBUG - 調試信息(debugging messages)
LOG_ENABLED 默認: True，啟用logging
LOG_ENCODING 默認: 'utf-8'，logging使用的編碼
LOG_FILE 默認: None，在當前目錄里創建logging輸出文件的文件名
LOG_LEVEL 默認: 'DEBUG'，log的最低級別
LOG_STDOUT 默認: False 如果為 True，進程所有的標準輸出(及錯誤)將會被重定向到log中。例如，執行 print "hello" ，其將會在Scrapy log中顯示
scrapy-redis
pip3 install scrapy-redis
修改設置文件
設置去重組件，使用的是scrapy_redis的去重組件，而不再使用scrapy框架自己的去重組件
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"設置調度器，使用的是scrapy_redis重寫的調度器，而不再使用scrapy框架自己的調度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"可以實現斷點爬?。ㄕ埱蟮挠涗洸粫G失，會存儲在redis數據庫中，不會清除redis的任務隊列）
SCHEDULER_PERSIST = True設置任務隊列的模式（三選一）
SpiderPriorityQueue是scrapy_redis默認使用的隊列模式（有自己的優點）
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
使用了隊列的形式，任務先進先出
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
采用了核的形式，任務先進后出
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"
- 實現這個管道，可以將爬蟲端獲取的item數據，統一保存在redis數據庫中
'scrapy_redis.pipelines.RedisPipeline': 400,
- 數據庫的相關信息
指定要存儲的redis數據庫的主機ip
REDIS_HOST = '127.0.0.1'
指定redis數據庫主機的端口
REDIS_PORT = 6379
"xcfCrawlSpider:requests"：存儲的是請求的request對象
"xcfCrawlSpider:items":存儲的爬蟲端獲取的items數據
"xcfCrawlSpider:dupefilter"：存儲的指紋(為了實現去重)
127.0.0.1:6379> type xcfCrawlSpider:requests
zset
127.0.0.1:6379> type xcfCrawlSpider:items
list
127.0.0.1:6379> type xcfCrawlSpider:dupefilter
set
第一中情況：只設置settings.py文件,并沒有實現分布式,知識使用了sctapy_redis的數據存儲和去重功能
第二中情況：實現通用爬蟲的分布式爬蟲
from scrapy_redis.spiders import RedisCrawlSpider
#繼承制：RedisCrawlSpider
class MyCrawler(RedisCrawlSpider):
"""Spider that reads urls from redis queue (myspider:start_urls)."""
name = 'mycrawler_redis'
allowed_domains = ['dmoz.org']
#缺少了start_url,多了redis_key:根據redis_key從redis
#數據庫中獲取任務
redis_key = 'mycrawler:start_urls'
啟動爬蟲：scrapy crawl 爬蟲名稱
現象:爬蟲處于等待狀態
需要設置起始任務：
lpush mycrawler:start_urls 目標url
第三中情況：實現scrpy.spider爬蟲的分布式爬蟲
from scrapy_redis.spiders import RedisSpider
#繼承制：RedisSpider
class MyCrawler(RedisSpider):
"""Spider that reads urls from redis queue (myspider:start_urls)."""
name = 'mycrawler_redis'
allowed_domains = ['dmoz.org']
#缺少了start_url,多了redis_key:根據redis_key從redis
#數據庫中獲取任務
redis_key = 'mycrawler:start_urls'
啟動爬蟲：scrapy crawl 爬蟲名稱
現象:爬蟲處于等待狀態
需要設置起始任務：
lpush mycrawler:start_urls 目標url
