2020-03-23
最近自己又玩了玩爬蟲，由于目標(biāo)網(wǎng)站跳轉(zhuǎn)很多而且是要下載文件，所以選擇了Scrapy框架。
對于Scrapy框架久仰大名，知道它內(nèi)部封裝實(shí)現(xiàn)了異步并發(fā)，但前兩年專職做爬蟲的時(shí)候用的是NodeJs自行開發(fā)的分布式微服務(wù)任務(wù)處理框架，所以也沒有認(rèn)真研究過Scrapy，這次正好借機(jī)學(xué)習(xí)研究并應(yīng)用一番。
起
首先當(dāng)然是要看文檔，這次為了節(jié)省時(shí)間，我看的是中文版文檔。在這還是要小小地吐槽一下，翻譯質(zhì)量確實(shí)不高，專業(yè)術(shù)語壓根錯的離譜，但畢竟人生苦短，有經(jīng)驗(yàn)的人應(yīng)該都不會輕易被誤導(dǎo)。
文檔雖然翻譯不精準(zhǔn)，但步驟和案例也算比較詳細(xì)，所以前面步驟都如Scrapy 教程一般順利：
- 用
scrapy startproject MyProject創(chuàng)建項(xiàng)目 - 在
/spiders/目錄下修改編寫自己的爬蟲邏輯，通過yield和callback來實(shí)現(xiàn)異步和回調(diào) - 使用
scrapy shell "target_url"來單頁調(diào)試 - 使用
response.xpath()來解析頁面，跟BeautifuSoap4一樣（Python和Node都有這個庫）
承
然后在詳細(xì)說一下處理文件下載的部分，簡單情況下如下載和處理文件和圖像文檔一般：
- 1.通過配置
setting.py來啟用文件管道和設(shè)置文件下載存儲地址
ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1}
FILES_STORE = '/path/to/valid/dir'
- 2.在
items.py進(jìn)行聲明，這樣拿到目標(biāo)文件的url之后直接賦給item.file_urls后再調(diào)用yield item就可以了不用管了
import scrapy
class xxxxdiscrapyItem(scrapy.Item):
file_urls=scrapy.Field()
file_paths=scrapy.Field()
轉(zhuǎn)
是不是很簡單？
But, demo is demo，我的文件下載全部失敗了，加了一堆print之后看到問題在于“下載文件的時(shí)候沒有在headers里設(shè)置referer，導(dǎo)致被識別為爬蟲，因而403”。
這個其實(shí)比較奇怪，因?yàn)橛^察日志可以看到前面頁面跳轉(zhuǎn)的時(shí)候，一直都是帶著referer的，不知道為啥到了下載文件的時(shí)候就沒有，啥都不帶了，有知道的小伙伴請幫忙釋疑！
一番搜索后找到的最為合意的帖子是這篇scrapy爬取福利圖片解決防盜鏈的問題，當(dāng)然這是官方文檔擴(kuò)展媒體管道的基礎(chǔ)上進(jìn)行操作的。
根據(jù)這篇博客進(jìn)行代碼修改，把獲取到target_url的頁面page_url設(shè)置它的referer后依然有問題，一開始是各種fail，填完坑后看日志記錄沒啥異常，但是開始統(tǒng)計(jì)每分鐘下載多少多少個item了，但文件依然一個都沒有下載下來，又是一番對比才解決：
-
1. file_path的重寫有坑，需要給參數(shù)默認(rèn)值
怎么發(fā)現(xiàn)這個坑的，我已經(jīng)忘了，但我知道填掉它是因?yàn)槲艺业搅?code>scarpy中這個函數(shù)的源代碼https://github.com/scrapy/scrapy/blob/master/scrapy/pipelines/files.py：
def file_path(self, request, response=None, info=None):
media_guid = hashlib.sha1(to_bytes(request.url)).hexdigest()
media_ext = os.path.splitext(request.url)[1]
# Handles empty and wild extensions by trying to guess the
# mime type then extension or default to empty string otherwise
if media_ext not in mimetypes.types_map:
media_ext = ''
media_type = mimetypes.guess_type(request.url)[0]
if media_type:
media_ext = mimetypes.guess_extension(media_type)
return 'full/%s%s' % (media_guid, media_ext)
或許這就是那些老鳥所說的Python多態(tài)的暗坑之一吧
但這一點(diǎn)在教程：擴(kuò)展媒體管道中絲毫都沒有體現(xiàn)出來，我甚至去查過英文原版的，一樣沒有提及，所以這鍋翻譯不背。
-
2. ITEM_PIPELINES的設(shè)置需要更改
因?yàn)樽远x的MyFilesPipeline會重載原生的FilesPipeline
ITEM_PIPELINES = {
'xxxxScrapy.pipelines.MyFilesPipeline': 1,
}
MyFilesPipeline的代碼如下：
import os
from urllib.parse import urlparse
from scrapy.pipelines.files import FilesPipeline
from scrapy import Request
from scrapy.exceptions import DropItem
class MyFilesPipeline(FilesPipeline):
# 示例中沒有提及這里需要給response和info設(shè)置默認(rèn)值
def file_path(self, request, response=None, info=None):
return os.path.basename(urlparse(request.url).path)
def get_media_requests(self, item, info):
for file_url in item['file_urls']:
yield Request(file_url, headers={'referer':item['referer'], 'scheme':"https"})
def item_completed(self, results, item, info):
file_paths = [x['path'] for ok, x in results if ok]
if not file_paths:
raise DropItem("Item contains no files")
item['file_paths'] = file_paths
return item
-
3.items的定義需要增加聲明
import scrapy
class xxxxscrapyItem(scrapy.Item):
file_urls=scrapy.Field()
file_paths=scrapy.Field()
referer=scrapy.Field()
如果不添加referer的 聲明的話，就會看到所有的item處理結(jié)果都是Item contains no files,因?yàn)?code>KeyError: 'xxxxxxItem does not support field: referer'。
其實(shí)對于referer缺失還有一種臨時(shí)性的解決方案，那就是不重寫FilesPipeline而是啟用DownloaderMidderware然后在process_request的時(shí)候進(jìn)行處理：
- 1）啟用
DownloaderMidderware
DOWNLOADER_MIDDLEWARES = {
'xxxxScrapy.middlewares.xxxxscrapyDownloaderMiddleware': 543,
}
- 2）添加處理
def process_request(self, request, spider):
# Called for each request that goes through the downloader
# middleware.
# Must either:
# - return None: continue processing this request
# - or return a Response object
# - or return a Request object
# - or raise IgnoreRequest: process_exception() methods of
# installed downloader middleware will be called
if not request.headers.get("referer"):
request.headers['referer'] = request.url
pprint(request.headers)
return None
至于說它是 臨時(shí)性方案，是因?yàn)樗皇前炎约旱?code>url塞進(jìn)referer了，如果反爬蟲機(jī)制檢測稍微精細(xì)一點(diǎn)，它就失敗了，畢竟它不夠真。
合
還有一個要注意的問題就是，如果把yield item的操作封裝了的話，比如封裝為goto_download函數(shù)，那么調(diào)用這個函數(shù)的時(shí)候一定要添加return，否則就跟（原創(chuàng)）一個Promise...then...catch的小坑一樣會迷失，這是異步編程的規(guī)范問題。
# the urls should be a list
# need be returned when calling it as "return self.goto_download(urls, referer)"
def goto_download(self, urls, referer):
if isinstance(urls, str):
urls = [urls]
item = xxxxscrapyItem()
item['file_urls'] = urls
item['referer'] = referer # important!
yield item
