通過本文了解scrapy的基本使用,并通過一個demo感受它的強(qiáng)大。
scrapy
來自Scrapy官網(wǎng)的介紹:
Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from data mining to monitoring and automated testing.
我們暫時就認(rèn)為它是一個功能加大的爬蟲框架即可。
Quotes to Scrape
我們要練習(xí)抓取的是scrapy官方提供的網(wǎng)站:quotes.toscrape.com。對這個網(wǎng)站的抓取讓我們對scrapy框架有個基本的認(rèn)識,可以更輕松的入門。因?yàn)樵谖易畛踅佑|框架的時候,總覺得它是一個很神秘很復(fù)雜的東西,還不如使用requests庫更容易。
這個網(wǎng)站主要是一些名人名言,雖然看似簡陋,卻包含了文本,標(biāo)簽,超鏈接等大多數(shù)網(wǎng)站都具備的格式。所以這個網(wǎng)站用來入門scrapy是不二選擇啊!
Demo
抓取流程
我們通過抓取第一頁的信息,獲取該頁的內(nèi)容和下一頁的鏈接,實(shí)現(xiàn)翻頁抓取,然后將抓取到的網(wǎng)頁內(nèi)容保存為特定的格式并存入數(shù)據(jù)庫。
創(chuàng)建項(xiàng)目
在命令行輸入
scrapy startproject quotes
然后輸入命令創(chuàng)建spider
cd quotes
scrapy genspider quote quotes.toscrape.com
創(chuàng)建好spider文件后,我們就可以繼續(xù)完善代碼了。
初步測試
我們先來測試下框架,在生成好的spider文件中,我們先抓取網(wǎng)頁的狀態(tài)碼和網(wǎng)頁源碼。
代碼為:
# -*- coding: utf-8 -*-
import scrapy
class QuoteSpider(scrapy.Spider):
name = "quote"
allowed_domains = ["quotes.toscrape.com"]
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
print(response.status)
print(response.text)
這是運(yùn)行的部分截圖,正常輸出了網(wǎng)頁的狀態(tài)碼和網(wǎng)頁源碼。
接下來我們就開始正式抓取了。
完善代碼
items.py
我們要抓取這個網(wǎng)頁的名人名言,作者和標(biāo)簽,首先要在items.py文件下定義字段。
import scrapy
class QuotesItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
text = scrapy.Field()
author = scrapy.Field()
tags = scrapy.Field()
spider.py
在講這部分代碼時,先介紹一個強(qiáng)大的工具:shell,有了這個工具,在抓取網(wǎng)頁內(nèi)容的時候會更加得心應(yīng)手。
在命令行輸入:
scrapy shell http://quotes.toscrape.com/
這樣就進(jìn)入了命令行交互模式,做一些調(diào)試。
這是我做的一些簡單調(diào)試,相信你也會充分利用這個工具。
繼續(xù)完善代碼。
# -*- coding: utf-8 -*-
import scrapy
from quotes.items import QuotesItem
class QuoteSpider(scrapy.Spider):
name = "quote"
allowed_domains = ["quotes.toscrape.com"]
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
item = QuotesItem()
quotes = response.css('.quote')
for quote in quotes:
text = quote.css('.text::text').extract_first()
author = quote.css('.author::text').extract_first()
tags = quote.css('.tags .tag::text').extract()
item['text'] = text
item['author'] = author
item['tags'] = tags
yield item
這樣基本能看到抓取的結(jié)果了:
不過只有第一頁的內(nèi)容,接下來我們要抓取所有頁的內(nèi)容。想要抓取下一頁的內(nèi)容也非常簡單,只要在本頁找到下一頁的鏈接,生成下一頁的鏈接后不斷重復(fù)這個過程,直到最后一頁停止抓取。
抓取所有頁數(shù)的完整代碼為:
# -*- coding: utf-8 -*-
import scrapy
from quotes.items import QuotesItem
class QuoteSpider(scrapy.Spider):
name = "quote"
allowed_domains = ["quotes.toscrape.com"]
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
item = QuotesItem()
quotes = response.css('.quote')
for quote in quotes:
text = quote.css('.text::text').extract_first()
author = quote.css('.author::text').extract_first()
tags = quote.css('.tags .tag::text').extract()
item['text'] = text
item['author'] = author
item['tags'] = tags
yield item
next = response.css('.pager .next a::attr(href)').extract_first()
url = response.urljoin(next)
yield scrapy.Request(url=url, callback=self.parse)
解釋一下新增的三行代碼。第一行用來找到下一頁的超鏈接;第二行生成一個絕對的URL,第三行使用Request方法,傳入新生成的url,使用回調(diào)來遞歸調(diào)用parse函數(shù)解析新生成的url。運(yùn)行以后就能采集所有頁的名人名言了。
保存結(jié)果
保存到本地文件
抓取好網(wǎng)頁的內(nèi)容如何保存呢?可以使用scrapy的命令保存成多種文件格式。
輸入命令:
scrapy crawl quote -o quotes.json
運(yùn)行以后會生成一個json文件,保存了剛才我們抓取到的所有內(nèi)容。
保存到數(shù)據(jù)庫
在保存到數(shù)據(jù)庫前,我們先要對抓取到的文本做一些處理,如果名人名言的長度大于50,那就切斷并顯示為省略號。實(shí)現(xiàn)也很簡單,要用到pipelines.py文件。
處理文本的代碼為:
from scrapy.exceptions import DropItem
class TextPipeline(object):
def __init__(self):
self.limit = 50
def process_item(self, item, spider):
if item['text']:
if len(item['text']) > self.limit:
item['text'] = "".join([item['text'][0:self.limit].strip(), "..."])
return item
else:
return DropItem('Missing Text.')
然后在settings.py文件中開啟。
ITEM_PIPELINES = {
'quotes.pipelines.TextPipeline': 300,
}
這樣設(shè)置以后,運(yùn)行得到的結(jié)果就是我們已經(jīng)處理后的結(jié)果了。接下來我們就要保存到數(shù)據(jù)庫中。
我們先在setting.py文件中插入mongo數(shù)據(jù)庫的相關(guān)信息:
MONGO_URI = 'localhost'
MONGO_DB = 'quotes'
回到piplines.py文件編輯:
import pymongo
class MongoPipline(object):
def __init__(self, mongo_uri, mongo_db):
self.mongo_uri = mongo_uri
self.mongo_db = mongo_db
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_uri=crawler.settings.get('MONGO_URI'),
mongo_db=crawler.settings.get('MONGO_DB')
)
def open_spider(self, spider):
self.client = pymongo.MongoClient(self.mongo_uri)
self.db = self.client[self.mongo_db]
def process_item(self, item, spider):
if self.db['quotes'].insert(dict(item)):
print("ok.")
return item
這段代碼實(shí)現(xiàn)的功能是傳入?yún)?shù)后,獲取mongo數(shù)據(jù)庫的配置信息,然后在spider運(yùn)行前開啟mongo服務(wù),運(yùn)行過程中插入到數(shù)據(jù)庫。
再次運(yùn)行后打開mongo數(shù)據(jù)庫,就能看到處理過的文本信息都已經(jīng)保存好了。
總結(jié)
原文見博客:AlPha - scrapy學(xué)習(xí)筆記(一)
本文涉及的代碼見 github。
從這個簡單的項(xiàng)目中我們就能體會到scrapy的強(qiáng)大。不過這只是冰山一角,需要我們學(xué)習(xí)的內(nèi)容還有很多很多,在之后的教程中會更加詳細(xì)的介紹scrapy每一個模塊的用法。
讓我們共同進(jìn)步! :-)