Python版本管理：pyenv和pyenv-virtualenv
Scrapy爬蟲入門教程一 安裝和基本使用
Scrapy爬蟲入門教程二 官方提供Demo
Scrapy爬蟲入門教程三 命令行工具介紹和示例
Scrapy爬蟲入門教程四 Spider（爬蟲）
Scrapy爬蟲入門教程五 Selectors（選擇器）
Scrapy爬蟲入門教程六 Items（項(xiàng)目）
Scrapy爬蟲入門教程七 Item Loaders（項(xiàng)目加載器）
Scrapy爬蟲入門教程八 交互式 shell 方便調(diào)試
Scrapy爬蟲入門教程九 Item Pipeline（項(xiàng)目管道）
Scrapy爬蟲入門教程十 Feed exports（導(dǎo)出文件）
Scrapy爬蟲入門教程十一 Request和Response（請求和響應(yīng)）
Scrapy爬蟲入門教程十二 Link Extractors（鏈接提取器）

開發(fā)環(huán)境：
Python 3.6.0 版本 （當(dāng)前最新）
Scrapy 1.3.2 版本 （當(dāng)前最新）

導(dǎo)出文件

新版本0.10。

實(shí)現(xiàn)爬蟲時(shí)最常需要的特征之一是能夠正確地存儲所過濾的數(shù)據(jù)，并且經(jīng)常意味著使用被過濾的數(shù)據(jù)（通常稱為“export feed”）生成要由其他系統(tǒng)消耗的“導(dǎo)出文件” 。

Scrapy使用Feed導(dǎo)出功能即時(shí)提供此功能，這允許您使用多個(gè)序列化格式和存儲后端來生成包含已抓取項(xiàng)目的Feed。

序列化格式

為了序列化抓取的數(shù)據(jù)，F(xiàn)eed導(dǎo)出使用項(xiàng)導(dǎo)出器。這些格式是開箱即用的：

• JSON
• JSON lines
• CSV
• XML

但您也可以通過FEED_EXPORTERS設(shè)置擴(kuò)展支持的格式 。

JSON

• FEED_FORMAT： json
• 使用出口： JsonItemExporter
• 如果您對大型Feed使用JSON，請參閱此警告。

JSON lines

• FEED_FORMAT： jsonlines
• 使用出口： JsonLinesItemExporter

CSV

• FEED_FORMAT： csv
• 使用出口： CsvItemExporter
• 指定要導(dǎo)出的列及其順序使用 FEED_EXPORT_FIELDS。其他Feed導(dǎo)出程序也可以使用此選項(xiàng)，但它對CSV很重要，因?yàn)榕c許多其他導(dǎo)出格式不同，CSV使用固定標(biāo)頭。

XML

• FEED_FORMAT： xml
• 使用出口： XmlItemExporter

Pickle

• FEED_FORMAT： pickle
• 使用出口： PickleItemExporter

Marshal

• FEED_FORMAT： marshal
• 使用出口： MarshalItemExporter

存儲

使用Feed導(dǎo)出時(shí)，您可以使用URI（通過FEED_URI設(shè)置）定義在哪里存儲Feed 。Feed導(dǎo)出支持由URI方案定義的多個(gè)存儲后端類型。

支持開箱即用的存儲后端包括：

• 本地文件系統(tǒng)
• FTP
• S3（需要 botocore或 boto）
• 標(biāo)準(zhǔn)輸出

如果所需的外部庫不可用，則某些存儲后端可能無法使用。例如，S3后端僅在安裝了botocore 或boto庫時(shí)可用（Scrapy僅支持boto到Python 2）。

存儲URI參數(shù)

存儲URI還可以包含在創(chuàng)建訂閱源時(shí)被替換的參數(shù)。這些參數(shù)是：

• %(time)s - 在創(chuàng)建訂閱源時(shí)由時(shí)間戳替換
• %(name)s - 被蜘蛛名替換

任何其他命名參數(shù)將替換為同名的spider屬性。例如， 在創(chuàng)建訂閱源的那一刻，%(site_id)s將被spider.site_id屬性替換。

這里有一些例子來說明：

• 存儲在FTP中使用每個(gè)蜘蛛一個(gè)目錄：
• ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json
• 存儲在S3使用每個(gè)蜘蛛一個(gè)目錄：
• s3://mybucket/scraping/feeds/%(name)s/%(time)s.json

存儲后端

本地文件系統(tǒng)

訂閱源存儲在本地文件系統(tǒng)中。

URI方案： file
示例URI： file:///tmp/export.csv
所需的外部庫：none
請注意，（僅）對于本地文件系統(tǒng)存儲，如果指定絕對路徑，則可以省略該方案/tmp/export.csv。這只適用于Unix系統(tǒng)。

FTP

訂閱源存儲在FTP服務(wù)器中。

• URI方案： ftp
• 示例URI： ftp://user:pass@ftp.example.com/path/to/export.csv
• 所需的外部庫：none

S3

訂閱源存儲在Amazon S3上。

• URI方案： s3
• 示例URI：
• s3://mybucket/path/to/export.csv
• s3://aws_key:aws_secret@mybucket/path/to/export.csv
• 所需的外部庫：botocore或boto

AWS憑證可以作為URI中的用戶/密碼傳遞，也可以通過以下設(shè)置傳遞：

• AWS_ACCESS_KEY_ID
• AWS_SECRET_ACCESS_KEY

標(biāo)準(zhǔn)輸出

Feed被寫入Scrapy進(jìn)程的標(biāo)準(zhǔn)輸出。

• URI方案： stdout
• 示例URI： stdout:
• 所需的外部庫：none

設(shè)置

這些是用于配置Feed導(dǎo)出的設(shè)置：

• FEED_URI （強(qiáng)制性）
• FEED_FORMAT
• FEED_STORAGES
• FEED_EXPORTERS
• FEED_STORE_EMPTY
• FEED_EXPORT_ENCODING
• FEED_EXPORT_FIELDS

FEED_URI

默認(rèn)： None

導(dǎo)出Feed的URI。請參閱支持的URI方案的存儲后端。

啟用Feed導(dǎo)出時(shí)需要此設(shè)置。

FEED_FORMAT

要用于Feed的序列化格式。有關(guān)可能的值，請參閱 序列化格式。

FEED_EXPORT_ENCODING

默認(rèn)： None

要用于Feed的編碼。

如果取消設(shè)置或設(shè)置為None（默認(rèn)），它使用UTF-8除了JSON輸出，\uXXXX由于歷史原因使用安全的數(shù)字編碼（序列）。

使用utf-8，如果你想U(xiǎn)TF-8 JSON了。

FEED_EXPORT_FIELDS

默認(rèn)： None

要導(dǎo)出的字段的列表，可選。示例：。FEED_EXPORT_FIELDS = ["foo", "bar", "baz"]

使用FEED_EXPORT_FIELDS選項(xiàng)定義要導(dǎo)出的字段及其順序。

當(dāng)FEED_EXPORT_FIELDS為空或無（默認(rèn)）時(shí)，Scrapy使用在Item蜘蛛正在產(chǎn)生的dicts 或子類中定義的字段。

如果導(dǎo)出器需要一組固定的字段（CSV導(dǎo)出格式為這種情況 ），并且FEED_EXPORT_FIELDS為空或無，則Scrapy會嘗試從導(dǎo)出的??數(shù)據(jù)中推斷字段名稱 - 當(dāng)前它使用第一個(gè)項(xiàng)目中的字段名稱。

FEED_STORE_EMPTY

默認(rèn)： False

是否導(dǎo)出空Feed（即，沒有項(xiàng)目的Feed）。

FEED_STORAGES
默認(rèn)： {}

包含您的項(xiàng)目支持的其他Feed存儲后端的字典。鍵是URI方案，值是存儲類的路徑。

FEED_STORAGES_BASE

默認(rèn)：

{
    '': 'scrapy.extensions.feedexport.FileFeedStorage',
    'file': 'scrapy.extensions.feedexport.FileFeedStorage',
    'stdout': 'scrapy.extensions.feedexport.StdoutFeedStorage',
    's3': 'scrapy.extensions.feedexport.S3FeedStorage',
    'ftp': 'scrapy.extensions.feedexport.FTPFeedStorage',
}

包含Scrapy支持的內(nèi)置Feed存儲后端的字典。您可以通過分配其中None的URI方案 來禁用這些后端FEED_STORAGES。例如，要禁用內(nèi)置FTP存儲后端（無替換），請將其放置在settings.py：

FEED_STORAGES = {
    'ftp': None,
}

FEED_EXPORTERS

默認(rèn)： {}

包含您的項(xiàng)目支持的其他導(dǎo)出器的字典。鍵是序列化格式，值是Item exporter類的路徑。

FEED_EXPORTERS_BASE

默認(rèn)：

{
    'json': 'scrapy.exporters.JsonItemExporter',
    'jsonlines': 'scrapy.exporters.JsonLinesItemExporter',
    'jl': 'scrapy.exporters.JsonLinesItemExporter',
    'csv': 'scrapy.exporters.CsvItemExporter',
    'xml': 'scrapy.exporters.XmlItemExporter',
    'marshal': 'scrapy.exporters.MarshalItemExporter',
    'pickle': 'scrapy.exporters.PickleItemExporter',
}

一個(gè)包含Scrapy支持的內(nèi)置feed導(dǎo)出器的dict。您可以通過分配其中None的序列化格式來禁用任何這些導(dǎo)出器FEED_EXPORTERS。例如，要禁用內(nèi)置的CSV導(dǎo)出器（無替換），請將其放置在settings.py：

FEED_EXPORTERS = {
    'csv': None,
}