一、Scrapy是什么？
先看官網上的說明，http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/overview.html
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。
其最初是為了頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。
Scrapy是一個非常好用的爬蟲框架，它不僅提供了一些開箱即用的基礎組件，還提供了強大的自定義功能。
框架學習的規律就是修改配置文件，填充代碼就可以了。復雜之處就是一開始代碼很多，不同的功能模塊，scrapy也是這樣的嗎？
二、Scrapy安裝
看了一個網上的文章，說windows下安裝的比較多，Scrapy前置需要安裝很多包，也有各種各樣的問題，我是在mac下安裝的，安裝了兩次都比較順利。（python的版本是2.7.10 系統自帶）
pip install scrapy
提示six 需要升級，用命令升級失敗，提示一個文件夾沒有權限，修改文件夾權限后仍然不行，查看是一個臨時文件。想卸載后six再安裝也行。直接去下載six源碼安裝，就好了。再 pip install scrapy ,順利！
三、Scrapy創建項目
Scrapy 提供了一個命令來創建項目 scrapy 命令，在命令行上運行：
scrapy startproject jianshu
我們創建一個項目jianshu用來爬取簡書首頁熱門文章的所有信息。
jianshu/
scrapy.cfg
jianshu/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
spiders文件夾下就是你要實現爬蟲功能（具體如何爬取數據的代碼），爬蟲的核心。在spiders文件夾下自己創建一個spider，用于爬取簡書首頁熱門文章。
scrapy.cfg是項目的配置文件。
settings.py用于設置請求的參數，使用代理，爬取數據后文件保存等。
四、Scrapy爬取簡書首頁熱門文章
1）新建jianshuSpider
class Jianshu(CrawlSpider):
name='jianshu' # 運行時這個爬蟲的名字
start_urls=['http://www.lxweimin.com']
url = 'http://www.lxweimin.com'
def parse(self, response):
selector = Selector(response)
#....
# response就是返回的網頁數據
# 處理好的數據放在items中，在items.py設置好你要處理哪些數據字段，這里我們抓取文章標題，url，作者，閱讀數，喜歡，打賞數
## 解析處理數據的地方，用xpath解析處理數據
要解析處理哪些數據，在items.py中定義好，相當于Java中的實體類：
from scrapy.item import Item,Field
class JianshuItem(Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = Field()
author = Field()
url = Field()
readNum = Field()
commentNum = Field()
likeNum = Field()
2）xpath的數據解析：
articles = selector.xpath('//ul[@class="article-list thumbnails"]/li')
for article in articles:
title = article.xpath('div/h4/a/text()').extract()
url = article.xpath('div/h4/a/@href').extract()
author = article.xpath('div/p/a/text()').extract()
解析的數據保存：
item['title'] = title
item['url'] = 'http://www.lxweimin.com/'+url[0]
item['author'] = author
這時數據經解析處理好了，還有最重要一步，提交：
yield item
OK! 萬事俱備，數據保存在哪里，以什么格式？
在settings.py中加入兩行代碼：
FEED_URI=u'/Users/apple/Documents/jianshu-hot.csv'
FEED_FORMAT='CSV'
如何運行這個爬蟲？命令行：
scrapy crawl jianshu
是不是把簡書首頁上的文章信息都爬取到本地的csv文件里來了。
等等還有一個問題，首頁熱門還有更多文章，點擊“點擊查看更多”就可以加載。怎樣才能一網打盡把所有信息都爬取下來呢？就是要遞歸調用parse()方法。
第一步，找到“點擊查看更多”對應的url
next_link = selector.xpath('//*[@id="list-container"]/div/button/@data-url').extract()[0]
第二步，遞歸調用，將新的url傳給parse方法，直到最后一頁為止。
if next_link :
next_link = self.url+ str(next_link)
print next_link
yield Request(next_link,callback=self.parse) #遞歸調用并提交數據
大功告成，來看看成果。
PS:
1、增加所有文章的縮略圖下載。一行代碼：
urllib.urlretrieve(image[0], '/Users/apple/Documents/images/%s-%s.jpg' %(author[0],title[0]))
注意：1)此處取出來的作者、標題還是集合，需要加上索引。2)有些文章是沒有縮略圖的。
