系統學習了解Python爬蟲有20天時間了，做了一些爬蟲小實驗，如：
- 爬取51JOB崗位要求及信息 《當我們學Python時，我們學什么》；
- Python模擬登錄爬取QQ群論壇數據，《用Python玩轉QQ群論壇》，《成長會不完全大數據-Python爬蟲案例》;
- 用Scrapy爬取找到簡書簽約作者，《Python爬蟲學習：簡書簽約作者知多少？》；
- 工作中爬取優酷視頻，爬取篩選趕集、58簡歷庫。
但是以上爬取的數據量都不大，最多的有一千多數條數據。于是想做一次大數據量的爬取。選擇的數據源是簡書用戶，使用的是Scrapy框架。同時也想對簡書的用戶做一個數據分析。
要爬取大量數據，使用Scrapy要考慮的是新的url在哪里產生，解析的方法如何循環調用，也就是爬取的深度和廣度。在Scrapy官方文檔上的案例過于簡單，實現的過程遇到不少問題，如scrapy中的方法如何調度，如何返回，循環中如何去抓取需要的另一個字段，再如何返回等等， 有些可能是我思維的局限，問題先記下，一步步解決。
一、考慮爬蟲從哪里入口？
簡書的用戶id不是一個自增的序列數，無法使用一個循環就可以跑下所有用戶。一開始我是想從一篇熱門文章的閱讀數或者喜歡數開始抓取用戶，熱門文章的閱讀數能達到6W+，喜歡數在6～7K。但下一步數據再怎么爬，沒有想好，閱讀和喜歡的用戶都是最普通用戶，他們的關注和粉絲很少，而且閱讀用戶是Ajax數據。還有一個問題，數據如何去重。
后來，我再看上次爬取的簡書簽約作者時，發現有8個簽約作者粉絲都超過1W，彭小六粉絲近3W。于是就覺得從這里作為入口，會是一個比較好的方案，簡單易行，使用幾個不多的url作為待爬取的入口，便可以抓取到大量的數據。最后我選擇幾個入口用戶是，簡書、彭小六、剽悍一只貓、入江之鯨、陶瓷兔子5個用戶url，爬取他們的粉絲用戶信息。
沒有把所有簽約作者url一起列為入口，是因為我現在數據存為csv格式，考慮可能超過65535行。后來我看了一下，特征用戶還可以包括簡叔，簡書首席拒稿官。
要爬取的用戶信息：
class JsuserItem(Item):
nickname = Field() #用戶昵稱
subscriptions = Field() # 用戶關注數
fans = Field() #粉絲數
url = Field() #用戶首頁url
articles = Field() #寫的文章數
words = Field() #寫作的字數
likes = Field() #收到的喜歡數
comments = Field() # 發表的評論數，這個數據跳到另外url，還要做分頁處理，這次沒有做。
regtime = Field() # 與評論數一樣，下次再爬取
collected = Field() #文集數量
二、如何使用Scrapy循環爬取數據
在上一篇文章爬蟲框架Scrapy快速入門中數據提交，獲取新的url，url規則沒有變，抓取的頁面結構沒有變，所以都是在parse()中實現。這次不一樣。
1、列出start_urls， parse()方法會自動從這個待爬取的url列表依次執行。
2、每一個用戶的粉絲是分頁加載的。所以需要一個方法獲取粉絲分頁url，分頁頁面每一行數據顯示了一個用戶文章數、字數、喜歡數、粉絲數，不需要進入到用戶首頁。
要獲得用戶注冊時間，第一篇文章發表時間，發表過多少評論，是需要進到用戶首頁的，這也是下一步抓取要解決的。
在parse()方法中，我的目標就是拿到所有分頁url，parse_item()中解析出用戶信息并提交。在parse()方法中循環調用parse_item()。把所有特征用戶的粉絲數據都抓取出來。
注意：
1）在構造分頁url時，查看到一個參數“_=”后面是一串數字，在瀏覽器中驗證去掉又不行，猜測是時間戳。就用time構造出一個，測試正確。
2）在scrapy中方法調用，采用回調的方式。
for i in range(1, pages + 1):
nurl = response.url + '?_' + str(t) + '&page=' + str(i) #構造出分頁的url
yield Request(nurl, callback=self.parse_item)
看一下爬取到的數據：
把數據導入數說立方，去重后的條數為64714條，重復率為1.2%，可見用戶在粉以上幾個簽約作者時重合度并不高。
你堅持寫7篇就超過90%的用戶。更多數據分析，另外寫一篇來解讀。下一步的學習放在mongodb，redis上，練習10W+級別的數據爬取，以及Scrapy處理復雜的流程和性能優化。
