一、準備工作
用來實現分布式爬蟲的項目是：爬取知乎用戶信息項目
注冊了兩個服務器：阿里云服務器和騰訊云服務器，使用的系統都是windows系統
二、scrapy-redis組件的使用
將知乎用戶項目下載至本地，并使用git命令新建分支以方便對項目進行更改而不影響之前的項目：
git checkout -b distributed #新建分支
git branch #切換分支
在項目settings.py中加入：
SCHEDULER = "scrapy_redis.schedler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://120.xx.xx.xx:password@120.xx.xx.xx:6379' #我用的是阿里云服務器，此處包括服務器的用戶名、密碼、服務器公網IP、端口號
ITEM_PIPELINES = {
'zhihuuser.pipelines.MongoPipeline': 300,
# 'scrapy_redis.pipelines.RedisPipeline': 301,
}
將更改后的項目上傳至GitHub：
git add -A
git commit -m "add distributed"
git push origin distributed
三、在本機及騰訊云上進行協同爬取
在本機上可以直接使用命令運行項目：
scrapy crawl zhihu
在騰訊云服務器上需將在分支distributed上的項目克隆下來，然后再運行：
git clone http://github.com/xxx/xxx -b distributed
這樣子就可以讓本機及騰訊云服務器對知乎用戶項目進行協同爬取，各自爬取到的數據保存在各自的MongoDB數據庫--
本機MongoDB數據庫：
本機MongoDB.png
騰訊云MongoDB數據庫：
騰訊云MongoDB.png
阿里云redis數據庫：
阿里云redis數據庫.png
四、問題
在此過程中出現各種問題：
1、服務器無法進行遠程連接
2、數據庫無法進行遠程連接
3、redis、mongodb數據庫出現的報錯
