項目Github地址: https://github.com/Henryhaohao/Wenshu_Spider
中國裁判文書網 - http://wenshu.court.gov.cn/
| Author | Henryhaohao |
|---|---|
| 1073064953@qq.com |
免責聲明
軟件均僅用于學習交流，請勿用于任何商業用途！感謝大家！
項目介紹
該項目為Scrapy框架爬取中國裁判文書網案件數據（2018-10-20最新版）
- 項目Github地址: https://github.com/Henryhaohao/Wenshu_Spider
- 項目文件: Wenshu_Project
- 運行須知:
數據庫配置 : 運行前根據自己需要修改settings.py中的MongoDB數據庫的配置
反爬問題 : 由于文書網的反爬監控很嚴格（一級驗證碼,二級驗證碼,JavaScript反爬,IP檢測...）,所有采用阿布云動態隧道代理方案,每一次request請求都是不同的IP,這樣就不會觸發反爬檢測了。還是挺好用的,基本上每個IP都可以用,主要也還方便,直接用它的代理服務器發出請求,不用像一般的代理IP那樣還需要取出IP,再代入IP進行請求。代理相關配置在middlewares.py的類ProxyMiddleware中。
爬取策略問題 : 現在的文書網總量已經高達5千多萬份了,但是每個篩選條件下只能查看20頁,每頁10條。本項目以爬取1996-2000年的所有文書為例,大家有好的爬取方案,可以自行修改Param參數即可。
速度問題 : 配置在setting.py中:DOWNLOAD_DELAY = 0（無delay實現請求0延時）;CONCURRENT_REQUESTS_PER_SPIDER = 5 （開啟線程數為5）;因為我用的代理配置是默認的每秒5個請求數,所以在此設置線程數為5;如果想爬取更快,可以加大代理請求數,最高可以加到100的請求數,我滴天呀,那得多快啊！我現在的速度大概每秒爬取4個案件,加到100的話,估計每秒80個,一分鐘4800個,一小時288000,一天就是6912000,目前總量5千4百萬,大概8~9天就能爬完,如果在加上redis分布式的話,哇,不敢想象！
運行環境
-
Version: Python3
-
JS解析環境: Nodejs
有不少小伙伴向我反映運行后報錯:execjs._exceptions.ProgramError: TypeError: 'key' 為 null 或不是對象
解決方案如下:
如果pyexecjs包沒問題的話,那就是沒有安裝nodejs的問題; 因為你沒有安裝nodejs的話默認js解析環境是JScript, 但是項目中的js代碼有的地方需要node環境才能運行, 所以需要裝一下Nodejs再運行就好了;
注意: nodejs安裝完成后記得把IDE關閉重新打開，比如pycharm，不然IDE不會監測到jscript引擎的變化，導致依然報錯
關于NodeJs安裝可以參考這篇文章: https://www.cnblogs.com/liuqiyun/p/8133904.html
安裝依賴庫
pip3 install -r requirements.txt
存儲數據庫
Database: MongoDB
相關截圖
- 運行過程
- 數據截圖
- 阿布云
