centos系統下通過scrapyd部署python的scrapy

介紹

本篇記錄下我學習用scrapyd部署scrapy程序的過程。scrapyd的資料可以參見：scrapyd官網。

一，安裝scrapyd

安裝后會出現在python的bin目錄下。

1.安裝命令：pip install scrapyd

2.運行scrapyd

輸入：/usr/local/python3.6/bin/scrapyd? 或者

scrapyd添加軟鏈接

輸入：ln -s /usr/local/python3.6/bin/scrapyd /usr/local/scrapyd

輸入：scrapyd

訪問 http://localhost:6800/ 或者 IP訪問? http://ip:68000

二，安裝上傳工具(scrapyd-client)

1.安裝命令：pip install scrapyd-client

2.發布-(拷貝scrapyd-deploy到爬蟲目錄下)

3.發布-(修改爬蟲的scapy.cfg文件)

4.發布-(上傳scrapy到scrapyd)

python? /項目根目錄/scrapyd-deploy xx -p prodjectName

5.使用linux自帶的調度工具執行剛剛發布的爬蟲