本章主要介紹如果再pycharm上配置運行scrapy,這樣可以在pycharm打斷點調(diào)試,方便抓取數(shù)據(jù)
1. 編寫main.py文件
import os
import sys
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
scrapy.cmdline.execute(["scrapy", "crawl", "zhihu"])
- ‘zhihu’ 換成你爬蟲的名字,這里以知乎的爬蟲為例
- mian.py 文件需要放在與scrapy.cfg文件同級的目錄
存放位置
2. 設置pycharm
Run -> Edit Configuration -> + -> python
pycharm設置
總結(jié): 好了!這樣設置后就能在pycharm運行scrapy了!