2018-12-29

1. 安裝scrapy
   1.1 使用pycharm新建虛擬環境(python_scrapy)
   1.2 安裝scrapy之前，先下載安裝twisted(注意對應自己的python、操作系統版本!!)，不安裝twisted，直接安裝scrapy會報錯
   
   下載twisted包

# 使用pip install (下載的twisted文件位置)安裝twisted

安裝twisted

1.3 安裝scrapy

pip install scrapy

安裝scrapy

使用scrapy查看結果

2. 在pycharm中使用scrapy框架
   2.1 創建爬蟲項目，這里使用crawl模板，可以生成更接近我們想要的此次爬蟲項目的初始版本。

# 創建項目名稱
scrapy startproject <項目名稱>
# cd到項目目錄下，生成爬蟲文件
scrapy genspider 模板名稱 爬取的網址 --template=要使用的模板

創建的項目瀏覽

設置settings文件，防止被但爬蟲機制發現，導致封掉IP

settings