1.Scrapy框架
Scrapy是一個異步框架，效率比requests阻塞式編程效率要高。
2. 安裝
先下載twisted和pywin32
pip3 install scrapy
3.初次使用
- 新建項目
scrapy startproject dy2018
使用框架的好處就是我們不需要考慮任務調度問題，scrapy還有個特點就是會自動使用瀏覽器設置的代理，這個對于內網使用非常有意義，還可以方便Fiddler獲取報文信息。
這里的拿http://www.dy2018.com 作為例子，畢竟前面我們分析過。爬蟲需要繼承自scrapy.Spider，爬蟲初始鏈接放在start_urls中，parse函數作為頁面分析器來解析頁面數據和頁面鏈接。parse返回一個生成器，生成器生成的內容只能是dict，request，none等。
代碼如下：
import scrapy
from bs4 import BeautifulSoup
import re
class Dy2018Spider(scrapy.Spider):
name = "dy2018"
# start_urls = [
# 'http://quotes.toscrape.com/page/1/',
# 'http://quotes.toscrape.com/page/2/',
# ]
root = 'http://www.dy2018.com'
start_urls = ['http://www.dy2018.com/1/']
# for i in range(21):
# start_urls.append(root+'/'+str(i)+'/')
def parse(self, response):
#print(response.body)
self.logger.info(response.headers)
if b'Etag' not in response.headers:
self.logger.info('-----------------------------------------------------------')
self.logger.info(response.body)
self.logger.info(type(response.body))
url = self.geturl(response.body)
self.logger.info(url)
yield scrapy.Request(str(url), callback=self.parse)
else:
self.logger.info('++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++')
ret = self.parsepage(response.body)
self.logger.info(ret)
# for url in ret['urls']:
# print(url)
# yield scrapy.Request(str(url), callback=self.parse)
for d in ret['data']:#不能返回一個list
yield d
def geturl(self,html):
soup = BeautifulSoup(html,'html5lib')
s = soup.find('script')
text = s.text
if text.startswith('window.location='):
path = self.root + eval(text[len('window.location='):-1])
return path
def parsepage(self,html):
soup = BeautifulSoup(html,'html5lib')
content = soup.find('div',attrs={'class':'co_content8'})
pages = content.find('div',attrs={'class':'x'})
urls = []
for option in pages.find_all('option'):
urls.append(self.root+option['value'])
pattern = re.compile(r'《(.+)》')
tbs = content.find_all('table')
data = []
for tb in tbs:
b = tb.find('b')
a1 = b.find_all('a')[1]
title = a1['title']
href = self.root + a1['href']
#title = pattern.findall(title)[0]
data.append({'href':href,'title':title})
self.logger.info(urls)
return {'data':data,'urls':urls}
- 運行方法
#要進入到dy2018這個工程目錄才能執行下面的命令
scrapy crawl dy2018 --logfile 1.txt
- 調試的過程
（1）www.dy2018.com 使用了一些反扒技巧，前面我們分析過它會返回一個帶腳本的內容來檢測是不是爬蟲在運行。前面使用Content-Length來區分正常頁面和爬蟲頁面，但是Content-Length在response.headers中卻找不到，所以這里使用Etag來檢測。當然并不是說Content-Length就會被丟失，其實測試其它網站它是存在的。
（2）從代碼中我們可以看到'ETag'前綴是b，這代表字符串的類型是bytes。在scrapy的函數中起碼在scrapy.Request第一個參數是不能傳入bytes類型的，這里使用str把bytes類型轉換為str類型。response中的內容也是bytes類型，在使用中要注意類型轉換。
（3）www.dy2018.com還有個反爬行為就是User-Agent，我估計是這樣，因為今天測試的時候發現反復會爬到反爬頁面。我們可以在settings.py對這個進行設置。
#setting.py文件
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
}
（4）調試問題我這里使用的是log文件，要把調試信息輸入到文件中要使用self.logger.info函數。
