簡介
之前寫了一篇爬妹子圖的文章《Python 3 實戰Scrapy爬取妹子圖》，但是有點粗糙，幾乎都是無差別抓取頁面所有圖片和鏈接然后過濾，這篇文章優化了代碼，讓我們的爬蟲更高效，爬取的圖片質量更高，這里我選了一個妹子圖非常多、質量非常高、又很正經的壁紙網站來實驗，這里是爬取頁面入口->,點擊查看！
1.一級頁面分析
打開F12分析了這個頁面，你會發現這個頁面很簡單，分頁都給你寫清楚了多少頁，主體頁面是一個div+css結構，列表用了ul+li標簽:
Screenshot from 2017-07-12 22-08-13.png
用一句xpath表達式就能獲取到li標簽里面所有的a鏈接地址，高效而且無多余的鏈接
# 一級頁面的處理函數
def parse(self, response):
# 提取界面所有的符合入口條件的url
all_urls = response.xpath('//div[@class="main"]/ul/li/a/@href').extract()
# 遍歷獲得的url，繼續爬取
for url in all_urls:
# urljoin生成完整url地址
url = urljoin(response.url, url)
yield Request(url, callback=self.parse_img)
2.二級頁面分析
當我們點擊一個美女圖片之后會進去一個二級頁面，這個頁面的才是這個美女的所有圖片合集，這個頁面比較簡單:
Screenshot from 2017-07-12 22-16-35.png
# 二級頁面的處理函數
def parse_img(self, response):
item = PicscrapyItem()
# 提前頁面符合條件的圖片地址
item['image_urls'] = response.xpath('//img[@id="bigImg"]/@src').extract()
yield item
# 提取界面所有復合條件的url
all_urls = response.xpath('//ul[@id="showImg"]/li/a/@href').extract()
# 遍歷獲得的url，繼續爬取
for url in all_urls:
url = urljoin(response.url, url)
yield Request(url, callback=self.parse_img)
通過parse和parse_img這兩個函數的遞歸調用就可以獲取所有符合條件的圖片，基本上不會訪問多余的鏈接，下載多余的圖片...
另外下載圖片的時候做了一些優化，之前圖片名稱是隨機生成，現在改成取url一部分加隨機數，這樣同一個妹子的圖片就可以放到一起了，不會亂七八糟了，方法是重寫父類函數
# 重寫函數，修改了下載圖片名稱的生成規則，改成了url地址的最后一個加了隨機送
def file_path(self, request, response=None, info=None):
if not isinstance(request, Request):
url = request
else:
url = request.url
url = urlparse(url)
img_name = url.path.split('/')[5].split('.')[0] + '-' + str(random.randint(1000, 9999))
return '%s.jpg' % img_name
總結
經過優化后，100M寬帶輕輕松松跑滿，目測這個頁面應該有上萬張圖片，童鞋，你的硬盤吃的消嗎？
Screenshot from 2017-07-12 23-34-50.png
Github地址如下：點擊獲取代碼
