首先要感謝小白進(jìn)階之Scrapy第二篇（登錄篇）
筆者是爬取了www.haoduofuli.wang，可惜掛掉了。所以我轉(zhuǎn)移了目標(biāo)~~~
目標(biāo)站點(diǎn)：www.cuiqingcai.com
代碼已經(jīng)上存到github下載
導(dǎo)入庫(kù)
假設(shè)你會(huì)使用scrapy創(chuàng)建項(xiàng)目，我們直接開(kāi)始，再spider文件夾下面新建一個(gè)blog.py的文件
# CrawlSpider與Rule配合使用可以起到歷遍全站的作用、Request干啥的我就不解釋了
from scrapy.spiders import CrawlSpider, Rule, Request
# 配合Rule進(jìn)行URL規(guī)則匹配
from scrapy.linkextractors import LinkExtractor
簡(jiǎn)單例子
詳細(xì)可以參考Scrapy中文文檔Crawlspider的例子
# CrawlSpider與Rule配合使用可以起到歷遍全站的作用、Request干啥的我就不解釋了
from scrapy.spiders import CrawlSpider, Rule, Request
# 配合Rule進(jìn)行URL規(guī)則匹配
from scrapy.linkextractors import LinkExtractor
class myspider(CrawlSpider):
name = 'cqc'
allowed_domains = ['cuiqingcai.com']
count_all = 0
url_all = []
start_urls = ['http://cuiqingcai.com']
label_tags = ['爬蟲(chóng)', 'scrapy', 'selenium', 'selenium']
rules = (
Rule(LinkExtractor(allow=('\d+\.html$',)), callback='parse_item', follow=True),
)
def parse_item(self, response):
print(response.url)
代碼要點(diǎn)：
- 繼承CrawlSpider
- Rule里面的allow用的是正則表達(dá)式，根據(jù)需要寫(xiě)
你會(huì)很驚訝發(fā)現(xiàn)就這短短的十幾行代碼就可以爬整個(gè)網(wǎng)站的代碼抓下來(lái)了，
結(jié)果展示
爬蟲(chóng)入門
Python爬蟲(chóng)入門1之綜述
Python爬蟲(chóng)入門2之爬蟲(chóng)基礎(chǔ)了解
Python爬蟲(chóng)入門3之Urllib庫(kù)的基本使用
Python爬蟲(chóng)入門4之Urllib庫(kù)的高級(jí)用法
Python爬蟲(chóng)入門5之URLError異常處理
Python爬蟲(chóng)入門6之Cookie的使用
Python爬蟲(chóng)入門7之正則表達(dá)式
爬蟲(chóng)利器
Python爬蟲(chóng)利器1之Requests庫(kù)的用法
Python爬蟲(chóng)利器2之BeautifulSoup的用法
Python爬蟲(chóng)利器3之Xpath語(yǔ)法與lxml庫(kù)的用法
Python爬蟲(chóng)利器4之PhantomJS的用法
Python爬蟲(chóng)利器5之Selenium的用法
Python爬蟲(chóng)利器6之PyQuery的用法
爬蟲(chóng)進(jìn)階
Python爬蟲(chóng)進(jìn)階1之爬蟲(chóng)框架概述
Python爬蟲(chóng)進(jìn)階2之PySpider框架安裝配置
Python爬蟲(chóng)進(jìn)階3之Scrapy框架安裝配置
Python爬蟲(chóng)進(jìn)階4之PySpider的用法
Python爬蟲(chóng)進(jìn)階5之多線程的用法
Python爬蟲(chóng)進(jìn)階6之多進(jìn)程的用法
Python爬蟲(chóng)進(jìn)階7之設(shè)置ADSL撥號(hào)服務(wù)器代理
爬蟲(chóng)實(shí)戰(zhàn)
Python爬蟲(chóng)實(shí)戰(zhàn)1之爬取糗事百科段子
Python爬蟲(chóng)實(shí)戰(zhàn)2之爬取百度貼吧帖子
Python爬蟲(chóng)實(shí)戰(zhàn)3之實(shí)現(xiàn)山東大學(xué)無(wú)線網(wǎng)絡(luò)掉線自動(dòng)重連
Python爬蟲(chóng)實(shí)戰(zhàn)4之抓取淘寶MM照片
Python爬蟲(chóng)實(shí)戰(zhàn)5之模擬登錄淘寶并獲取所有訂單
Python爬蟲(chóng)實(shí)戰(zhàn)6之抓取愛(ài)問(wèn)知識(shí)人問(wèn)題并保存至數(shù)據(jù)庫(kù)
Python爬蟲(chóng)實(shí)戰(zhàn)7之計(jì)算大學(xué)本學(xué)期績(jī)點(diǎn)
Python爬蟲(chóng)實(shí)戰(zhàn)8之利用Selenium抓取淘寶匿名旺旺
視頻教程
Python爬蟲(chóng)學(xué)習(xí)系列教程
Python3爬蟲(chóng)視頻學(xué)習(xí)教程
小白系列
小白學(xué)爬蟲(chóng)系列教程
小白進(jìn)階之Scrapy第1篇
小白進(jìn)階之Scrapy第2篇（登錄篇）
Scrapy分布式的前篇–讓redis和MongoDB安全點(diǎn)
小白進(jìn)階之Scrapy第3篇（基于Scrapy-Redis的分布式以及cookies池）
小白進(jìn)階之Scrapy第4篇（圖片下載管道篇）
小白爬蟲(chóng)第1彈之健壯的小爬蟲(chóng)
小白爬蟲(chóng)第2彈之抓取妹子圖
小白爬蟲(chóng)第3彈之去重去重
小白爬蟲(chóng)第4彈之爬蟲(chóng)快跑（多進(jìn)程+多線程）
雜記系列
Scrapy小技巧-MySQL存儲(chǔ)
利用Scrapy爬取知乎用戶詳細(xì)信息并存至MongoDB
免登錄新浪微博爬蟲(chóng)系列之第一篇單博主微博及評(píng)論數(shù)據(jù)
