分析網(wǎng)頁(yè)
首先打開(kāi)豆瓣讀書(shū)中的分類瀏覽，可以看到其中有很多的分類
分類
豆瓣應(yīng)該是一個(gè)比較好爬的網(wǎng)站，所有的數(shù)據(jù)都不是
ajax加載的，我們打開(kāi)谷歌的F12或者是火狐的FireBug可以很輕松的找到每一個(gè)分類的鏈接
url所在地
這里我們使用scrapy中的一個(gè)linkextractors庫(kù),這個(gè)庫(kù)的作用是會(huì)根據(jù)提供的限制，自動(dòng)爬取和深入每一個(gè)頁(yè)面并且提取需要的鏈接，如果想要找到每一個(gè)分類的url,只需
Rule(LinkExtractor(allow='/tag/',restrict_xpaths="http://div[@class='article']"),follow=True),這里的allow是一個(gè)正則表達(dá)式，用來(lái)篩選分類url,restrict_xpaths是限制在哪個(gè)結(jié)構(gòu)中篩選url,這里限制的是在<div class='article'>這個(gè)盒模型中，follow表示是否深入，這里當(dāng)然是要深入,這里就能得到每一個(gè)分類url了，自己可以在回調(diào)函數(shù)中測(cè)試下，輸入所得的url,可以使用respose.url
得到所有的分類url，就可以繼續(xù)深入到每一步作品所在的頁(yè)面了，如下圖!
作品網(wǎng)頁(yè)
但是我們需要不止是這一頁(yè)，我們要爬的時(shí)全站，因此這里必須實(shí)現(xiàn)翻頁(yè)，我們可以看到頁(yè)面底部清楚的寫(xiě)著下一頁(yè)，我們通過(guò)解析頁(yè)面同樣可以得到url,如下圖所示
翻頁(yè)url
可以看到所有的url的規(guī)則，我們就可以用正則表達(dá)式限制，以獲取我們的需要，我們可以寫(xiě)出翻頁(yè)的代碼
Rule(LinkExtractor(allow="\?start=\d+\&type=",restrict_xpaths="http://div[@class='pa>ginator']"),follow=True),
最后一步就是打開(kāi)每一部書(shū)的網(wǎng)頁(yè)得到所需的信息了，我們就可以通過(guò)這里通過(guò)解析網(wǎng)頁(yè)還是可以很清楚的知道url,這里就不再詳細(xì)的說(shuō)怎么解析了，這里可以看到所有的url都在
li標(biāo)簽中，如下圖
url
我們打開(kāi)li標(biāo)簽可以很清楚的看大url的規(guī)律，因此這里還是用到上面說(shuō)的庫(kù)解析深入，連同上面的代碼如下
Rule(LinkExtractor(allow='/tag/',restrict_xpaths="/ /div[@class='article']"),follow=True),#第一步
Rule(LinkExtractor(allow="\?start=\d+\&type=",restrict_xpaths="http://div[@class='pa>ginator']"),follow=True), #第二步翻翻頁(yè)
Rule(LinkExtractor(allow="/subject/\d+/$",restrict_>xpaths="http://ul[@class='subject-list']"),callback='parse_item')#得到所需網(wǎng)頁(yè)的url
到了這里總算是大功告成了，下面就需要解析自己的所需要的信息了,這里附上網(wǎng)頁(yè)
圖片
下面就是寫(xiě)自己解析代碼了，這里就不需要詳細(xì)的說(shuō)了，詳細(xì)內(nèi)容請(qǐng)看源碼,值得注意的是爬取的網(wǎng)頁(yè)速度不要太快，豆瓣會(huì)禁IP的，這里可以采用一些反爬蟲(chóng)措施,如請(qǐng)求頭的更換，ip地址的更換，下一篇會(huì)詳細(xì)解說(shuō)。
參考文檔：
最后附上本人的github地址,不要忘了給個(gè)star哦
