作業(yè)思路
這次只爬取了一個(gè)經(jīng)濟(jì)學(xué)這個(gè)標(biāo)簽下的所有書
思路和之前的差不多，不過有一點(diǎn)區(qū)別的就是分頁(yè)的url以及豆瓣的反爬策略
分頁(yè)URL
https://book.douban.com/tag/%E7%BB%8F%E6%B5%8E%E5%AD%A6?start=20&type=T
這個(gè)20代表第二頁(yè)，也代表這一頁(yè)有多少本書，那么有多少頁(yè)呢？
在上面所列的最后一頁(yè)
所以，就手動(dòng)的根據(jù)二分法的思維找了一下，發(fā)現(xiàn)一共有49頁(yè)
豆瓣反爬策略
本次爬取中，一共試用了之前所列的三種策略
不作任何反反爬
沒有做任何的偽裝，用scrapy框架，一會(huì)就被禁止了
隨機(jī)UA和下載延遲
這個(gè)策略順利地爬下了所有的數(shù)據(jù)，這次爬取設(shè)置的延遲是3秒，關(guān)于設(shè)置幾秒最佳，這個(gè)還沒有測(cè)試
代理IP
不知道是因?yàn)樗x用的代理IP太差了還是豆瓣已經(jīng)檢測(cè)出是代理IP的原因，始終會(huì)出現(xiàn)計(jì)算機(jī)積極拒絕，所以這個(gè)方式還是不太可行。
作業(yè)結(jié)果
作業(yè)結(jié)果
作業(yè)代碼
這次所選用的依舊是scrapy框架并保存在mysql中，因?yàn)橄胍廊∫幌逻@本書的標(biāo)簽，所以是兩層深度。
作業(yè)代碼和之前的差不多，就不上了哈
