上次挖了一個坑，今天終于填上了，還記得之前我們做的拉勾爬蟲嗎？那時我們實現(xiàn)了一頁的爬取，今天讓我們再接再厲，實現(xiàn)多頁爬取，順便實現(xiàn)職位和公司的關(guān)鍵詞搜索功能。

之前的內(nèi)容就不再介紹了，不熟悉的請一定要去看之前的文章，代碼是在之前的基礎上修改的

【圖文詳解】scrapy爬蟲與動態(tài)頁面——爬取拉勾網(wǎng)職位信息（1）

開始

還是回到我們熟悉的頁面，這里，我們熟練的打開了Newwork標簽，我們點下一頁，看會出來什么結(jié)果

果然還是跳出來一個頁面，但是貌似。。網(wǎng)址一樣，我打開看一下

和之前不一樣也！

一樣的網(wǎng)址，結(jié)果不一樣的結(jié)果，這怎么可能！！小伙伴是不是也和我一樣，一臉懵B!

別急，我們繼續(xù)看看別的信息
在preview我們看到了Pageno.2 說明確實不是同樣的內(nèi)容

看看Header

我們繼續(xù)看header，貌似發(fā)現(xiàn)了不起的東西。

這個pn不就是pageno的簡寫嗎？（什么，你怎么不知道有這個縮寫？）我們可以再打開一個網(wǎng)頁看看，事實證明，我是對的。

好的，我們現(xiàn)在知道頁碼信息在這里了，那要怎么把這個信息附加上呢？？

Get or Post??

我們知道網(wǎng)頁有兩種方式傳輸數(shù)據(jù)，get和post，get是把需要傳輸?shù)臄?shù)據(jù)寫到URL上，用戶可以直觀看見，就是我們之前一直使用的（比如搜索城市，工作經(jīng)驗，學歷什么的）。post是通過HTTP post機制，將表單內(nèi)各個字段與其內(nèi)容放置在HTML HEADER內(nèi)一起傳送到ACTION屬性所指的URL地址。用戶看不到這個過程。

scrapy實現(xiàn)post

看來我們得想辦法用scrapy實現(xiàn)post了。
如果你還記得我們之前講request的時候講了request是可以輕松實現(xiàn)post的，那scrapy有request嗎？毫無疑問是有的。我們在文檔中找到了一個叫FormRequest的對象，它能實現(xiàn)post功能，并給出了例子

我們在我們的之前代碼中的class中加入一個start_requests函數(shù)

def start_requests(self):
        return [scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC',
                                        formdata={'pn':'2'},callback=self.parse)]

運行一下，出錯了，才發(fā)現(xiàn)，原來目前拉勾的json結(jié)構(gòu)改了，中間加了一個positionResult

修改代碼：

        jcontent = jdict["content"]
        jposresult = jcontent["positionResult"]
        jresult = jposresult["result"]

再運行一下，和第2頁的一致，說明成功了

這里再說下，如果你在關(guān)鍵詞里搜索，你會發(fā)現(xiàn)鏈接也不會變化，說明什么？？說明也是用的post，比如我搜索大數(shù)據(jù)，可以看到kd變成了大數(shù)據(jù)，所以我們也可以構(gòu)造特定關(guān)鍵詞的爬蟲了。

實現(xiàn)自動翻頁

我們只要能控制pn就行了，我們新增一個變量curpage讓它運行一次自加1，然后我們還是用之前的yield的方法

if self.curpage <= self.totalPageCount:
    self.curpage += 1
yield scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC',                                        formdata={'pn':str(self.curpage)},callback=self.parse)

要說明的是，之前json文件里是有個totalPageCount屬性的，目前沒了！所以不能直接從json文件中獲取頁數(shù)信息了，怎么辦呢？如果你要細心觀察就可以發(fā)現(xiàn)有個totalCount屬性，你做實驗可以發(fā)現(xiàn)，每頁都是15個，頁數(shù)就是totalCount/15取整，如果頁數(shù)大于30，只顯示30頁。

  self.totalPageCount = jposresult['totalCount'] /15;
        if  self.totalPageCount > 30:
            self.totalPageCount = 30;

這里我們爬所有北京有關(guān)“大數(shù)據(jù)”的工作

 formdata={'pn':str(self.curpage),'kd':'大數(shù)據(jù)'}

好了大工告成！享受你的成果吧！！

這個工程我上傳到了github，有興趣的同學可以下載下來看看：
https://github.com/hk029/LagouSpider