? ?前天我們的軟件工程進行了最終的驗收，所以在之前的前幾天我們組連續好幾天都在瘋狂的寫代碼，所謂壓力之下總會有意外的收獲，果不其然，我發現了一個好東西，那就是爬蟲。
? 怎么說呢，在這個“自古真情留不住，唯有套路得人心”的時代，爬蟲絕對是程序員之間秘而不宣的套路，首先我分享一個網址http://webmagic.io/docs/zh/，這里有很詳細的介紹，然后我分享一些自己整理的東西。
? ?在WebMagic里，實現一個基本的爬蟲只需要編寫一個類，實現PageProcessor接口即可。這個類基本上包含了抓取一個網站，你需要寫的所有代碼。
? ?同時這部分還會介紹如何使用WebMagic的抽取API，以及最常見的抓取結果保存的問題。
實現PageProcessor
這部分我們直接通過GithubRepoPageProcessor這個例子來介紹PageProcessor的編寫方式。我將PageProcessor的定制分為三個部分，分別是爬蟲的配置、頁面元素的抽取和鏈接的發現。
爬蟲的配置
第一部分關于爬蟲的配置，包括編碼、抓取間隔、超時時間、重試次數等，也包括一些模擬的參數，例如User Agent、cookie，以及代理的設置，我們會在第5章-“爬蟲的配置”里進行介紹。在這里我們先簡單設置一下：重試次數為3次，抓取間隔為一秒。
頁面元素的抽取
第二部分是爬蟲的核心部分：對于下載到的Html頁面，你如何從中抽取到你想要的信息？WebMagic里主要使用了三種抽取技術：XPath、正則表達式和CSS選擇器。另外，對于JSON格式的內容，可使用JsonPath進行解析。
XPath
XPath本來是用于XML中獲取元素的一種查詢語言，但是用于Html也是比較方便的。例如：
page.getHtml().xpath("http://h1[@class='entry-title public']/strong/a/text()")
這段代碼使用了XPath，它的意思是“查找所有class屬性為'entry-title public'的h1元素，并找到他的strong子節點的a子節點，并提取a節點的文本信息”。 對應的Html是這樣子的：
CSS選擇器
CSS選擇器是與XPath類似的語言。如果大家做過前端開發，肯定知道$('h1.entry-title')這種寫法的含義。客觀的說，它比XPath寫起來要簡單一些，但是如果寫復雜一點的抽取規則，就相對要麻煩一點。
正則表達式
正則表達式則是一種通用的文本抽取語言。
page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
這段代碼就用到了正則表達式，它表示匹配所有"https://github.com/code4craft/webmagic"這樣的鏈接。
JsonPath
JsonPath是于XPath很類似的一個語言，它用于從Json中快速定位一條內容。WebMagic中使用的JsonPath格式可以參考這里：https://code.google.com/p/json-path/
鏈接的發現
有了處理頁面的邏輯，我們的爬蟲就接近完工了！
但是現在還有一個問題：一個站點的頁面是很多的，一開始我們不可能全部列舉出來，于是如何發現后續的鏈接，是一個爬蟲不可缺少的一部分。
page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
這段代碼的分為兩部分，page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all()用于獲取所有滿足"(https:/ /github\.com/\w+/\w+)"這個正則表達式的鏈接，page.addTargetRequests()則將這些鏈接加入到待抓取的隊列中去。
使用Selectable的鏈式API
Selectable相關的鏈式API是WebMagic的一個核心功能。使用Selectable接口，你可以直接完成頁面元素的鏈式抽取，也無需去關心抽取的細節。
在剛才的例子中可以看到，page.getHtml()返回的是一個Html對象，它實現了Selectable接口。這個接口包含一些重要的方法，我將它分為兩類：抽取部分和獲取結果部分。
抽取部分API：
這部分抽取API返回的都是一個Selectable接口，意思是說，抽取是支持鏈式調用的。下面我用一個實例來講解鏈式API的使用。
? ?例如，我現在要抓取github上所有的Java項目，這些項目可以在https://github.com/search?l=Java&p=1&q=stars%3A%3E1&s=stars&type=Repositories搜索結果中看到。
主要就是這樣，是不是覺得爬蟲特別好用啊，趕緊來嘗試吧。
