用一句話概括爬蟲工程師的工作內容，就是We Structure the World's Knowledge。

爬蟲工作內容

互聯網作為人類歷史最大的知識倉庫，是沒有充分結構化的。目前互聯網僅僅是一些文本等多媒體數據的聚合，內容雖然非常有價值，但是程序是無法使用那些沒有結構化的數據。

在2006年左右，有專家提出的web3.0，語義互聯網，知識共享。雖然現在開放API，SOA概念越來越普及，真正語義上的互聯網的時代似乎還非常遙遠。因此爬蟲依然是最重要的手段，一端不斷解析，聚合互聯網上的數據，另外一端向各種各樣的的應用輸送數據。

現有爬蟲開發技術存在問題

從招聘市場崗位需求可以看出，近年來對爬蟲工程師需求越來越強烈。

個人判斷原因有兩個：

信息聚合是互聯網公司的基本需求。

數據時代到來，對數據更強烈的需求。

下面是我整理的部分靠爬蟲聚合信息的創業公司，按照時間順序排序：

搜索引擎聚合了網頁：百度,google,

機票比價網站：去哪兒，聚合各大航空公司票價

團購平臺：團800 聚合了團購網站信息。

比價網站聚合了各大電商平臺的商品價格：美麗說，蘑菇街，一淘

記賬理財產品聚合和消費者，信用卡，銀行卡信息：挖財和銅板街。

新聞聚合平臺：今日頭條

p2p平臺聚合各大p2p借貸公司的信息：網貸之家，融360

風控公司需要收集企業公司，財務司法等信息：鵬元

征信數據會收集了貸款者司法，社交，財務，大量和征信相關信息：聚信立，量化派，zestfinace

最后5種類型，幾乎2014年都是開始。很多金融場景相關應用開始出現，這就對準確度和可靠性提出了更高的要求。但現有的爬蟲開發技術能否滿足高可靠，大規模，高效率開發需求呢？

從軟件工程角度來看，一件事情如果無法評估，那就無法管理。爬蟲開發經常是被吐槽的原因之一，就是工作量常常無法評估。一般的軟件項目的開發過程隨著時間推進，工作量會逐漸減少，也是大家經常說的燃盡效果。

而爬蟲開發生命周期如下圖：

爬蟲開發主要有兩個方面內容：下載網頁，解析網頁。解析網頁大概占據開發工作的80%左右。

下載網頁功能的開發工作，會涉及IP限制，驗證碼等問題，這樣問題都是可以預期的。同時，隨著現在優秀的爬蟲框架和云服務器的普及，問題解決起來會更輕松。

編寫解析代碼，雖然有一些基本工具chrome，firecdebug可以使用，但始終需要人工分析，編寫解析規則。無論是使用xpath，正則表達式，css selector，都不能減少這一部分的工作量。

大量重復性工作會導致以下兩個問題：

即使同類型的網頁看起來99%是一樣，也需要編寫獨立的爬蟲。這就會給人這樣一種感覺——爬蟲開發大部分的工作內容是重復的。

數據源網頁改版，幾乎整個爬蟲項目需要重做。重做的工作量幾乎是100%，爬蟲工程師心中往往是一萬只羊駝跑過。現在很多征信數據采集公司的合作伙伴，當數據源網站改版，常常需要一至兩天才能修復爬蟲，很明顯這種可靠性是無法滿足金融場景需要。

智能化解析

這是一張新浪新聞的圖片。

可以發現，視覺上很容易了解到，新聞所報道的事件的標題，發表時間和正文。自然也會想到，能否通過一些機器學習的算法達到自動解析的目的？這樣就不用人工編寫解析額，減少重復勞動。在2008年開始，就要研究機構發表了相關論文。

www.cs.cmu.edu/~deepay/mywww/papers/www08-segments.pdf

research.microsoft.com/en-us/um/people/znie/p048.special.nie.pdf

也就是在2008有一家相關的創業公司，在斯坦福大學孵化。

DiffBot智能化數據采集公司

總部位于加州的Diffbot成立于2008年，創始人Mike Tung，是斯坦福畢業研究生。Diffbot是通過人工智能技術，讓“機器”識別網頁內容，抓取關鍵內容，并輸出軟件可以直接識別的結構化數據。其創始人兼首席執行官Mike Tung表示，“Diffbot現在做的，相當于人類在瀏覽網頁文章時所做的事情，找出頁面中最核心的相關信息。”目前Diffbot已經發布了頭版API和文章API，還有產品API。服務的客戶包括三星、eBay、思科、美國在線等。

Diffbot的理念就是通過“視覺機器人”來掃描和識別不同的網頁類型（主要是非結構化的數據），再將這些豐富的數據源用于其他應用。Mike Tung表示：“我們在獲取頁面之后會對其進行分析，然后通過成熟先進的技術進行結構化處理。”之前我提到的we structure the world's knowledge，就是該公司提出的理念。

Diffbot在基于智能采集的基礎上，又開發出很多數據產品，比如知識圖譜，智能商業BI。在2016騰訊與硅谷風投機構Felicis Ventures領投了人工智能創業公司Diffbot 1000萬美元的A輪融資，很多互聯網巨頭開始發現這家公司的價值。

算法實踐

通過智能方式來解析網頁需要兩個步驟：

基于視覺上的網頁分割，將網頁分割幾個視覺塊。

通過機器學習訓練的方式來判斷各個視覺塊的類型，是標題，還是正文。其中主要流程和一般機器需要流程沒什么區別。這就不詳細解釋。使用到使用的開源框架有：scikit-learn,phantomjs

Scikit-Learn機器學習庫已經非常成熟，很容易上手。

phantomjs，是一個headless webkit渲染引擎。做爬蟲開發的同學應該非常需要。

網頁分割算法

從Diffbot早期發布的文章來看，是通過圖像處理的方式來切割視覺塊。使用到的算法有，邊界檢查，文字識別等算法。但這種方式計算量偏大，復雜度很高。

另外一種實現方式是基于Dom樹結構，導出所需的視覺特征。

聚合時候需用的特征變量。主要考慮視覺相關的因素有元素在頁面上的位置，寬度和高度，Dom的層次。

有一點需要注意的是，現在網頁很多是動態生成。需要借助phantomjs工具來進行動態網頁渲染。

聚類算法可以選用的DBSCAN，DBSCAN算法優點是更加密度來劃分，比起K-mean算法的優點，是處理任意形狀的聚合。

具體的實現方式可以參考下面博文：http://blog.mapado.com/web-page-segmentation-by-visual-clustering/

分類算法

在第一步處理后，網頁上的標簽，會被劃分分若干類，需要判斷標簽的類型，是否是標題，正文，廣告，導航之類。需要整理出類似下面的，訓練矩陣。

整個學習過程與一般的機器學習訓練過程沒有區別。由于數據樣本規模不大，分類算法基本算法采取。分類算法可以選用樸素貝葉斯，或者SVM。

總結和展望

本文介紹的方式比較粗略，一般來說解析模型只能針對特定的網絡訓練解析模型，比如新聞，電商產品頁。所以不同類型的網頁，所需要的特征變量有較大差別。針對不同特點類型數據，需要大家自己花時間去探索和實踐。

隨著數據時代和智能化時代到來，爬蟲作為重要的數據來源，自身需要一些技術提升來適應時代的要求，這也就對爬蟲工程師提出更高的要求。成文粗陋，權且當做拋磚引玉，歡迎大家留言討論。

本文作者：李國建（點融黑幫），現就職于點融網成都團隊Data Team，喜歡研究各種機器學習，爬蟲，自動化交易相關的技術。