說明：本文章內容學習自“三 節 課”平臺的《人人都能學會的數據爬蟲課》。
產品和運營工作中，經常需要做出大量的決策，在很多時候決策的做出是需要靠數據進行支撐的，數據能夠讓我們避免自己的主觀判斷。
如何獲取到未經行業機構處理過的數據，拿到熱乎的一手資料呢？爬蟲，能實現大部分（80%）的網站數據的抓取。
一、爬蟲的應用場景
1、爬蟲（網絡爬蟲/spider/數據抓取）：自動抓取萬維網的程序或腳本。
2、常見應用場景和功能
（1）市場營銷
a、搜索引擎優化（Search Engine Optimization）：獲取本品和競品排名，優化搜索引擎方案。
b、市場研究（Market Research）：市場容量的研究和市場行業趨勢的變化。
c、潛在客戶/線索（Lead Generation）：對知乎等各種話題關注者，微博粉絲進行定向推送。
（2）競品分析
a、輿情分析（Reviews and Sentiments）：社交媒體/購物網站里評論里收集反饋與輿情分析。
b、競品社交媒體發布及其粉絲（Content Approach and Followers）：競品最近發布了什么內容，轉化粉絲。
c、價格對照（Price Comparison）：根據CPI（居民消費價格指數）價格動態波動。
d、變化檢測（Change Detection）：競品促銷，價格變化，品類擴充。
（3）職業發展與個人生活
a、求職招聘（Job Hunting and Recruiting）：求職者定向求職，Hr定向挖人。
b、產品和服務（Products and Services）：比較價格和口碑。
c、財務規劃（Financial Planning）：證券專家的評論。
d、買/租/賣（Looking to Buy/Rent/Sell）。
二、常見抓取工具
1、excel。（簡單的table布局適用）
2、第三方工具：火車頭，八爪魚。
3、web Scraper。
4、Python Scraper。
三、Excel抓取簡單的數據
操作步驟說明
1、打開可抓取的網頁，F12檢查元素，NetWork項，選擇Filter，刷新重新加載頁面，得到對應的xml文件，右鍵 open in new tab就可以看到相應網站內所有要抓取的信息。
2、打開Excel，選擇數據標簽頁，點擊自網站，輸入要抓取的信息網址，黃色標記點綠，加載完后點擊導入即可。
Excel作為抓取工具的總結：
1、用excel的學習成本較低，上手快；
2、可以用excel的一些工具對數據進行操作，比如上圖中的全部刷新（實時獲取網站數據），以及分列，合并計算等小工具的使用；
3、局限性較大，只能對一些老的以table布局的網站起作用。
四、爬蟲插件 web Scraper
能翻墻的請直接在谷歌應用商店，搜索webscraper，添加擴展程序，自動安裝好后就可以直接使用了。不能翻墻的請自行百度。
1、頁面可視范圍內基本元素的抓取
新建站點地圖create new sitemap（import sitemap 需要用到JSON格式的特殊代碼），選擇multiple，再點擊select，點選頁面要選中的元素，點選兩個之后，插件就可以自動識別到所有要點選的同類元素。（從代碼的角度設想該插件的原理應該是，批量獲取頁面中同種級別元素內的text文本內容）
建好選擇器之后，我們就可以預覽各種效果，然后可以開始抓取了：點擊Scrape，直接Start Scraping，抓取完畢之后會有成功的提示，此時我們可以把抓取好的數據，選擇是否導出（點擊Export Date As CSV）。
此方法只能下載一個頁面初始加載時的數據量。這個不難想象，因為頁面的數據是由鼠標滾輪滾動時訪問數據庫進行頁面加載的，元素的內容都是頁面事件觸發后生成的，所以獲取不到。
開個腦洞：如果能寫個腳本，讓程序自動觸發鼠標的滾動事件，那是不是就能獲取到更多呢？
2、分頁的所有元素抓取
元素分頁的規律性，對要抓取的網頁page進行限定。
對新建的站點地圖進行編輯，Edit Metadata，對照url上呈現的翻頁規則，將Start URL里對應的翻頁規則進行改變。規則是：[想抓取的初始頁碼值-想抓取得結束頁碼值:頁碼差值]。
比如豆瓣這個網頁的翻頁規律是start參數依次加25，等差數列，差值為25，所以可以寫成：
https://movie.douban.com/top250?start=[0-500:25]&filter=
一般規律為page，一頁一頁加法，所以寫成 page=[1-23]
建好之后，遵照 1、的方法，新建selector，最后進行scrape就可以了。
3、多元素抓取---進階
（1）、一個頁面如何抓取多個元素呢？
（2）、現今流行的滾動或交互式動態加載（不規則分頁）模式下又該如何抓取元素內容呢？
（3）、快捷鍵快速選中某個元素；
（4）、用鏈接采集二級三級頁面；
（5）、抓取圖片和表單的方法；
概念總結：以上各種方法其實根據的原理都是頁面元素，模擬瀏覽器事件，對瀏覽器加載出來的頁面中的元素內容或者資源進行提取。
4、詳細進階方式（80%）
（1）一個頁面抓取多個元素（一般是相關聯的元素）
同之前的例子，先新建一個站點地圖。
為此站點新建一個選擇器，type為element，Multiple多選，選中所有大標簽，done selecting后可預覽一下選中的項
保存好外層選擇器后，點擊選擇器，進入子選擇器頁面，再次add selector，添加子層選擇器。
添加了多個子層選擇器后，可以預覽一下效果是否如你所愿。
最后，就可以用之前的招數，開始進行scrape抓取，生成csv了。
（2）不規律分頁的抓取
初始步驟同上，新建站點地圖，再新建選擇器，如下圖，選擇好要抓取的元素，選擇好需要瀏覽器自動執行點擊事件的元素“加載更多”，點擊類型選擇click more，告訴瀏覽器要一直加載完成方能結束，click element uniqueness 告訴瀏覽器，當點擊選擇器變成什么樣子了就不需要再繼續進行了，一般有 unique text（文本變化），html + text（網址或文本變化），html （網頁變化），css selecor（選擇器的樣式變化）。
新建一個Multiple屬性的Element click類型，selector指向大元素
結束上述步驟后抓取就可以了。抓取的速度有時會很慢，需要耐心等待。
（3）快捷鍵抓取
點擊selector選擇元素后，點擊Enable Key開啟鍵盤操作，鼠標懸停，等采集字段變綠后按鍵盤：S=選中；P=父類；C=子類。
（4）用鏈接采集二級三級頁面
按Element方法圈好要抓取的元素大類。
抓取子元素招股說明書名稱。type為text類型
再抓取一個子類，招股說明書發布的日期。type為text類型
接下來抓取列表的三級頁面鏈接，注意新建的選擇器type為link類型。
要抓取的類的層級結構如下：
以上就緒之后，我們還需要在三級頁面中設置一個link選擇器。
打開三級頁面（選擇一個招股說明書點擊打開新頁面），在上一次設置的link選擇器的子級，新建一個選擇器，type為link，鏈接到對應的下載按鈕即可。
以上都設置完成后，即可點擊進行抓取。
抓取的過程中，插件會自動將頁面的二級三級頁面依次打開，并進行抓取，抓取完成后生成的是一個帶有下載鏈接的數據包。此時我們可以通過迅雷或者QQ旋風批量下載功能，對需要的文件進行下載。
Q：link類型和Element Click等類型有什么區別？
A：以上兩種類型都能進行采集二級或者三級頁面數據，但，新鏈接為A標簽時，Type都可以用Link，采集URL時，必須要用link類型。非A標簽必須要把type設為Element click等類型才可以采集二三級頁面。
（5）抓取圖片和表單
a.抓取圖片
一般抓取圖片的鏈接再用工具進行批量比較合適，type有為image的項。
b.抓取表單Table
至此，數據爬蟲基本方法介紹完畢。
五、常見反爬蟲方法。
（1）反爬蟲常見手段和應對方法：
a文件頭 user-agent檢查：訪問設備返回數據進行檢查；
b動態加載（Ajax Javascript等）：實時更新；
c用戶行為（cookies+請求時間間隔）：頻率太高則臨時黑名單；
d人機交互驗證：圖形驗證碼等；
反爬應對方法：
web scraper用瀏覽器避免user-agent檢查，將cookies傳輸過去所以不會被檢查，是瀏覽器所以可以實現ajax javascript等方法，設置了時間間隔所以不會被查封。
（2）反爬中的奇葩
web scraper對于有些情況是無法抓取的。
比如
a美團網網頁端的團購價格，是使用的雪碧圖（小圖片集合到大圖中，根據定位來顯示價格），頁面中無法抓取到對應的元素，所以無法抓取到團購價格。但是手機端可以抓取。
b去哪兒網機票價格是用的元素位移，手機端用字體替換。
網頁端方式：1240 = 1 6 1 0 + 2 4（抓取下來用excel進行替換，或者腳本進行替換抓取等方法）
手機端方式：用ttf字體文件，將0123456789順序替換為0153246987。
c將結果解析為圖片。
對于這些奇葩網站的反爬技術，需要有高超的應對方法。
但是暫時還沒有攻略。
平臺給的作業。http：//pm25.in/rank
作業進階
麥淘
http://m.maitao.com/classify/null?ids=1
IT桔子
