? ? 前段時間學習完了python，再加上最近需要找工作，決定爬取招聘網站（本文以拉勾網為抓取對象），通過建立相關數據模型，分析產品經理相關要求和職責，指導簡歷制作及今后產品努力的方向。
（1）確定目標
? ? ?本文以拉勾網作為抓取對象，主要在于拉勾網是互聯網求職者的一個重要渠道，分析拉勾網具有一定參考意義。
（2）獲取數據
? ? ?確定好目標好，下一步就到了獲取數據源步驟。獲取數據源是數據分析的前提和基礎。獲取數據源主要有五種常見的方式：
1.互聯網公開數據
? ? ?互聯網公開數據主要通過搜索獲取，例如，想要獲取2016收集銷量排行數據，可通過輸入相關關鍵詞獲取相應結果，圖1 2016年收集銷量排行榜，輸入“手機銷量排行榜2016”，得出有關銷售量結果。
? ? ? 當然，直接通過搜索引擎獲取結果是一件比較幸運的事，不過，在獲取數據時，一般不會直接獲取到想要的數據。除了互聯網公開數據外，本地數據也是一個重要數據來源渠道。
2.本地數據
? ? ?本地數據主要指存儲在本地電腦、網盤等載體內的數據，以PDF、Word、Excel及CSV為主。例如，圖2 快消品行業分析報告，收集了快消品在營銷、趨勢等方面的數據。
3.API數據
? ? ?API數據是一個重要的數據渠道，尤其隨著互聯網數據存儲量越來越大以及眾多網站開放了API接口，使得API接口數據成為重要形式。目前，有很多API數據應用市場，例如，百度API store ，聚合數據等，整合各種類型API，用戶可通過申請apikey，獲取相關數據。例如，想要獲取全國天氣實時數據，可通過調用天氣API，獲取實時數據。圖 3 全國天氣數據接口,申請APIkey,導入相應庫，獲取數據。
4.數據庫數據
? ? 數據庫是存儲數據的重要載體，目前，常用的數據庫有mysql、sqlserver及oracle等，讀取數據庫數據需要sql語句。
5.爬蟲數據
? ? 數據爬取是當前獲取數據的一種重要方式，通過比如用爬蟲工具爬取點評網站的商家評分、評價內容等，或是直接自己人肉收集（手工復制下來），亦或是找一個免費問卷網站做一份問卷然后散發給你身邊的人，都是可以的。這種方式受限制較少，但工作量/實現難度相對較大。不過，爬蟲數據需要具有一定的編程基礎，當前在爬取數據方面常用的是python。本文爬取拉勾網也是采取python作為爬蟲語言，下面，本文在獲取數據時，采取數據抓取的方式，著重闡述如何爬取拉勾網相關數據的。
爬取拉勾網：
? ? 數據爬取，簡單的說，就是利用python寫一個定向爬蟲腳本，抓取北京產品經理在工作年限、學歷要求及行業領域等方面的數據，通過數據數據挖掘模型，分析各個維度下產品經理相關要求。如圖4產品經理抓取界面
? ? ?通過分析檢查元素－network-doc-分析http請求方式（get\post）-分析網頁div、css選擇類之后，選擇requests、BeautifulSoup、正在表達式等工具后，開始爬蟲（此處省去爬蟲具體分析及爬蟲過程），爬蟲結束后，將爬蟲結果存入本地Excel(由于數據量較少，沒有使用mysql)。如圖 5? 部分代碼界面
? ? ?獲取數據后，將數據存儲在EXcel中，此時數據較亂，會出現空值等情況，針對此情況，需要進行數據清洗的過程。
（3）清洗數據
? ? ? 爬蟲獲得的數據，90%以上的情況，你拿到的數據都需要先做清洗工作，排除異常值、空白值、無效值、重復值等等。這項工作經常會占到整個數據分析過程將近一半的時間。如果在上一步中，你的數據是通過手工復制/下載獲取的，那么通常會比較干凈，不需要做太多清洗工作。但如果數據是通過爬蟲等方式得來，那么你需要進行清洗，提取核心內容，去掉網頁代碼、標點符號等無用內容。無論你采用哪一種方式獲取數據，請記住，數據清洗永遠是你必須要做的一項工作。通過對數據清洗后，下圖6 數據清洗后的數據
（4）整理數據及分析
? ? ?清洗過后，需要進行數據整理，即將數據整理為能夠進行下一步分析的格式，由于數據量較少，并沒有采用Spss,而是Excel。整理完相關數據后，確定分析的維度及指標，一般計算一些二級指標就可以，例如，通過計算手機銷售量同比、環比等增長率。如果你收集的是一些非數字的數據，比如對商家的點評，那么你進行下一步統計之前，需要通過“關鍵詞-標簽”方式，將句子轉化為標簽，再對標簽進行統計。當然，非數字的數據，還通常用分詞統計，例如，崗位要求可以采用sae分詞統計及關鍵詞抽離等方式，抽離出關鍵標簽及統計。
（5）結? ? ? 論
? ? 做完以上工作后，下一步對數據分析并制作數據報表。主要涉及到工資分配表，圖7 工資分配表、圖8工作經驗表、圖9公司簡介表、圖10崗位要求表
? ? ?通過圖7 工資分配表可知，北京地區產品經理主要集中在10K-20K之間（此次沒有對各個區間合并），工作經驗主要要求在1-3年及3-5年兩個區間，學歷以最低本科學歷為主，公司方面，以不需要融資、A輪及上市公司為主，通過崗位要求關鍵詞提煉，工具技能（axure、visio等）為基本要求，除了基本的需求分析、產品流程外，數據分析技術能力、市場能力也是一些比較看重的。（注：時間較倉促，分析的維度及采集數據較少）
? ? 作者簡介：勵秣，某公司產品經理，目前正在尋找后臺或數據產品，希望有坑者“收留”，微信：15005417866。13年，985本科畢業，畢業前有近兩年開發實踐工作，擅長java、python，畢業后，在某知名在線租房公司一年產品運營工作，轉產品近3年，且以后臺為主，涉及到一些數據相關設計，希望大家幫忙推薦。
