隨著各行業產品和服務越來越豐富、多樣化，市場的趨于飽和，競爭白熱化，吸引并留存用戶難度和成本都雙雙居高不下，成為企業不能承受之重，同時企業又為了盈利和生存，更加嚴格地控制預算和成本。依靠數據精細化運營、數據驅動增長已經成為企業的必修課。
近兩年企業也都紛紛成立數據團隊，企業大數據團隊能否基于大數據平臺給企業的營銷賦能、運營賦能，成為驅動企業成長的關鍵所在。賦能的核心是搭建好用的大數據平臺，成體系的、架構優良數據產品矩陣，大數據平臺也不再是獨立的數據平臺，開始和CRM、營銷平臺、PUSH系統深度融合，直接給業務系統賦能。
我們不談大數據平臺的技術架構，而從產品角度解析下大數據平臺，包含哪些產品模塊，各產品模塊的核心功能又是什么。例如說用戶畫像必談標簽，但在產品層面是一回事么，應該怎么設計？另外廠商的數據管理平臺也是百花齊放，不同行業不同公司應用的側重方向不一樣，產品架構也不盡相同。廣告行業的DMP，也叫做數據管理平臺，但是和一般企業中的大數據開發管理平臺就不是一個概念，DMP核心是標簽平臺，給用戶打各種標簽，然后和廣告主、DSP做用戶群對接，為精準投放廣告服務。
如何從紛亂的信息中理出一條相對清晰的產品思路來，對應大數據平臺來說是至關重要的一步，產品架構是技術架構的雛形，目標一致，產品和技術都會少走彎路。我把體系分成4層，從下往上依次是數據收集層、數據加工層、數據計算層、數據應用層，層層依賴，下一層是上一層的基礎。這里不能簡單化的把此四層看做技術架構、也無法映射到相應的BI技術組件，這里的分層只是為非常宏觀地把數據產品體系拎清楚，而不是設計技術架構。
我們先簡單說下各層的功能以及涉及到的產品模塊，然后再詳細介紹各個產品模塊。
數據收集層捕獲用戶在各個產品端的行為數據，加載各業務系統結構化數據、非結構化，導入流量平臺數據、通過第三方平臺的API接入微信、微博數據、廣告投放數據，使用爬蟲采集企業輿情、電商商品評論等第三方數據。 相對應的產品有用戶行為日志采集系統、第三方對接平臺、數據爬蟲。
數據加工層清洗、轉換數據，把不同業務系統的用戶歸一化生成統一的UniID，統一不同系統中的相同字段的數據類型、數據值（例如流量系統中的渠道和營銷平臺、廣告投放中定義的渠道不一致），建立合理的維度、度量以及數據模型。這一層的產品模塊有元數據管理、指標庫、作業調度管理、數據質量管理，都是為了讓數據可追溯、可管理，持續改進數據質量，產出高質量的數據。
數據計算層解決數據開發和挖掘、標簽制作和使用、算法調用、數據調用等問題。對應的數據產品模塊有：開發管理、標簽平臺、算法平臺、數據接口、運維監控。數據加工層和數據計算層是數據平臺建設的核心。
數據應用層是業務人員、用戶可感知的系統和產品功能。內部包括日常報表系統、用戶畫像系統、標簽查詢、CRM、營銷平臺，對外包括改善用戶體驗的個性化PUSH、推薦系統。
用戶畫像系統是在標簽的基礎上定期生成企業、產品線用戶畫像報告，宏觀、匯總顯示用戶主要特征，同時可以自助查詢單一用戶、某個渠道、某條產品線的用戶畫像。供管理層、銷售、運營、產品經理日常使用。
標簽功能是需要構建一個標簽服務平臺，最大限度的規范標簽的體系（大類、中類、小類）、標簽的格式、組合方式、調用方式等，可以基于標簽進行二次加工發布新標簽。自定義標簽是根據數據維度、度量自行生成新標簽。每發布一個新的標簽，就意味著新增加一種數據能力。標簽是可以直接被外部系統調取，例如在CMR中的客戶信息頁面顯示消費者類型（購物沖動型、目標明確型、理性分析型、猶豫型）。
CRM常規功能有客戶管理、潛在客戶管理、業務機會管理、營銷活動管理、客服記錄管理。借助大數據可以為CRM擴展這些能力： 用戶軌跡分析、挖掘潛在用戶、用戶流失分析、流失用戶挽回、用戶等級分群、用戶價值分析等。大數據時代，CRM也會同步進化，不再是單純的業務過程記錄，應該是和大數據走向融合，大數據的分析結果直接嵌入CRM中，供業務人員即時使用，但數據不會直接寫入大數據平臺，業務變更的數據還是進入CRM系統，加工后再匯入大數據平臺
營銷平臺常規功能有營銷全流程管理（推廣計劃、廣告投放、效果、人群定向）、費用審批、渠道管理、短信郵件推送、營銷策略、營銷執行。 營銷平臺大數據應用有： 生成種子客戶群、消費者特征分析、消費者類型分群（購物沖動型、目標明確型、理性分析型、猶豫型）、渠道衡量、營銷效果分析。 標簽庫的用戶群要能推送到營銷平臺，它們內嵌于生產流程，致力于端到端的解決問題，從而真正的賦能于業務人員。
CRM、營銷管理平臺既是數據消費者，又是數據生產者，DT時代，CRM、營銷管理平臺也一起同步進化， 大數據應用和業務系統不斷融合，對產品架構、技術架構也都是不小的挑戰。
報表系統說一點，為了促進業務人員經常看數據報表，培養數據化運營理念，除了報表門戶外，報表也要直接嵌入業務系統，因為業務系統他們是每天都要登錄的，這也是數據平臺和業務系統融合的一個表現。
個性化PUSH、推薦系統的產品功能比較明確，這里就不再贅述。
下面對數據管理平臺的產品模塊做個梳理，數據管理平臺是大數據產品體系建設的核心和地基，實現數據管理、數據開發、以及對生產過程的管理。這些產品模塊不一定全部需求，視數據規模及進化階段而靈活裁剪。
開發管理： SQL開發、Spark開發、作業調度、API管理等
數據接口：對外提供數據訪問能力，CRM、營銷平臺可以直接使用數據平臺的數據，讓數據成果在業務系統中落地。
算法平臺： 解決數據開發和挖掘的問題，支持分類、聚類、關聯、回歸等常見數據挖掘算法，用于實現一些預測性標簽、做用戶分群、個性化推薦等，如果業務線很多，還可以對業務線輸出算法能力供其直接使用，避免另起爐灶。
元數據管理： 元數據采集、數據字典、影響分析、血緣分析
質量管理：質量規則管理、質量規則檢查、質量問題管理
運維管理： 資源管理、運行監控
指標庫： 指標庫準確定義數據指標的含義、計算方式， 例如流失用戶、活躍用戶如何定義，這兩個指標不像PV、UV有著明確通用的定義，適用于行業的定義。 指標庫重在企業內部形成統一的指標口徑，避免溝通誤差，影響對數據的解讀。
日志采集系統需要能夠支持網站、App、微信小程序不同終端的用戶行為數據收集，行為包括瀏覽、收藏、分享、評論、搜索、加入購物車、登錄、注冊、購買等等，盡可能收集所有有價值的行為數據。可以使用Facebook開源的Scribe，或者Flume、Kibana搭建。
公網數據采集系統就是我們常說的網絡爬蟲，從公網上采集微博話題、電商評論、行業數據、營銷活動數據等。可以采用開源軟件自己搭建，也可以購買現成的數據爬蟲服務。
第三方數據對接平臺通過API從微信公眾號獲取文章閱讀、用戶、用戶留言、客服記錄等數據，從廣告系統獲取投放計劃、投放結果數據。
到此，我們把通用大數據平臺的產品體系梳理了一遍，可以看出來大數據博大精深，非常繁雜，就單個產品來說工作量都已經非常大，不是一朝一夕能夠建成，但我們先畫定一個較合理的藍圖，擇近期的核心需求先行建設，然后根據需要不斷迭代前行。
