上一遍文章已經寫了搭建企業數據分析系統整體框架、系統體系,這次就說說搭建過程中的步驟和遇到的問題。
一、搭建步驟
1、結合企業戰略、業務需求確定數據體系;
2、數據采集:采集不同系統,不同渠道的數據來源;
3、數據存儲:全域數據統一儲存、制定數據倉庫統一標準,包括數據域的劃分、指標的定義、維表設計、事實表設計等;
4、數據處理與分析:結合業務目標、業務使用場景進行數據結果歸集,執行機器學習算法,預測分析等;
5、數據應用層建設:數據可視化,決策依據。
按從下往上順序進行建設。
二、搭建企業數據分析系統前,產品經理應提前準備工作
1、調研業務需求,確定核心場景,提前了解需要準備的核心數據。
2、了解數據倉庫大寬表的統一標準格式
3、了解源業務系統核心流程、核心場景、核心數據;數據是否滿足企業數據分析系統業務場景所需數據條件。
4、確定源業務系統與數據倉庫統一數倉的映射關系。確定源業務系統與數據倉庫統一數倉的映射關系主要目的是清楚的知道詳細數據;為后面校驗數據準確性做準備。
三、建設中注意細節
1、因業務需求需要有某場景數據,但是源業務系統中數據不完善,提取不到數據。所有在整理數據之前根據業務使用場景提前給源業務系統提需求。
2、注意可視化層顯示的數據都是從最后的匯總輸出大寬表中取得的數據。避免直接從可視化層讀取整個原始數據,最大限度地減少數據傳輸,提升性能。
3、充分分利用緩存,緩存可以提升可視化層的整體性能。
4、能用增量同步數據就不要用全量同步,這最大限度地減少了數據傳輸。
四、總結
? ? ? 數據分析系統是以“數據倉庫”或“數據中臺”的建設為基礎,“數據倉庫”或“數據中臺”的建設非常復雜,從開始建設的時候進行考量,提前考慮業務場景數據完整性和準確性,使用性能和數據安全。