為什么企業需要快速建模的能力?
數據倉庫作為一種數據環境,具有面向分析、提供管理決策支持的重要作用。而在數據倉庫中,多維數據模型能夠滿足大多數企業的數據分析需求——它提供了多角度多層次的分析應用,比如基于時間維度、地域維度等構建的銷售星形模型、雪花模型,可以實現在各時間維度和地域維度的交叉查詢,以及基于時間維度和地域維度的細分。
傳統的多維模型建模,具有冗長而復雜的特點。首先要選擇業務過程,其次聲明數據粒度,之后確定維度字段和事實字段。其中,由于業務過程是由很多微觀的業務活動組成的,比如注冊用戶、獲得訂單、開具發票、接受付款、處理索賠等等。因此,建模人員需要耗費大量時間去理解和組織業務活動,這樣創建的模型最終才能回答業務分析的具體問題,為管理決策提供權威的數據支持。
而在當前的信息時代,業務的快速反應能力決定了很多企業能否把握準確的時機,甚至決定了很多企業在關鍵時刻的生死存亡。比如零售行業,尤其是電商方向的企業,管理決策層需要關注引起利潤變化的因素并迅速調整的營銷策略。因此,快速建模或者調整數據模型才可以支持這類的業務快速反應能力。
KAP 支持業務的快速反應
KAP 支持標準SQL接口,通過JDBC和ODBC無縫對接主流BI產品,完全匹配商業分析師熟悉的分析模式。分析師無需了解大數據底層架構,可以在海量大數據上進行交互式的分析,釋放了大數據生產力。
不同的企業中,常用的業務分析問題是基本固定的,比如零售行業的常見問題“同樣的營銷模式下,不同渠道的利潤差別有多大?”。而這些常用的業務分析問題都已經轉化為固定的的查詢報表、成體系的SQL查詢語句或者商業分析師相對穩定的查詢模式。
KAP v2.5支持自動創建合適的模型,減少了建模人員了解業務細節的時間成本,消除了建模人員與業務人員的磨合成本,大大增加了企業的快速反應能力。
KAP v2.5的自動建模之路
具體來說,KAP v2.5 增強了智能化的建模,模型推薦支持通過SQL自動生成模型,Cube優化器支持多種存儲優化策略。另外,新增了通過SQL驗證模型的能力,支持對業務分析需求變化的快速響應。
模型推薦
模型從無到有的部分,最考驗建模人員對業務邏輯和查詢需求的理解。傳統多維模型的建模耗時耗力,而且對最終所創建的模型是否能回答業務查詢無法保證。KAP v2.5支持通過SQL自動生成模型。導入源表后,即可通過輸入SQL自動創建模型,實現了從SQL到模型的一鍵生成。以查詢SQL為依據,自動生成的模型可以準確的回答這些查詢SQL。
多策略的Cube優化器
Cube是數據倉庫中一個經典的概念,是多維模型的一個形象的說法。傳統OLAP 技術下,Cube雖然能存儲大量維度,但隨著維度增加, Cube所需要的存儲空間也會呈幾何倍數增長。比如一個Cube中包含了N個維度,那么這N個維度將生成2N 個維度組合。這些成倍增長的維度組合中,有很多在整個Cube的生命周期里都不會被使用,同時由于維度組合數爆炸而帶來的存儲膨脹、構建時間冗長、甚至查詢性能由此而下降的弊病。
為了解決這個問題 KAP 提供了多種場景下,對Cube的優化設置,幫助用戶篩選出真正會被使用到的 Cube維度組合,避免大量存儲資源被無效的維度組合耗用,縮短構建時間。優化設置包括衍生維度、聚合組、聯合維度、層級維度、必要維度和Rowkey等。
結合不同的業務場景,合理的使用這些優化設置能夠使數據建模事半功倍。根據這些優化設置的方法,商業分析師可以定制精確滿足業務場景的Cube,避免Cube爆炸的問題。
Cube優化器提供了多種優化策略來滿足不同的業務場景, 其中模型優先策略,充分利用數據自身的邏輯關系優化Cube,滿足靈活查詢場景;業務優先策略,定向加速指定SQL,用最小的存儲成本支持常見的報表查詢模式;綜合優化策略,支持以上兩種需求,滿足了多種優化場景。
快速驗證SQL
同樣,在傳統的OLAP 技術下,數據模型需要在構建后才能得到驗證。每一次模型從設計到驗證,需要付出很大的時間成本與資源代價,滯后的模型設計反饋難以滿足當前快節奏的市場變化。
KAP v2.5支持的快速驗證能力,極大地加速了模型反饋。無需構建,建模后即可快速驗證模型是否滿足業務查詢SQL,快速響應業務分析需求變化。
總結
在當前的信息時代,業務的快速反應能力決定了很多企業能否把握準確的時機,KAP致力于幫助更多企業把握時機,通過支持以SQL為中心的自動建模,支持模型設計快速驗證,以響應瞬息萬變的市場需求,實現更多企業的商業價值與使命。