不能把數(shù)據(jù)中臺(tái)簡(jiǎn)單看做一個(gè)項(xiàng)目或產(chǎn)品,建設(shè)數(shù)據(jù)中臺(tái)要從戰(zhàn)略、認(rèn)知、組織保障等更高的層面做規(guī)劃。
1.持續(xù)讓數(shù)據(jù)用起來(lái)的價(jià)值框架
數(shù)據(jù)中臺(tái)的使命就是持續(xù)讓數(shù)據(jù)用起來(lái),他的一個(gè)根本性創(chuàng)新僅是把“數(shù)據(jù)資產(chǎn)”作為一個(gè)基礎(chǔ)要素獨(dú)立出來(lái),讓成為資產(chǎn)的數(shù)據(jù)作為生產(chǎn)資料融入業(yè)務(wù)價(jià)值創(chuàng)造的過(guò)程,持續(xù)產(chǎn)生價(jià)值。
數(shù)據(jù)中臺(tái)作為整個(gè)企業(yè)各個(gè)業(yè)務(wù)所需數(shù)據(jù)服務(wù)的提供方,通過(guò)自身的平臺(tái)能力和業(yè)務(wù)對(duì)數(shù)據(jù)的不斷滋養(yǎng)(業(yè)務(wù)數(shù)據(jù)化),會(huì)形成一套高效可靠的數(shù)據(jù)資產(chǎn)體系和數(shù)據(jù)服務(wù)能力(數(shù)據(jù)資產(chǎn)化和資產(chǎn)服務(wù)化)。這樣一來(lái),當(dāng)出現(xiàn)新的市場(chǎng)變化,需要構(gòu)建新的前臺(tái)應(yīng)用時(shí),數(shù)據(jù)中臺(tái)可以迅速提供數(shù)據(jù)服務(wù)(服務(wù)業(yè)務(wù)化),從而敏捷地響應(yīng)企業(yè)的創(chuàng)新。
圖3-1 業(yè)務(wù)與數(shù)據(jù)閉環(huán)
數(shù)據(jù)中臺(tái)必須擁有與企業(yè)的設(shè)計(jì)部門(mén)、制造部門(mén)、銷售部門(mén)等同樣重要的地位。
數(shù)據(jù)中臺(tái)不但是單純的技術(shù)疊加,不是一個(gè)技術(shù)化的大數(shù)據(jù)平臺(tái),二者有本質(zhì)區(qū)別:大數(shù)據(jù)平臺(tái)更關(guān)心技術(shù)層面的事情,包括研發(fā)效率、平臺(tái)的大數(shù)據(jù)處理能力等,針對(duì)的往往是技術(shù)人員;而數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)服務(wù)能力,要結(jié)合場(chǎng)景,比如精準(zhǔn)營(yíng)銷、風(fēng)控等,通過(guò)服務(wù)直接賦能業(yè)務(wù)應(yīng)用。數(shù)據(jù)中臺(tái)不僅面向技術(shù)人員,更需要面向多個(gè)部門(mén)的業(yè)務(wù)人員。
企業(yè)內(nèi)部需要形成一張有共識(shí)的藍(lán)圖:數(shù)據(jù)是企業(yè)的戰(zhàn)略資產(chǎn)。
以業(yè)務(wù)價(jià)值為核心,支撐企業(yè)戰(zhàn)略落地
2.數(shù)據(jù)中臺(tái)建設(shè)方法論
1種戰(zhàn)略 2項(xiàng)保障條件 3條目標(biāo)準(zhǔn)則 4套建設(shè)內(nèi)容 5個(gè)關(guān)鍵步驟
A-1種戰(zhàn)略
數(shù)據(jù)中臺(tái)要求整個(gè)企業(yè)共用一個(gè)數(shù)據(jù)技術(shù)平臺(tái)、共建數(shù)據(jù)體系、共享數(shù)據(jù)服務(wù)能力。
數(shù)據(jù)中臺(tái)不僅是對(duì)技術(shù)架構(gòu)的改變,還是對(duì)整個(gè)企業(yè)業(yè)務(wù)模式的改變,需要企業(yè)在組織架構(gòu)和資源方面給予支持,所以中臺(tái)是一個(gè)企業(yè)的戰(zhàn)略行動(dòng),絕非一個(gè)項(xiàng)目組或者一個(gè)小團(tuán)隊(duì)就能做的。
數(shù)據(jù)中臺(tái)是一個(gè)“一把手工程”,只有企業(yè)的一把手才有這種推理來(lái)推動(dòng)數(shù)據(jù)中臺(tái)的建設(shè)。數(shù)據(jù)中臺(tái)的目標(biāo)是實(shí)現(xiàn)企業(yè)經(jīng)營(yíng)的數(shù)據(jù)化、精細(xì)化、智能化、本質(zhì)是建設(shè)一套可持續(xù)讓企業(yè)數(shù)據(jù)用起來(lái)的機(jī)制。
B-2項(xiàng)保障條件
首先,中臺(tái)戰(zhàn)略的實(shí)施需要有組織保障。與組織對(duì)應(yīng)的是資源與責(zé)任,數(shù)據(jù)中臺(tái)由誰(shuí)來(lái)建,誰(shuí)來(lái)維護(hù)、誰(shuí)來(lái)經(jīng)營(yíng)、業(yè)務(wù)需求怎么承接、效果怎么衡量等問(wèn)題已經(jīng)超出IT的范疇,需要企業(yè)更高層面對(duì)應(yīng)的組織來(lái)保障。
其次,中臺(tái)戰(zhàn)略的實(shí)施需要提升全企業(yè)的數(shù)據(jù)意識(shí)。數(shù)據(jù)文化是數(shù)據(jù)中臺(tái)戰(zhàn)略不可或缺的部分,數(shù)據(jù)中臺(tái)的推進(jìn)依賴于數(shù)據(jù)文化的建立,反過(guò)來(lái),數(shù)據(jù)文化的沉淀優(yōu)勢(shì)數(shù)據(jù)中臺(tái)建設(shè)的產(chǎn)出。
大數(shù)據(jù)是一種考慮問(wèn)題的思維方式,用互聯(lián)網(wǎng)思維、數(shù)據(jù)思維 來(lái)發(fā)現(xiàn)問(wèn)題、解決問(wèn)題。因此,用一句話來(lái)概括數(shù)據(jù)文化:用數(shù)據(jù)說(shuō)話。
提升數(shù)據(jù)數(shù)據(jù)意識(shí)的方法:
1.數(shù)據(jù)采集意識(shí):了解盡可能的數(shù)據(jù)采集方式,盡可能把有價(jià)值的數(shù)據(jù)通過(guò)技術(shù)手段記下來(lái)
2.數(shù)據(jù)標(biāo)準(zhǔn)化意識(shí):減少因數(shù)據(jù)口徑不一致導(dǎo)致的資源浪費(fèi)
3.數(shù)據(jù)使用意識(shí):掌握數(shù)據(jù)可能的使用方式,知道在實(shí)際過(guò)程中怎么使用數(shù)據(jù),還要打破原有經(jīng)驗(yàn),用更高的數(shù)據(jù)意識(shí)來(lái)發(fā)揮數(shù)據(jù)對(duì)于業(yè)務(wù)的價(jià)值
4.數(shù)據(jù)安全意識(shí):安全定級(jí)、脫敏
C-3條目標(biāo)準(zhǔn)則
評(píng)分項(xiàng)評(píng)分細(xì)項(xiàng)評(píng)分細(xì)項(xiàng)描述是/否
數(shù)據(jù)可見(jiàn)指標(biāo)管理的可視化是否已經(jīng)具備統(tǒng)一的指標(biāo)管理能力,如指標(biāo)的定義、修改、刪除和生命周期管理等
元數(shù)據(jù)管理的可視化是否已經(jīng)針對(duì)元數(shù)據(jù)(如表、字段、分區(qū)、任務(wù)和標(biāo)簽名等)的可視化管理工具
數(shù)據(jù)資產(chǎn)類目的可視化是否已經(jīng)具備資產(chǎn)的可視化類目管理,可自由增刪改查類目結(jié)構(gòu)和類目下的標(biāo)簽名稱或指標(biāo)名稱
數(shù)據(jù)源的可視化是否已經(jīng)具備對(duì)中臺(tái)所涉及的所有業(yè)務(wù)數(shù)據(jù)源的可視化管理,可自由增刪
數(shù)據(jù)集成的可視化是否已經(jīng)具備對(duì)業(yè)務(wù)數(shù)據(jù)到數(shù)據(jù)中臺(tái)的批量或?qū)崟r(shí)集成的可視化操作能力
數(shù)據(jù)ETL的可視化是否已經(jīng)及具備對(duì)數(shù)據(jù)處理ETL(數(shù)據(jù)倉(cāng)庫(kù)技術(shù))的可視化開(kāi)發(fā)、發(fā)布能力
數(shù)據(jù)建模的可視化是否已經(jīng)具備對(duì)數(shù)據(jù)建模的可視化管理能力,如批量生成指標(biāo)、模型標(biāo)準(zhǔn)管理等
數(shù)據(jù)消費(fèi)者的可視化是否已經(jīng)具備對(duì)數(shù)據(jù)消費(fèi)方統(tǒng)一管理,包括權(quán)限、限速、并發(fā)、高可用等、
算法建模的可視化是否已經(jīng)具備可拖拽式可視化和Notebook建模方式(工程師可在Notebook中一站式完成數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、預(yù)測(cè)等操作)
數(shù)據(jù)可用數(shù)據(jù)內(nèi)容的可用性數(shù)據(jù)內(nèi)容是否無(wú)歧義,符合業(yè)務(wù)所需的標(biāo)準(zhǔn)和質(zhì)量要求
數(shù)據(jù)服務(wù)的可用性數(shù)據(jù)已經(jīng)具備數(shù)據(jù)服務(wù)的快速生成,可通過(guò)可視化的形式完成
數(shù)據(jù)任務(wù)的可用性數(shù)據(jù)是否已經(jīng)具備數(shù)據(jù)任務(wù)的運(yùn)維能力,可自動(dòng)重跑、補(bǔ)數(shù)據(jù)、空跑、自動(dòng)調(diào)整任務(wù)資源配比等
數(shù)據(jù)的指標(biāo)化是否已經(jīng)把數(shù)據(jù)定義為指標(biāo),企業(yè)的日常經(jīng)營(yíng)分析依賴于各類BI報(bào)表和可視化大屏
數(shù)據(jù)的標(biāo)簽化是否已經(jīng)把數(shù)據(jù)定義為標(biāo)簽,標(biāo)簽來(lái)源于原始字段,統(tǒng)計(jì)類加工后的字段和算法類加工后的字段,企業(yè)的數(shù)據(jù)應(yīng)用依賴于各類標(biāo)簽體系
資產(chǎn)(指標(biāo)或標(biāo)簽)的易閱讀性對(duì)于業(yè)務(wù)人員來(lái)說(shuō),資產(chǎn)和資產(chǎn)類目是否看得懂,易查找
數(shù)據(jù)可運(yùn)營(yíng)質(zhì)量量化管理是否已經(jīng)可以通過(guò)任務(wù)失敗次數(shù)、產(chǎn)出時(shí)間穩(wěn)定性、標(biāo)簽覆蓋率等構(gòu)建質(zhì)量量化模型,數(shù)據(jù)研發(fā)團(tuán)隊(duì)日常根據(jù)分值進(jìn)行優(yōu)化管理
價(jià)值量化管理是否已經(jīng)可以通過(guò)任務(wù)資源占用情況、表生命周期和最近訪問(wèn)周期等構(gòu)建價(jià)值量化模型,數(shù)據(jù)研發(fā)團(tuán)隊(duì)日常已根據(jù)分值進(jìn)行優(yōu)化管理
數(shù)據(jù)運(yùn)營(yíng)角色是否已經(jīng)配有針對(duì)數(shù)據(jù)本身的運(yùn)營(yíng)角色或崗位,該角色通過(guò)圍繞核心KPI進(jìn)行數(shù)據(jù)的質(zhì)量?jī)?yōu)化和價(jià)值挖掘
D-4套建設(shè)內(nèi)容
建設(shè)內(nèi)容是數(shù)據(jù)中臺(tái)建設(shè)的核心,是可呈現(xiàn)的產(chǎn)出物,也是數(shù)據(jù)中臺(tái)價(jià)值所在,前面的戰(zhàn)略措施、保障條件、目標(biāo)準(zhǔn)則都是為了建設(shè)內(nèi)容能夠順利產(chǎn)出并且可以持續(xù)發(fā)揮價(jià)值。數(shù)據(jù)中臺(tái)的建設(shè)包含技術(shù)體系、數(shù)據(jù)體系、服務(wù)體系、運(yùn)營(yíng)體系四大體系。其中:
技術(shù)體系是基礎(chǔ)支撐,數(shù)據(jù)中臺(tái)對(duì)外呈現(xiàn)的主要內(nèi)容就是數(shù)據(jù)體系;
數(shù)據(jù)體系是數(shù)據(jù)中臺(tái)的血肉,是數(shù)據(jù)中臺(tái)主要對(duì)外呈現(xiàn)的內(nèi)容;
服務(wù)體系是數(shù)據(jù)中臺(tái)的價(jià)值所在;
運(yùn)營(yíng)體系是數(shù)據(jù)中臺(tái)的守護(hù)者,通過(guò)運(yùn)營(yíng)體系保證整個(gè)中臺(tái)的健康、持續(xù)運(yùn)轉(zhuǎn)
1.技術(shù)體系
技術(shù)體系分兩個(gè)層面:大數(shù)據(jù)存儲(chǔ)技術(shù)和數(shù)據(jù)中臺(tái)工具技術(shù)組件,技術(shù)體系主要關(guān)注點(diǎn)是工具技術(shù)組件。
通過(guò)工具化、產(chǎn)品化、可視化降低技術(shù)門(mén)檻,讓數(shù)據(jù)能夠更方便地加工使用。
2.數(shù)據(jù)體系
數(shù)據(jù)體系是數(shù)據(jù)中臺(tái)建設(shè)、管理、使用的核心要素.
需要在中泰工具和建設(shè)方法的基礎(chǔ)上針對(duì)不同的企業(yè)建設(shè)不同的數(shù)據(jù)體系
3.服務(wù)體系
數(shù)據(jù)中臺(tái)與大數(shù)據(jù)平臺(tái)的最主要區(qū)別是數(shù)據(jù)能更方便地以服務(wù)化的方式支撐業(yè)務(wù),而這是通過(guò)數(shù)據(jù)中臺(tái)服務(wù)體系實(shí)現(xiàn)的。
服務(wù)體系是通過(guò)數(shù)據(jù)中臺(tái)的服務(wù)組件能力,把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,讓數(shù)據(jù)能夠方便的參與到業(yè)務(wù)中并為業(yè)務(wù)帶來(lái)價(jià)值
數(shù)字化轉(zhuǎn)型、數(shù)據(jù)化經(jīng)營(yíng),就是讓業(yè)務(wù)決策通過(guò)數(shù)據(jù)而不是僅憑經(jīng)驗(yàn),需要的正是數(shù)據(jù)服務(wù)能力
4.運(yùn)營(yíng)體系
運(yùn)營(yíng)體系是數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)。
數(shù)據(jù)中臺(tái)是一個(gè)持續(xù)的過(guò)程,一旦啟動(dòng),就不能暫停,更不能停止,而保障數(shù)據(jù)中臺(tái)持續(xù)高效運(yùn)轉(zhuǎn)的就是運(yùn)營(yíng)體系
E-5個(gè)關(guān)鍵步驟
1.理現(xiàn)狀
點(diǎn)對(duì)點(diǎn)與各部門(mén)溝通,獲取企業(yè)的產(chǎn)品和服務(wù)信息,形成業(yè)務(wù)現(xiàn)狀調(diào)研報(bào)告,同時(shí)了解企業(yè)目前已怎樣的組織形態(tài)來(lái)保證客戶的服務(wù)能力。
詳細(xì)調(diào)研目前企業(yè)的IT建設(shè)情況和業(yè)務(wù)數(shù)據(jù)沉淀情況,比如采用的什么數(shù)據(jù)庫(kù)、數(shù)據(jù)量、數(shù)據(jù)字段和更新周期等,以便后續(xù)設(shè)計(jì)架構(gòu)
2.立架構(gòu)
業(yè)務(wù)架構(gòu):保障數(shù)據(jù)中臺(tái)能夠適用于企業(yè)的業(yè)務(wù)運(yùn)管模型和流程體系
技術(shù)架構(gòu):主要是指技術(shù)體系中的數(shù)據(jù)基座,主要根據(jù)業(yè)務(wù)架構(gòu)近遠(yuǎn)期規(guī)劃,對(duì)數(shù)據(jù)的存儲(chǔ)和計(jì)算進(jìn)行統(tǒng)一的選型
應(yīng)用架構(gòu):特指數(shù)據(jù)中臺(tái)應(yīng)用架構(gòu),后面幾個(gè)關(guān)鍵步驟的內(nèi)容所依賴的工具主要由數(shù)據(jù)中臺(tái)作為平臺(tái)應(yīng)用來(lái)承接
組織架構(gòu):主要是保證中臺(tái)項(xiàng)目的順利落地需要企業(yè)考慮的整體組織保障,其中角色有業(yè)務(wù)人員、IT人員、供應(yīng)商各相關(guān)負(fù)責(zé)人
3.建資產(chǎn)
該步驟設(shè)計(jì)數(shù)據(jù)匯聚、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、標(biāo)簽體系建設(shè)以及應(yīng)用數(shù)據(jù)建設(shè),其中最關(guān)鍵的是標(biāo)簽體系建設(shè)。
所謂標(biāo)簽體系是面向具體對(duì)象構(gòu)建的全維度數(shù)據(jù)標(biāo)簽,通過(guò)標(biāo)簽體系可以方便的支撐應(yīng)用,大數(shù)據(jù)的核心魅力和服務(wù)能力就主要體現(xiàn)在標(biāo)簽體系的服務(wù)能力上。
4.用數(shù)據(jù)
將已經(jīng)構(gòu)建的數(shù)據(jù)資產(chǎn)通過(guò)服務(wù)化方式,應(yīng)用到具體的業(yè)務(wù)中,發(fā)揮數(shù)據(jù)價(jià)值。要注意數(shù)據(jù)安全
5.做運(yùn)營(yíng)
數(shù)據(jù)應(yīng)用于業(yè)務(wù)后,其產(chǎn)生的價(jià)值通過(guò)運(yùn)營(yíng)的能力不斷優(yōu)化迭代,并讓更多的人感知到數(shù)據(jù)的價(jià)值點(diǎn)
3.數(shù)據(jù)中臺(tái)架構(gòu)
數(shù)據(jù)中臺(tái)是位于底層存儲(chǔ)計(jì)算平臺(tái)與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。
數(shù)據(jù)中臺(tái)屏蔽掉底層存儲(chǔ)平臺(tái)的計(jì)算技術(shù)復(fù)雜性,降低對(duì)技術(shù)人才的需求,讓數(shù)據(jù)的使用成本更低。
通過(guò)數(shù)據(jù)中臺(tái)的數(shù)據(jù)匯聚,數(shù)據(jù)開(kāi)發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。
通過(guò)資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力,服務(wù)于企業(yè)業(yè)務(wù)。
數(shù)據(jù)安全管理、數(shù)據(jù)運(yùn)營(yíng)體系保障數(shù)據(jù)中臺(tái)可以長(zhǎng)期健康、持續(xù)運(yùn)轉(zhuǎn)
數(shù)據(jù)匯聚
數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)數(shù)據(jù)接入的入口。數(shù)據(jù)中臺(tái)本身幾乎不產(chǎn)生任何數(shù)據(jù),需要數(shù)據(jù)匯聚模塊把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)方便的采集到的數(shù)據(jù)中臺(tái)進(jìn)行集中存儲(chǔ),為后續(xù)的架構(gòu)建模做準(zhǔn)備。
數(shù)據(jù)開(kāi)發(fā)
數(shù)據(jù)開(kāi)發(fā)是一整套加工以及加工過(guò)程管控的工具,有經(jīng)驗(yàn)的數(shù)據(jù)開(kāi)發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能,可以快速把數(shù)據(jù)加工成對(duì)業(yè)務(wù)有價(jià)值的形式,提供給業(yè)務(wù)使用。
數(shù)據(jù)開(kāi)發(fā)模塊主要面向開(kāi)發(fā)人員、分析人員、提供離線、實(shí)實(shí)時(shí)、算法開(kāi)發(fā)工具,以及任務(wù)的管理
數(shù)據(jù)體系
不同企業(yè)的因業(yè)務(wù)不同導(dǎo)致數(shù)據(jù)不同,數(shù)據(jù)建設(shè)的內(nèi)容也不同,但是建設(shè)方法可以相似,數(shù)據(jù)要統(tǒng)一建設(shè),建議按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉(cāng)、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)
數(shù)據(jù)資產(chǎn)管理
資產(chǎn)管理是以企業(yè)全員更好理解的方式,把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員(當(dāng)然要考慮權(quán)限和安全管控),數(shù)據(jù)資產(chǎn)管理包括對(duì)數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示,以一種更直觀的方式戰(zhàn)企業(yè)的數(shù)據(jù)資產(chǎn),提升企業(yè)的數(shù)據(jù)意識(shí)。
數(shù)據(jù)服務(wù)體系
數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,通過(guò)數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù),激活整個(gè)數(shù)據(jù)中臺(tái),數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺(tái)的價(jià)值所在。
數(shù)據(jù)中臺(tái)的服務(wù)模塊并沒(méi)有自帶很多服務(wù),而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計(jì)量等功能。
運(yùn)營(yíng)體系和安全管理
運(yùn)營(yíng)提示和安全管理使數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ),如果沒(méi)有運(yùn)營(yíng),數(shù)據(jù)中臺(tái)可能像一個(gè)仙股一樣,在平臺(tái)搭建起項(xiàng)目之后嘗試一兩個(gè)場(chǎng)景就止步,無(wú)法正常的持續(xù)運(yùn)營(yíng),不能發(fā)揮價(jià)值。
(本文為《數(shù)據(jù)中臺(tái)-讓數(shù)據(jù)用起來(lái)》的閱讀摘錄,非原創(chuàng),歡迎大家購(gòu)買(mǎi)原書(shū)閱讀)