從概念到應用再到架構，一篇文章徹底讀懂元數據管理 http://mp.weixin.qq.com/s?src=3×tamp=1489854985&ver=1&signature=1g6icVYxxZUwjIqXGlyDApJxDazNB-asRqbzoE2oOrMQT2jEjLujIyLD4YNzlLcJ-aVUlPxCu55XyFGXVxLDhhKViG7J6Z0CPTjaVMadNif0yscnBWBgmKOrRwYpAW9mAT19VXq1VYqm7D2Oh827BPJjGfuYZPGQXbMLiSJhg=
更多元數據技術文章：
1、《90后美女程序員：元數據什么鬼》
2、《輕松理解元數據，只需懂點心理學》
3、《大數據治理的核心，可擴展的元數據架構設計》
4、《元數據核心架構解析》
5、《元數據管理的未來趨勢——企業元數據管理（EMM）》
6、《大數據時代，數據管理的12條鐵則》
7、《元數據驅動的微服務架構》
（不能直接跳轉的文章請大家自行搜索）
相關案例：
1、《北京銀行通過多態元數據管理大幅提升IT運營效率》
2、《太平洋保險——元數據驅動成為行業未來趨勢》
3、《華夏銀行—大數據時代，商業銀行該如何治理海量數據？》
4、《“理數據，抓質量，建平臺”——上海移動的數字化轉型之路（三）：大數據治理》
5、《金融資產管理行業首個數據標準產出》
6、《對于坐擁海量數據的金融企業來說，大數據治理意味著什么？》
那么該如何理解元數據管理？企業元數據管理的價值究竟在哪里？元數據管理架構的關鍵點是什么？本文從概念到實際應用場景再到技術架構設計，為大家詳細介紹元數據管理。
如何理解元數據管理？
說元數據管理之前，我們需要先說說“元數據”這個比較抽象的概念。“Data about Data”，元數據是關于數據的描述，存儲著關于數據的信息。實際上就相當于查找數據信息的目錄，《90后美女程序員：元數據什么鬼》中曾經用小蝌蚪找媽媽的故事來解釋元數據，可以用下圖表示：
其實系統理解信息的方式和人類的認知過程是非常相似的，所以我們也可以從人類的認知過程來理解元數據的概念。
人類通過不斷積累維度信息來全面認知世界。業界有名的“DIKW金字塔”認為，數據(Data)、信息(Information)、知識(Knowledge)和智慧(Wisdom)之間是層層遞進的關系，我們從數據里挖到信息，從信息里得到知識，從知識里獲取智慧，才有了真正的生活。如果在金字塔中給Metadata找一個位置，那么一定位于Data層和Information層之間，它賦予Data特定的含義，與Data一起構成了我們認知Information的基礎。
類似的，計算機系統也是通過不斷地給數據增加“維度”來理解信息的。實際上元數據就是計算機的“認知維度”，是計算機理解信息的一種方式。（詳細內容見《輕松理解元數據，只需懂點心理學》一文）
目前，應用元數據管理最廣泛的領域當屬數據領域，所以很容易給人們造成元數據只存在于數據領域的假象，其實除了數據領域，元數據還廣泛存在于企業信息系統甚至企業業務過程的方方面面。因此，為了讓元數據的價值能夠充分體現出來，企業需要擴大元數據管理的范圍，從簡單的庫表，到整個數據平臺，再到服務管理，甚至到驅動微服務，不斷突破傳統元數據管理的范疇。（詳細內容見《大數據治理的核心，可擴展的元數據架構設計》一文）
企業元數據管理的價值在哪里？
王軒曾在《元數據管理的未來趨勢——企業元數據管理（EMM）》一文中提到，未來元數據管理必然會受到國內外企業的關注。從國內外企業現狀來看，確實很多企業已經意識到了元數據管理的重要性，并且已經開始著手元數據管理相關建設，那么元數據管理究竟能給企業帶來哪些好處？
1自動采集企業元數據，全面梳理企業信息資產
企業數據通常呈現碎片化分布，一共有多少系統，各系統之間有什么關系，系統中都有哪些表，哪些表是孤立的可以刪掉，是很多企業很難直接弄清楚的問題。
合適的元數據管理工具可以通過自動化的方式，幫助企業完成數據信息、服務信息與業務信息的采集，自動化抽取企業內部所有元數據，為企業展現完整信息資產視圖,從而幫助企業集中管理所有信息資產,方便數據的交互和共享的同時很好地解決了上述一系列問題。（詳細內容見《大數據時代，數據管理的12條鐵則》)
圖：企業信息資產整體視圖
2分析數據流向，迅速響應業務數據問題
在企業中，往往會遇到這樣的問題：業務人員發現分析報表中的數據有問題，要求IT部門盡快修改，但由于數據加工鏈路很長，此次修改會涉及到多個項目組,甚至多個公司，其中技術手段各式各樣，所以很難定位到該問題數據的相關表和字段。
而元數據管理可以幫助企業分析數據流向，具體到字段級的數據解析可以幫助企業分析數據之間的上下游關系，通過可視化的方式展現數據上下游關系圖，快速定位問題字段，幫助企業降低數據問題定位的難度。
圖：元數據影響分析展現
3通過多環境對比分析，消除系統上線隱患
通常企業系統建設會分為開發、測試與生產三套環境，在軟件開發過程中，往往會出現開發庫、測試庫測試通過，而在上線過程中又出現問題的情況。
若通過元數據管理工具管理系統的上線變更，自動采集并管理三個環境的元數據，保證各個環境中元數據的及時性和準確性，對比上線環境與測試環境的元數據，分析上線系統對其他系統的影響，就能夠避免此類問題發生。（具體案例請見《北京銀行通過多態元數據管理大幅提升IT運營效率》）
圖：通過元數據管理，消除系統上線隱患
4驅動微服務架構，規范微服務體系的設計
在微服務架構中微服務的粒度小，數量多，元數據可以成為微服務之間對話的統一“語言”，幫助企業規范整個微服務體系的設計，通過元數據統一定義微服務中的數據標準和服務標準,分析微服務之間的調用關系，解決微服務邊界交互難的問題。
有了元數據管理，企業可以對微服務的全生命周期進行科學有效的管理。在規劃階段規范微服務，在設計階段提供連接其他微服務的元數據信息，在開發階段協助微服務開發測試，在上線后分析微服務的使用情況，協助維護微服務的變更，最后微服務下架時，還可以將微服務的元數據存檔，確保對目前體系不產生影響，從而對微服務的全生命周期進行科學有效的管理。（詳細內容見《元數據驅動的微服務架構》)
（更多元數據應用場景，見《從三個場景看如何玩轉元數據應用》）
元數據管理架構的關鍵點是什么？
一般來說，設計元數據管理平臺技術架構時需要考慮元數據管理平臺使用中的關鍵環節，包括元數據采集、元數據存儲、元數據管理和應用等，如何保證元數據從采集、存儲到管理應用等關鍵環節的穩定和擴展，成為元數據管理架構設計的關鍵點。王軒曾經在《大數據治理的核心，可擴展的元數據架構設計》中從擴展性的角度詳細介紹過普元元數據管理平臺技術架構。
1以MOF為基礎構建底層元元模型，方便元模型的定義和擴展
OMG的模型體系規范為元數據管理提供了基礎，所以整個元數據管理的設計應該以模型體系規范為指導。OMG模型規范體系分為M3，M2，M1，M0四層，目前企業元數據管理的技術架構一般都是基于CWM標準，CWM標準位于M2層，是一個偏上層的規范，這從一定程度上限制了技術架構的擴展性，導致企業元數據管理平臺只能管理數據相關資產，并不能管理對象、接口、業務、服務等其他企業信息。
圖：基于更底層的MOF規范，支持更廣闊的元數據類型
為了實現企業對內部所有信息資產的管理，企業元數據管理技術架構需要基于更底層的規范，也就是位于OMG模型規范體系M3層的能夠描述CWM標準的MOF規范，以MOF作為底層元元模型來支持元數據管理，在M2層中就可以對元模型進行定義和擴展（例如CWM模型），將來還可以擴展到微服務模型、業務模型等，幫助企業擴展出其所需要的所有元模型，進而實現企業所有資產的統一管理。（詳細內容見《大數據時代，數據管理的12條鐵則》)
2選擇基于MOF規范的存儲方式，實現元數據的可擴展存儲
為了將采集到的元數據存儲起來，元數據管理平臺需要把這些邏輯結構轉換成實際的存儲結構，元數據的存儲模型是管理元數據的基礎。一般來講，有兩種方式可以用來存儲元數據：一種是將元數據轉換成系統數據庫表和屬性，實現一對一存儲。例如可以將主鍵存儲在主鍵記錄表中，將存儲過程存儲在存儲過程記錄表中等；另外一種是基于MOF元元模型把所有屬性和關系打散，以此來實現元數據的通用存儲結構。
圖：元數據的兩種存儲方式
盡管第二種存儲方式在實現上更復雜一些，但是在擴展性有絕對優勢，是架構設計的優先選擇方式。（關于元數據管理架構的詳細介紹，見《大數據治理的核心，可擴展的元數據架構設計》）
3通過多種采集適配器自動采集元數據，保證元數據的一致性
設計了良好的存儲結構，元數據的采集也變得更為簡單。只需要三個部分，1，定義或選擇需要采集的元數據的元模型。2，從源工具或系統中采集元數據。3，檢查元數據質量后存儲元數據。在元數據采集中需要注意的是第二部分，從目標系統中采集元數據需要盡全力考慮自動化的方式，如果沒有自動化元數據很難與現實一致，那么整個元數據的價值也就非常難體現了。
圖：普元元數據管理工具自動化采集
總結
仔細分析國內外現狀，目前市場上對元數據管理的需求正日益增加，未來元數據將是連接業務，數據與服務的企業核心基礎設施，可擴展的元數據架構將能夠產生更多更有價值的應用場景。
更多元數據技術文章：
1、《90后美女程序員：元數據什么鬼》
2、《輕松理解元數據，只需懂點心理學》
3、《大數據治理的核心，可擴展的元數據架構設計》
4、《元數據核心架構解析》
5、《元數據管理的未來趨勢——企業元數據管理（EMM）》
6、《大數據時代，數據管理的12條鐵則》
7、《元數據驅動的微服務架構》
（不能直接跳轉的文章請大家自行搜索）
相關案例：
1、《北京銀行通過多態元數據管理大幅提升IT運營效率》
2、《太平洋保險——元數據驅動成為行業未來趨勢》
3、《華夏銀行—大數據時代，商業銀行該如何治理海量數據？》
4、《“理數據，抓質量，建平臺”——上海移動的數字化轉型之路（三）：大數據治理》
5、《金融資產管理行業首個數據標準產出》
6、《對于坐擁海量數據的金融企業來說，大數據治理意味著什么？》
關于編者：
龔菲
畢業于中南大學，現負責普元數據產品市場推廣，對大數據治理領域有深入認識，對元數據有獨特的見解，涉獵廣泛，擅長理論聯系實際，從生活中理解專業知識。
