美團的大數據平臺架構實踐 - 知乎專欄
https://zhuanlan.zhihu.com/p/26359613
image.png
image.png
image.png
本文將介紹美團大數據平臺的架構實踐，原文是美團大數據構建平臺架構師謝語宸在一次大會上的分享。文章分享了構建大數據平臺的方法，以及各種各樣的技術應用，希望能給大家一些關于大數據方面的啟迪。
1.****美團大數據平臺的架構
1.1****總體架構
下面我以數據流的架構角度介紹一下整個美團數據平臺的架構，最左邊首先從業務流到平臺，分別到實時計算，離線數據。
數據收集特性：
對于數據收集平臺，日志數據是多接口的，可以打到文件里觀察文件，也可以更新數據庫表。關系型數據庫是基于Binlog獲取增量的，如果做數據倉庫的話有大量的關系型數據庫，有一些變更沒法發現等情況，可以通過Binlog手段可以解決。通過一個Kafka消息隊列集中化分發支持下游，目前支持了850以上的日志類型，峰值每秒有百萬介入。
流式計算平臺特性：
構建流式計算平臺的時候充分考慮了開發的復雜度，基于Storm。有一個在線的開發平臺，測試開發過程都在在線平臺上做，提供一個相當于對Storm應用場景的封裝，有一個拓撲開發框架，因為是流式計算，我們也做了延遲統計和報警，現在支持1100以上的實時拓撲，秒級實時數據流延遲。這上面可以配置公司內部定的某個參數，某個代碼，可以在平臺上編譯有調試。
離線計算平臺特性：
目前42P+總存儲量，每天有15萬個Mapreduce和Spark任務，有2500+節點，支持3機房部署，數據庫總共16K個數據表，復雜度還是比較高的。
1.3****數據管理體系
數據管理體系特性：
數據管理體系主要包括自研的調配系統，數據質量的監控，資源管理和任務審核以及開發配置中心等等，之后這些都會整合到整個的數據開放平臺。
數據管理體系主要實現了這樣幾點功能，
第一點是基于SQL解析做了ETL任務之間的自動解析。
基于資源預留的模式做了各業務線成本的核算，整體的資源大體是跑到Yarn上的，每個業務線會有一些承諾資源、保證資源，還可以彈性伸縮，里面會有一些預算。
工作的重點，對于關鍵性任務會注冊SLA保障，并且包括數據內容質量，數據時效性內容都有一定的監控。
1.4****關于BI****產品
在前端分析方面，我們開發了星空展示中心，可以基于前面指標提取結果，配置一系列的餅圖、線圖、柱狀圖，去拖拽，最后構建出一個dashboard，功能同市面上的其他BI類似。
2.****平臺演進時間線
2.1 ****平臺發展
面對這個問題我們做了一個目前來看還算比較好的決策，就是重度依賴SQL。對SQL分裝了一些報表工具，對SQL做了etl工具。主要是在SQL層面做一些模板化的工具，支持時間等變量。這個變量會有一些外部的參數傳遞進來，然后替換到SQL的行為。
在2011下半年，我們引入了整個數據倉庫的概念，梳理了所有數據流，設計整個數據體系。做完了數據倉庫整體的構建，發現整體的ETL被開發出來了。首先ETL都是有一定的依賴關系的，但是管理起來成本非常高，所以自研了一個系統。另外發現數據量越來越大，原來基于單機MySQL的數據解析是搞不定的，所以2012年上了四臺Hadoop機器，后面十幾臺，到最后的幾千臺，目前可以支撐各個業務去使用。
2.2 ****最新進展
我們也做了一個非常重要的事就是ETL開發平臺，原來都是基于Git倉庫管理，管理成本非常高，當時跟個業務線已經開始建立自己數據開發的團隊，我們把他們開發的整個流程平臺化，各個業務線就可以自建。之后遇到的業務場景需求越來越多，特別是實時應用。2014年啟動了實時計算平臺，把原來原有關系型數據表全量同步模式，改為Binlog同步模式。我們也是在國內比較早的上了Hadoop2.0 on Yarn的改進版，好處是更好的激起了Spark的發展。另外還有Hadoop集群跨多機房，多集群部署的情況，還有OLAP保障，同步開發工具。
3.****平臺化思路總結
3.1****平臺的價值
作為一個平臺的團隊，核心價值其實就三個：
一是對于重復的事情要做精做專；
二是統一化。可以推一些標準，推一些數據管理的模式，減少業務之間的對接成本；
最重要的是為業務整體效率負責，包括開發效率、迭代效率、維護運維數據流程的效率，還有整個資源利用的效率。
3.2****平臺的發展
如果才能發展成一個好的平臺呢？
我理解的三點：
首先支持業務是第一位的，如果沒有業務我們平臺其實是沒法繼續發展的。
第二是與先進業務同行，輔助并沉淀技術。在一個所謂平臺化的公司，有多個業務線，甚至各個業務線已經是獨立的情況下，必定有一些業務線是先行者，他們有很強的開發能力、調研能力，我們的目標是跟這些先行業務線同行。
第三是設立規范，用積累的技術支撐后發業務。與業務一起前進的過程中，把一些經驗、技術、方案、規范慢慢沉淀下來。對于剛剛新建的業務線，或者發展比較慢的業務線，我們基本策略是設置一系列的規范，跟優先先行業務線積累去支撐后續的業務線，以及功能開發的時候也可以借助。保持平臺團隊對業務的理解。
3.3****關于開源
以上談到的平臺中有很多是開源的直接拿來用的，比如說，zeppelin，Kylin。
我們的策略是持續關注，其實也是幫業務線做前瞻性調研，他們團隊每天都在看數據，看新聞，他們會講新出的一個項目你們怎么推，你們不推我們推了，我們可能需要持續關注，設計一系列的調研方案，幫助這些業務去調研，這樣調研這個事情我們也是重復的事情只干一次。
如果有一些共性patch的事情，特別一些bug、問題內部也會有一個表共享，內部有大幾十個patch。選擇性的重構，最后才會大改，特別在選擇的時候我們強調從業務需求出發，理智的進行選型權衡，最終拿出來的方案是靠譜能落地實施的方案。
文章源自公眾號「帆軟數據應用研究院」，ID: fr_research。關注公眾號，回復 “美團” 可獲取案例PPT！
往期案例推薦：
鏈家網大數據平臺建設，平臺樞紐--工具鏈
大數據平臺在互聯網行業的應用
互聯網數據分析的底層應用架構
