平臺架構:
數據應用
- PMS/CMS/LMS/IMS
- 智能數據分析
- BIM展示/GIS展示/數字孿生技術應用
數據服務
- 數據檢索
- 數據可視化(R語言)
- 數據模型管理
- 數據開放接口
- 數據編排
- 治理報告
數據管理
- 數據管理:數據權限管理、任務調度管理、數據監控管理、數據運維管理
- 數據訪問:JDBC、SQL、API
- 數據分析:通用計算模型管理、深度學習模型管理、指標計算、算字庫、知識庫
- 數據治理:元數據管理、數據血緣管理、數據質量管理、數據稽查、數據安全
- 計算模型:MapReduce、圖計算、流式計算、內存計算
數據采集
- 爬蟲、數據填報、ETL
- 工具:FDI、MQS、API組件、LINK
- 數據隊列:Kafka
- 結構化 數據、半結構化數據、非結構化數據、時序數據
數據存儲
- RDB傳統數據庫
- Hadoop分布式
- MPP并行數據庫
- TSDB時序數據庫
- DocumentDB(跨區域數據庫)
- 數據湖泊:MRS+DWS
主流的大數據處理系統架構
- NO.1
流式處理:Storm、S4、SEEP Dstream、Naiad、Spark、flink
數據查詢:Pig、Hive、SharkMeteor、SCOPE、DryadLINQ
機器學習:Mahout、MLBase、SystemML、Presto
圖像處理:Pregel、GraphLab Bagel、GraphX Giraph - NO.2 執行引擎
MapReduce、Dryad、Spark、Nephele/PACT、Hayracks Percolator - NO.3 資源管理
Apache Mesos、Hadoop YARN - NO.4 存儲系統
分布式存儲:HDFS、GFS
BigTable、Hbase、Dynamo Cassandra、MongoDB、Redis、Mysql、Voldemort