離線數(shù)據(jù)分析平臺實戰(zhàn)——220項目結(jié)構(gòu)整體概述
數(shù)據(jù)展示系統(tǒng)(bf_dataapi)總述
bf_dataapi項目的主要目標(biāo)有兩個：
第一個目標(biāo)就是我們需要提供一個提供json數(shù)據(jù)的Rest API；
第二個目標(biāo)就是提供一個展示結(jié)果的demo頁面。
bf_dataapi使用spring+mybatis+mysql來搭建提供rest api的項目框架，
使用highcharts來進(jìn)行demo頁面的搭建。
在本次項目中，我們將所有的API高度聚合，最終我們只會提供兩個API，然后在API中根據(jù)參數(shù)的不同進(jìn)行不同操作。
數(shù)據(jù)展示系統(tǒng)(bf_dataapi)結(jié)構(gòu)
bf_dataapi展示頁面介紹
在本次項目中我們分別就七個模塊進(jìn)行數(shù)據(jù)分析，我們這里采用js+highcharts的方式進(jìn)行數(shù)據(jù)的動態(tài)展示，具體的需求文檔詳見：..\文檔\最終展示界面需求文檔&設(shè)計文檔.doc
bf_dataapi rest api介紹
針對我們本次項目的七個模塊的數(shù)據(jù)分析，我們采用提供rest api的方式提供json格式的分析數(shù)據(jù)，這樣方便其他前端程序員來調(diào)用該接口來顯示數(shù)據(jù)，也方便其他項目組調(diào)用api獲取需要的數(shù)據(jù)。在本項目中，我們將api接口高度聚合，只提供兩個api，在api的方法內(nèi)部根據(jù)參數(shù)的不同決定不同的操作。具體需求文檔詳見：..\文檔\RestAPI需求設(shè)計文檔.doc
分析系統(tǒng)(bf_transformer)總述
bf_transformer的主要目標(biāo)由兩個，第一個目標(biāo)就是解析過濾用戶日志數(shù)據(jù)，并將解析后的數(shù)據(jù)保存到hbase中，也就是etl操作；第二個目標(biāo)就是從hbase中讀取日志數(shù)據(jù)，然后編寫mr/hive的job進(jìn)行數(shù)據(jù)分析，然后將結(jié)果保存到mysql數(shù)據(jù)庫中。
分析系統(tǒng)(bf_transformer)結(jié)構(gòu)
