[OLAP]Spark數據多維分析的任務

打造輕量級OLAP（一）：Spark計算Cube - Treant - 博客園
http://www.cnblogs.com/en-heng/p/5382224.html
打造輕量級OLAP（一）：Spark計算Cube
有一個數據多維分析的任務：

日志的周UV；
APP的收集量及標注量，TOP 20 APP（周UV)，TOP 20 APP標注分類（周UV)；
手機機型的收集量及標注量，TOP 20 機型（周UV)，TOP 20 手機廠商（周UV)；
初始的解決方案：Spark讀取數據日志，然后根據分析需求逐一進行map、distinct、reduceByKey得到分析結果。但是，這種方案存在著非常大的缺點——重復掃描數據源多次。

  1. Pig

Pig提供cube關鍵字做OLAP，將dimension分為了兩類：

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容