有一張財務流水表，未分庫分表，目前的數(shù)據(jù)量為9555695，分頁查詢使用到了limit，優(yōu)化之前的查詢耗時16 s 938 ms (execut...
投稿
收錄了883篇文章 · 89人關注
-
一次SQL查詢優(yōu)化原理分析：900W+數(shù)據(jù)，從17s到300ms（減少回表查詢） -
7000字，詳解倉湖一體架構！一、 什么是數(shù)據(jù)倉庫、數(shù)據(jù)集市和數(shù)據(jù)湖？ 1、數(shù)據(jù)倉庫 早期系統(tǒng)采用數(shù)據(jù)庫來存放管理數(shù)據(jù)，但是隨著大數(shù)據(jù)技術的興起，大家想要通過大數(shù)據(jù)技術來找...
-
經(jīng)典Hbase面試7題（附答案）
Hbase Hbase是怎么寫數(shù)據(jù)的？ HDFS和HBase各自使用場景 Hbase的存儲結構 熱點現(xiàn)象（數(shù)據(jù)傾斜）怎么產(chǎn)生的，以及解決方法有哪...
-
數(shù)據(jù)質量監(jiān)控框架及解決方案總結
概述 隨著業(yè)務發(fā)展和數(shù)據(jù)量的增加，大數(shù)據(jù)應用開發(fā)已成為部門應用開發(fā)常用的開發(fā)方式，由于部門業(yè)務特點的關系，spark和hive應用開發(fā)在部門內(nèi)部...
-
數(shù)據(jù)治理8種方法
01 、 頂層設計法 顧名思義，頂層設計法就是先做一個數(shù)據(jù)治理頂層設計的規(guī)劃，然后按照規(guī)劃執(zhí)行即可。 做過咨詢的彭友都知道，頂層設計、戰(zhàn)略咨詢都...
-
Flink | Checkpoint 機制詳解
一、Checkpoint 簡介 Flink 的 Checkpoint 機制是其可靠性的基石。當一個任務在運行過程中出現(xiàn)故障時，可以根據(jù) Chec...
-
Flink - 4 大主題、15 個高頻問題
1.前言 2.狀態(tài)原理 2.1. 狀態(tài)、狀態(tài)后端、Checkpoint 三者之間的區(qū)別及關系？ 結論：拿五個字做比喻："鐵鍋燉大鵝"，鐵鍋是狀態(tài)...
-
[各分類商品購物車存量Top10] Spark 指標實戰(zhàn)（7）
需求 各分類商品購物車存量Top10 前提 今天是 2020-06-14 建表語句 完整sql 步驟 只討論 三級分類 查詢一天 步驟 統(tǒng)計當天...
-
[各品牌商品交易統(tǒng)計] Spark 指標實戰(zhàn)（6）
需求-各品牌商品交易統(tǒng)計 統(tǒng)計周期統(tǒng)計粒度指標最近1、7、30日品牌訂單數(shù)最近1、7、30日品牌訂單人數(shù)最近1、7、30日品牌退單數(shù)最近1、7、...
-
[最近7/30日各品牌復購率] Spark 指標實戰(zhàn)（5）
需求說明如下 統(tǒng)計周期統(tǒng)計粒度指標說明最近7、30日品牌復購率重復購買人數(shù)占購買人數(shù)比例 建表語句 前提 今天是 2020-06-14dws_t...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/539320/33.jpg', '推薦專題《大數(shù)據(jù)開發(fā)》（ 分享自 @簡書 ）','http://www.lxweimin.com/c/b2266bfb553d?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}