這是小編的一個讀者喜提offer后在群里做的分享，文中隱藏了讀者的個人隱私信息，小編這里把他的面經(jīng)分享出來供大家學習。群友們看到后都紛紛表示【我酸了，現(xiàn)在我就是個檸檬精系列】...
發(fā)簡信
IP屬地：云南
-
所以說讀者們才是最優(yōu)秀的 | 某讀者喜提offer后的分享
-
所以說讀者們才是最優(yōu)秀的 | 某讀者喜提offer后的分享
這是小編的一個讀者喜提offer后在群里做的分享，文中隱藏了讀者的個人隱私信息，小編這里把他的面經(jīng)分享出來供大家學習。群友們看到后都紛紛表示【我酸了，現(xiàn)在我就是個檸檬精系列】...
-
2021年，開發(fā)者的落日
小說《三體》第一部結(jié)尾，葉文潔透過紅岸基地天空看到了最后一次日落。她親手發(fā)出的訊息讓人類太陽永遠沉淪。多年以后，一顆小小的水滴瞬間摧毀龐大的人類星際艦隊，人類的驕傲與自尊灰飛...
-
【大數(shù)據(jù)嗶嗶集20210117】Kafka 的高可靠性是怎么實現(xiàn)的
數(shù)據(jù)可靠性 Kafka 作為一個商業(yè)級消息中間件，消息可靠性的重要性可想而知。本文從 Producter 往 Broker 發(fā)送消息、Topic 分區(qū)副本以及 Leader ...
-
【大數(shù)據(jù)嗶嗶集20210124】有人問我Kafka Leader選舉?我真沒慌
一條消息只有被ISR中所有Follower都從Leader復制過去才會被認為已提交。這樣就避免了部分數(shù)據(jù)被寫進了Leader，還沒來得及被任何Follower復制就宕機了，而...
-
【大數(shù)據(jù)嗶嗶集20210122】面試官問我HDFS丟不丟數(shù)據(jù)？我啪就把這個文章甩到他臉上
數(shù)據(jù)一致性 HDFS作為分布式文件系統(tǒng)在分布式環(huán)境下如何保證數(shù)據(jù)一致性。HDFS中，存儲的文件將會被分成若干的大小一致的block分布式地存儲在不同的機器上，需要NameNo...
-
【大數(shù)據(jù)嗶嗶集20210122】面試官問我HDFS丟不丟數(shù)據(jù)？我啪就把這個文章甩到他臉上
數(shù)據(jù)一致性 HDFS作為分布式文件系統(tǒng)在分布式環(huán)境下如何保證數(shù)據(jù)一致性。HDFS中，存儲的文件將會被分成若干的大小一致的block分布式地存儲在不同的機器上，需要NameNo...
-
學不會去當產(chǎn)品吧？Flink實戰(zhàn)任務調(diào)優(yōu)
背景 在大數(shù)據(jù)領域我們都知道，開發(fā)是最簡單，任務的合理調(diào)優(yōu)、問題排查才是最重要的。我們在之前的文章《Flink面試通關手冊》[https://mp.weixin.qq.com...
-
Presto在大數(shù)據(jù)領域的實踐和探索
小編在去年的時候，寫過一篇轟動全網(wǎng)的文章《你需要的不是實時數(shù)倉 | 你需要的是一款強大的OLAP數(shù)據(jù)庫》[https://mp.weixin.qq.com/s?__biz=M...
-
哈哈，答案我寫了，可以照著看看
Flink 面試通關手冊
概述 2019 年是大數(shù)據(jù)實時計算領域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （內(nèi)部的 Flink 分支版本）開源，大數(shù)據(jù)領域一夜間從 Spark 獨步天下...
-
突破性能瓶頸！ElasticSearch百億級數(shù)據(jù)檢索優(yōu)化案例一、前言 本文中的數(shù)據(jù)平臺已迭代三個版本，從頭開始遇到很多常見的難題，終于有片段時間整理一些已完善的文檔，在此分享以供所需朋友的。實現(xiàn)參考，少走些彎路，在此篇幅中偏重于ES的...
-
great
Greenplum 數(shù)據(jù)庫 之 拉鏈表 的實現(xiàn)
??歷史拉鏈表是一種數(shù)據(jù)模型，主要是針對數(shù)據(jù)倉庫設計中表存儲數(shù)據(jù)的方式而定義的；顧名思義，所謂歷史拉鏈表，就是記錄一個事務從開始一直到當前狀態(tài)的所有變化的信息，拉鏈表可以避免...
-
寫得太好了。支持作者。
Ogg 監(jiān)控 MySQL - Binlog 日志并對接 Kafka 實戰(zhàn)（一）
??對于 Flink 數(shù)據(jù)流的處理，一般都是去直接監(jiān)控 xxx.log 日志的數(shù)據(jù)，至于如何實現(xiàn)關系型數(shù)據(jù)庫數(shù)據(jù)的同步的話網(wǎng)上基本沒啥多少可用性的文章，基于項目的需求，經(jīng)過一...
-
觸類旁通Elasticsearch之吊打同行系列：分析篇
目錄 一、什么是分析 二、分析文 三、分析API 四、分析器、分詞器、分詞過濾器 內(nèi)置分析器 分詞器 分詞過濾器 五、N元語法、側(cè)邊N元語法、滑動窗口 六、IK中文分詞插件 ...
-
我特別喜歡你的文章，三個贊??
基于ClickHouse的用戶行為（路徑）分析實踐
前言 ClickHouse為用戶提供了豐富的多參聚合函數(shù)（parametric aggregate function）和基于數(shù)組+Lambda表達式的高階函數(shù)（higher-...
-
flink與kafka結(jié)合1、概述 flink提供了一個特有的kafka connector去讀寫kafka topic的數(shù)據(jù)。flink消費kafka數(shù)據(jù)，并不是完全通過跟蹤kafka消費組的off...
-
Spark SQL CBO 基于代價的優(yōu)化
Spark CBO 背景 本文將介紹 CBO，它充分考慮了數(shù)據(jù)本身的特點（如大小、分布）以及操作算子的特點（中間結(jié)果集的分布及大小）及代價，從而更好的選擇執(zhí)行代價最小的物理執(zhí)...
-
解決Spark數(shù)據(jù)傾斜(三) 使用隨機前綴分散傾斜Key
原理 為數(shù)據(jù)量特別大的Key增加隨機前/后綴，使得原來Key相同的數(shù)據(jù)變?yōu)镵ey不相同的數(shù)據(jù)，從而使傾斜的數(shù)據(jù)集分散到不同的Task中，徹底解決數(shù)據(jù)傾斜問題。Join另一則的...