發簡信
IP屬地：北京
-
索引之LSM——compaction分類為什么需要compaction? LSM是一個順序存儲的結構，而且刪除，修改都是追加方式存儲，所以需要定時合并以減少數據冗余。 compacti...
-
watermark原理之watermark的下發watermark 如何下發的? 一、 數據讀取 A. AbstractStreamTaskNetworkInput：該類是用于讀取上游數據 ...
-
flink checkpoint與statebackend關系介紹 什么是statebackend? statebackend是用于存儲state的狀態后端，StateBackend 默認是保存在 JobM...
-
flink 問題總結（15）Triggering a savepoint for the job failed.java.util.concurrent.TimeoutException
背景： bin/flink savepoint 162f59ee8c59f1617a1cf638e3640858 --target kubern...
-
flink 問題總結（14）"flink-**-cluster-resourcemanager-leader" is forbidden: User "system:serviceaccount...
背景 flink 1.12.2版本，session模式，配置高可用，使用的是k8s高可用。報錯內容如下： "flink-**-cluster-r...
-
storm 問題總結問題1： host沒同步，機器之間通信有問題 解決辦法：同步hosts即可 問題2： zk連接數限制 任務跑了一段時間之后就開始背壓，而且sup...
-
Hbase 讀取流程Hbase 讀取復雜原因： 主要基于兩個方面的原因： 一是因為HBase一次范圍查詢可能會涉及多個Region、多塊緩存甚至多個數據存儲文件（H...
-
BlockCache
提升讀取性能方法：熱點數據存儲到內存中，以避免昂貴的IO開銷。 HBase也實現了一種讀緩存結構——BlockCache。客戶端讀取某個Bloc...
-
數據技術篇大數據階段 數據采集層（1）數據庫同步（DataX/同步中心）（2）消息中間件（離線、實時） 數據計算層 數據服務層 數據應用層 一. 日志收集...