為什么需要compaction? LSM是一個順序存儲的結構，而且刪除，修改都是追加方式存儲，所以需要定時合并以減少數據冗余。 compaction的類型 按大小：較新和較小...
發簡信
IP屬地：北京
-
索引之LSM——compaction分類 -
watermark原理之watermark的下發watermark 如何下發的? 一、 數據讀取 A. AbstractStreamTaskNetworkInput：該類是用于讀取上游數據 對象類別 含義：StreamS...
-
flink checkpoint與statebackend關系介紹 什么是statebackend? statebackend是用于存儲state的狀態后端，StateBackend 默認是保存在 JobManager 的內存中，也能夠...
-
flink 問題總結（15）Triggering a savepoint for the job failed.java.util.concurrent.TimeoutException
背景： bin/flink savepoint 162f59ee8c59f1617a1cf638e3640858 --target kubernetes-applicatio...
-
flink 問題總結（14）"flink-**-cluster-resourcemanager-leader" is forbidden: User "system:serviceaccount...
背景 flink 1.12.2版本，session模式，配置高可用，使用的是k8s高可用。報錯內容如下： "flink-**-cluster-resourcemanager-...
-
storm 問題總結問題1： host沒同步，機器之間通信有問題 解決辦法：同步hosts即可 問題2： zk連接數限制 任務跑了一段時間之后就開始背壓，而且supervisor全掛了。查看zk...
-
Hbase 讀取流程Hbase 讀取復雜原因： 主要基于兩個方面的原因： 一是因為HBase一次范圍查詢可能會涉及多個Region、多塊緩存甚至多個數據存儲文件（HFile）； 二是因為HBas...
-
BlockCache
提升讀取性能方法：熱點數據存儲到內存中，以避免昂貴的IO開銷。 HBase也實現了一種讀緩存結構——BlockCache。客戶端讀取某個Block，首先會檢查該Block是否...
-
-
-
flink 問題總結（13）flink 上kafka相同groupid消費重復
背景 flink1.12版本中使用了flinksql，固定了groupid。但是因為重復上了兩個相同任務之后，發現數據消費重復。 下圖sink中創建兩個相同任務，會消費相同數...
-
hbase 讀書筆記——數據結構跳躍表 跳躍表廣泛使用于KV數據庫中，諸如Redis、LevelDB、HBase都把跳躍表作為一種維護有序數據集合的基礎數據結構。性質1一個節點落在第k層的概率為pk-1。性...
-
Hbase 讀書筆記——概述bigtable:解決Google內部海量結構化數據的存儲以及高效讀寫問題。HBase是一個稀疏的、分布式的、多維排序的Map 1. 邏輯視圖 table：表，一個表包含多行...
-
registerEventTimeTimer
之前寫了一篇文章介紹registerProcessingTimeTimer，有興趣可以看下之前的文章。這篇文章介紹一下registerEventTimeTimer。 背景 首...
-
deployments滾動升級
默認滾動升級策略：（1）默認配置： 講解：假設當前有10個副本數1.新rs，新創建10*25%~=3，新創建3個副本。 舊rs，會在當前可用10-10*25%~=8的情況，刪...
-
Kubernetes中的端口hostPort、port、nodePort、targetPort
hostPort 這是一種直接定義Pod網絡的方式。hostPort是直接將容器的端口與所調度的節點上的端口路由，這樣用戶就可以通過宿主機的IP加上來訪問Pod了 port ...
-
flink 流批統一優化整理本文根據的是flink1.12和flink1.13社區文章及分享整理。個人根據社區相關學習理解整理，僅供參考。 流批一體架構 A.flink 1.11 及之前 統一了Tabe...
