發(fā)簡(jiǎn)信
IP屬地：寧夏
-
spark 3.2 reuse pvc 功能改造背景 spark reuse pvc feature PVC: PersistentVolumeClaim[https://kubernete...
-
hudi mor表數(shù)據(jù)讀取
hudi 數(shù)據(jù)讀取以 fileSlice 為單位讀取, 依次將 fileSlice 的basefile、logfile數(shù)據(jù)加載到內(nèi)存根據(jù)新舊數(shù)...
-
HoodieClient、HoodieTable、ActionExecutor 數(shù)據(jù)寫入HoodieTable 定義了寫hudi 表依賴的組件及對(duì)表操作API(upsert、delete等)，根據(jù)不同操作創(chuàng)建BaseActionE...
-
hudi 數(shù)據(jù)寫入中的生產(chǎn)者-消費(fèi)者模式生產(chǎn)者-消費(fèi)者模式用來(lái)協(xié)調(diào)數(shù)據(jù)生產(chǎn)和消費(fèi)速度不一致問(wèn)題，在hudi中數(shù)據(jù)寫入時(shí)非常依賴該設(shè)計(jì)模式，且中間涉及一些比較好用的工具類可以直接拿來(lái)用，...
-
HoodieWriteHandle 數(shù)據(jù)寫入處理項(xiàng)目中使用Flink SQL 將離線數(shù)據(jù)、流數(shù)據(jù)寫入Hudi，自下而上分析寫hudi的流程。hudi 版本0.10.0-patch。 Hoodi...
-
Flink CDC 2.0 批流融合技術(shù)原理分析8月份 FlinkCDC 發(fā)布2.0.0版本，相較于1.0版本，在全量讀取階段支持分布式讀取、支持checkpoint，且在全量 + 增量讀取的...
-
Flink SQL 擴(kuò)展維表 Keyby 的三種實(shí)現(xiàn)方式背景 Flink LookupTableSource 通過(guò)使用流數(shù)據(jù)的一列或者多列的值，加載外部存儲(chǔ)數(shù)據(jù)（維表數(shù)據(jù)），進(jìn)而完成對(duì)流數(shù)據(jù)的字段擴(kuò)展...
-
Flink Streaming File Sink背景 Flink 支持將流數(shù)據(jù)以文件形式存儲(chǔ)到外部系統(tǒng)，典型使用場(chǎng)景是將數(shù)據(jù)寫入Hive表所在 HDFS存儲(chǔ)路徑，通過(guò)Hive 做查詢分析。隨著...
-
Flink 分布式緩存原理及使用背景 在1.9.1版本中分布式緩存并未拷貝HDFS下的文件到TM，運(yùn)行時(shí)拋出如下異常。 升級(jí)到1.10.1版本，能正常使用。借此，學(xué)習(xí)下Flin...