作者｜Jingsong Lee jingsonglee0@gmail.com
Apache Flink 社區(qū)很高興地宣布發(fā)布 Apache Flink Table Store 0.2.0。
在這個(gè)版本中，增加了 Hive、Spark 和 Trino 等計(jì)算引擎的對(duì)接支持，并且穩(wěn)定了存儲(chǔ)的格式。歡迎大家試用和反饋！
Flink Table Store 倉(cāng)庫(kù)地址：
https://github.com/apache/flink-table-store
項(xiàng)目文檔和用戶指南請(qǐng)查看：
https://nightlies.apache.org/flink/flink-table-store-docs-release-0.2/
Flink Table Store 是什么
Flink Table Store是一個(gè)數(shù)據(jù)湖存儲(chǔ)，用于實(shí)時(shí)流式 Changelog 攝取 (比如來(lái)自 Flink CDC 的數(shù)據(jù)) 和高性能查詢。
作為一種新型的可更新數(shù)據(jù)湖，F(xiàn)link Table Store 具有以下特點(diǎn)：
- 大吞吐量的更新數(shù)據(jù)攝取，同時(shí)提供良好的查詢性能。
- 具有主鍵過(guò)濾器的高性能查詢，響應(yīng)時(shí)間最快可達(dá)到百毫秒級(jí)別。
- 流式讀取在 Lake Storage 上可用，Lake Storage 還可以與 Kafka 集成，以提供毫秒級(jí)流式讀取。
功能
在這個(gè)版本中，我們完成了許多令人興奮的功能。
Catalog
此版本引入了 Table Store 自己的 Catalog，在 Catalog 下創(chuàng)建的表，持久化保存表信息等元數(shù)據(jù)，可以跨 session 訪問(wèn)存量表。
默認(rèn)情況下元數(shù)據(jù)都保存在 DFS 上。也支持配置 Hive Metastore 的自動(dòng)同步。
CREATE CATALOG tablestore WITH (
'type'='table-store',
'warehouse'='hdfs://nn:8020/warehouse/path',
-- optional hive metastore
'metastore'='hive',
'uri'='thrift://<hive-metastore-host-name>:<port>'
);
USE CATALOG tablestore;
CREATE TABLE my_table ...
當(dāng)開(kāi)啟 Hive Metastore 時(shí)，你可以比較方便的使用 Hive 引擎來(lái)查詢 Flink Table Store。
生態(tài)
在本版本中，我們不僅支持 Flink 1.15，也支持了 Flink 1.14，并為多個(gè)計(jì)算引擎提供讀取支持。
我們會(huì)保持 Flink 引擎和 Flink Table Store 的全面結(jié)合，構(gòu)建完整的流批一體計(jì)算和存儲(chǔ)的流式數(shù)倉(cāng)。此外，F(xiàn)link Table Store 也支持了更多的計(jì)算引擎，包括 Hive/Spark/Trino 等，從而可以兼容更多的生態(tài)，便于在現(xiàn)有生產(chǎn)環(huán)境中使用。
如果你有關(guān)于生態(tài)的需求和想法，比如想讓 Spark 或 Hive 支持寫(xiě)入 Flink Table Store，歡迎通過(guò)掃描文末的二維碼入群交流，或者在 Flink 社區(qū)創(chuàng)建 issue 進(jìn)行討論。
Append-only 表
Append-only 表功能是一種性能改進(jìn)，只接受 INSERT_ONLY 的數(shù)據(jù)以 Append 到存儲(chǔ)，而不是更新或刪除現(xiàn)有數(shù)據(jù)，適用于不需要更新的用例（如日志數(shù)據(jù)同步）。
CREATE TABLE my_table (
...
) WITH (
'write-mode' = 'append-only',
...
)
流式寫(xiě)入 Append-only 表也具有異步 Compaction，從而不需要擔(dān)心小文件問(wèn)題。
Bucket 擴(kuò)縮容
單個(gè) Bucket 內(nèi)是一個(gè)單獨(dú)的 LSM 結(jié)構(gòu)，Bucket 的數(shù)量會(huì)影響性能：
- 過(guò)小的 Bucket 數(shù)量會(huì)導(dǎo)致寫(xiě)入作業(yè)有瓶頸，吞吐跟不上寫(xiě)入速度。
- 過(guò)大的 Bucket 數(shù)量會(huì)導(dǎo)致有大量小文件，且影響查詢速度。
Flink Table Store 允許用戶通過(guò) ALTER TABLE 命令調(diào)整存儲(chǔ)桶數(shù)量，并通過(guò) INSERT OVERWRITE 重新組織必要的分區(qū)，舊分區(qū)保持不變。
性能測(cè)試
在以下的模塊里，我們創(chuàng)建了關(guān)于流計(jì)算更新和查詢的 Benchmark：
https://github.com/apache/flink-table-store/tree/master/flink-table-store-benchmark
更新性能和查詢性能是互相權(quán)衡的，所以在性能測(cè)試中不能單獨(dú)衡量更新性能或者查詢性能。
- 如果只考慮查詢性能，那么 Copy On Write (COW) 是最適合的技術(shù)方案，但這種設(shè)計(jì)下更新時(shí)會(huì)覆寫(xiě)所有數(shù)據(jù)，因此是以犧牲更新性能為代價(jià)的。
- 如果只考慮更新性能，那么 Merge On Read (MOR) 是最適合的技術(shù)方案，但這種設(shè)計(jì)下會(huì)在讀取時(shí)對(duì)數(shù)據(jù)進(jìn)行合并，從而影響查詢的性能。
- Flink Table Store 目前只支持 MOR 模式，但通過(guò) Data Skipping 等技術(shù)對(duì)查詢性能做了優(yōu)化。
下面對(duì)比了 Flink Table Store 和 Hudi MOR、Hudi COW，在實(shí)時(shí)更新場(chǎng)景的寫(xiě)入（包含插入和更新）與查詢性能。目前湖存儲(chǔ)中，只有 Hudi 比較好的支持了流更新寫(xiě)入，而 Iceberg 和 Delta 更適合使用批 SQL 的 MERGE INTO 來(lái)完成更新，所以這里只對(duì)比了 Hudi。
測(cè)試方法：
- 通過(guò) Flink SQL 向定義了主鍵的表里寫(xiě)入定量的隨機(jī)數(shù)據(jù)，測(cè)量耗時(shí)以及平均的 Cpu 消耗，以此衡量存儲(chǔ)的更新性能。
- 通過(guò) Spark SQL 查詢寫(xiě)好數(shù)據(jù)的表，測(cè)量三種 Query：查詢?nèi)繑?shù)據(jù)、查詢主鍵的某個(gè)范圍、點(diǎn)查某個(gè)主鍵，以此衡量存儲(chǔ)的查詢性能。
測(cè)試用例：
- 總量：數(shù)據(jù)總條數(shù) 5 億條。
- 主鍵：隨機(jī)的數(shù)據(jù)，隨機(jī)范圍是 1 億。
- 大小：每條數(shù)據(jù)大概 150 字節(jié)。
此測(cè)試用例比較簡(jiǎn)單，如有需要可以利用 benchmark 構(gòu)建更復(fù)雜的用例來(lái)貼合自己的生產(chǎn)場(chǎng)景。
測(cè)試環(huán)境：
- Flink 版本: 1.14.5
- Spark 版本：3.2.2
- Flink Table Store 版本: 0.2.0
- Hudi 版本：0.11.1
- 集群：三臺(tái)物理機(jī)的 Hadoop 集群
Flink 集群參數(shù)：
Spark 集群參數(shù)：
Flink Table Store 參數(shù)：
Hudi 參數(shù)：
寫(xiě)入性能 (throughput / core)：
查詢性能 (秒) (Flink Table Store vs Hudi MOR)：
查詢性能 (秒) (Flink Table Store vs Hudi COW)：
結(jié)論，面向此測(cè)試用例：
- Flink Table Store 對(duì)比 Merge On Read 有著比較好的更新性能和查詢性能。
- Flink Table Store 對(duì)比 Copy On Write 有著比較好的更新性能，但是查詢所有數(shù)據(jù)不如 COW，F(xiàn)link Table Store 是一個(gè) Merge On Read 的技術(shù)，有 Merge 的開(kāi)銷(xiāo)，但是 Merge 的效率非常高。
- Flink Table Store 因?yàn)楸３至擞行蛐裕苯硬樵儽砜梢杂泻芎玫?Data Skipping，點(diǎn)查甚至可以達(dá)到 100ms 以內(nèi)的延遲。
下一步
在即將發(fā)布的 0.3.0 版本中，您可以期待以下功能：
- Lookup：支持 Flink Dim Lookup Join。(即將來(lái)臨)
- 并發(fā)更新：多個(gè) Flink 作業(yè)寫(xiě)入同一張 Flink Table Store 表。
- Compaction分離：?jiǎn)为?dú)的任務(wù)完成Compaction。
- 物化視圖：Flink Table Store 提供預(yù)聚合模型。
- 變更日志生成：為各種 MergeEngine 生成準(zhǔn)確的變更日志。
- 多引擎的寫(xiě)支持：支持 Spark、Hive 寫(xiě)入 Flink Table Store。
Flink Table Store 長(zhǎng)期目標(biāo)是滿足批流一體對(duì)存儲(chǔ)的所有要求，并構(gòu)建實(shí)時(shí)低成本的 Streaming Data Warehouse。
