1.概覽
多源數據目錄（Multi-Catalog）功能，旨在能夠更方便對接外部數據目錄，以增強Doris的數據湖分析和聯邦數據查詢能力。
在之前的 Doris 版本中，用戶數據只有兩個層級：Database 和 Table。當我們需要連接一個外部數據目錄時，我們只能在Database 或 Table 層級進行對接。比如通過 create external table 的方式創建一個外部數據目錄中的表的映射，或通過 create external database 的方式映射一個外部數據目錄中的 Database。如果外部數據目錄中的 Database 或 Table 非常多，則需要用戶手動進行一一映射，使用體驗不佳。
而新的 Multi-Catalog 功能在原有的元數據層級上，新增一層Catalog，構成 Catalog -> Database -> Table 的三層元數據層級。其中，Catalog 可以直接對應到外部數據目錄。目前支持的外部數據目錄包括：
- Apache Hive
- Apache Iceberg
- Apache Hudi
- Elasticsearch
- JDBC: 對接數據庫訪問的標準接口(JDBC)來訪問各式數據庫的數據。
- Apache Paimon(Incubating)
該功能將作為之前外表連接方式（External Table）的補充和增強，幫助用戶進行快速的多數據目錄聯邦查詢。
這篇教程將展示如何使用 Flink + Hudi + Doris 構建實時湖倉一體的聯邦查詢分析，Doris 2.0.3 版本提供了 的支持，本文主要展示 Doris 和 Hudi 怎么使用，同時本教程整個環境是都基于偽分布式環境搭建，大家按照步驟可以一步步完成。完整體驗整個搭建操作的過程。
2. 環境
本教程的演示環境如下：
- Centos7
- Apache doris 2.0.2
- Hadoop 3.3.3
- hive 3.1.3
- Fink 1.17.1
- Apache hudi 0.14
- JDK 1.8.0_311
3. 安裝
- 下載 Flink 1.17.1
wget https://dlcdn.apache.org/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz解壓安裝
tar zxf flink-1.17.1-bin-scala_2.12.tgz - 下載 Flink 和 Hudi 相關的依賴
wget https://repo1.maven.org/maven2/org/apache/flink/flink-table-planner_2.12/1.17.1/flink-table-planner_2.12-1.17.1.jar
wget https://repo1.maven.org/maven2/org/apache/hudi/hudi-hive-sync-bundle/0.14.0/hudi-hive-sync-bundle-0.14.0.jar
wget https://repo1.maven.org/maven2/org/apache/hudi/hudi-flink1.17-bundle/0.14.0/hudi-flink1.17-bundle-0.14.0.jar
wget https://repo1.maven.org/maven2/org/apache/hudi/hudi-hadoop-mr-bundle/0.14.0/hudi-hadoop-mr-bundle-0.14.0.jar
將上面這些依賴下載到 flink-1.17.1/lib 目錄，然后將之前的 flink-table-planner-loader-1.17.1.jar 刪除或者移除。
3. 創建 Hudi 表并寫入數據
3.1 啟動 Flink
bin/start-cluster.sh
啟動 Flink client
./bin/sql-client.sh embedded shell
設置返回結果模式為tableau,讓結果直接顯示
set sql-client.execution.result-mode=tableau;
3.2 啟動 Hive MetaStore 和 HiveServer
nohup ./bin/hive --service hiveserver2 >/dev/null 2>&1 &
nohup ./bin/hive --service metastore >/dev/null 2>&1 &
3.3 創建 Hudi 表
我們來創建 Hudi 表，我們這里使用 Hive MetaStore Service 來保存 Hudi 的元數據。
CREATE TABLE table1(
uuid VARCHAR(20) PRIMARY KEY NOT ENFORCED,
name VARCHAR(10),
age INT,
ts TIMESTAMP(3),
`partition` VARCHAR(20)
)
PARTITIONED BY (`partition`)
with(
'connector'='hudi',
'path' = 'hdfs://localhost:9000/user/hive/warehouse/demo.db',
'table.type'='COPY_ON_WRITE',
'hive_sync.enable'='true',
'hive_sync.table'='hudi_hive',
'hive_sync.db'='demo',
'hive_sync.mode' = 'hms',
'hive_sync.metastore.uris' = 'thrift://192.168.31.54:9083'
);
- 'table.type'='COPY_ON_WRITE', -- MERGE_ON_READ方式在沒生成 parquet 文件前，hive不會有輸出
- 'hive_sync.enable'='true', -- required，開啟hive同步功能
- 'hive_sync.table'='${hive_table}', -- required, hive 新建的表名
- 'hive_sync.db'='${hive_db}', -- required, hive 新建的數據庫名
- 'hive_sync.mode' = 'hms', -- required, 將hive sync mode設置為hms, 默認jdbc
- 'hive_sync.metastore.uris' = 'thrift://ip:9083' -- required, metastore的端口
寫入數據：
INSERT INTO table1 VALUES
('id1','Danny',23,TIMESTAMP '1970-01-01 00:00:01','par1'),
('id2','Stephen',33,TIMESTAMP '1970-01-01 00:00:02','par1'),
('id3','Julian',53,TIMESTAMP '1970-01-01 00:00:03','par2'),
('id4','Fabian',31,TIMESTAMP '1970-01-01 00:00:04','par2'),
('id5','Sophia',18,TIMESTAMP '1970-01-01 00:00:05','par3'),
('id6','Emma',20,TIMESTAMP '1970-01-01 00:00:06','par3'),
('id7','Bob',44,TIMESTAMP '1970-01-01 00:00:07','par4'),
('id8','Han',56,TIMESTAMP '1970-01-01 00:00:08','par4');
通過 Flink 查詢 Hudi 表的數據
SELECT * FROM TABLE1
我們可以查看 HDFS 上這個數據文件已經存在，在 hive client 下也可以看到這表
hive> use demo;
OK
Time taken: 0.027 seconds
hive> show tables;
OK
hudi_hive
4. Doris On Hudi
Doris 操作訪問 Hudi 的數據很簡單，我們只需要創建一個 catalog 就可以，不需要再想之前一樣寫一個完整的建表語句，同時當 Hudi 數據源中增刪表或者增刪字段，Doris 這邊可以通過配置自動刷新或者手動刷新Catalog 自動感知。
下面我們在Doris 下創建一個 Catalog 來訪問 Hudi 外部表的數據
CREATE CATALOG hudi PROPERTIES (
'type'='hms',
'hive.metastore.uris' = 'thrift://192.168.31.54:9083'
);
這里我們上面Hudi的元數據是使用HMS存儲的，我們創建的時候只需要指定上面兩個信息即可，如果你的HDFS是高可用的，你需要添加NameNode HA的信息：
'hadoop.username' = 'hive',
'dfs.nameservices'='your-nameservice',
'dfs.ha.namenodes.your-nameservice'='nn1,nn2',
'dfs.namenode.rpc-address.your-nameservice.nn1'='172.21.0.2:4007',
'dfs.namenode.rpc-address.your-nameservice.nn2'='172.21.0.3:4007',
'dfs.client.failover.proxy.provider.your-nameservice'='org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider'
具體參照Doris 官網文檔
創建成功之后我們可以通過下面的紅框標識出來的步驟去看到 Hudi 的表。
執行查詢 Hudi 表：
將 Hudi 表里的數據遷移到 Doris
這里我們先創建好 Doris的表，建表語句如下：
CREATE TABLE doris_hudi(
uuid VARCHAR(20) ,
name VARCHAR(10),
age INT,
ts datetime(3),
`partition` VARCHAR(20)
)
UNIQUE KEY(`uuid`)
DISTRIBUTED BY HASH(`uuid`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1",
"enable_unique_key_merge_on_write" = "true"
);
通過 Insert Select 語句將 Hudi 數據遷移到 Doris ：
insert into doris_hudi select uuid,name,age,ts,partition from hudi.demo.hudi_hive;
查詢 Doris 表
mysql> select * from doris_hudi;
+------+---------+------+-------------------------+-----------+
| uuid | name | age | ts | partition |
+------+---------+------+-------------------------+-----------+
| id1 | Danny | 23 | 1970-01-01 08:00:01.000 | par1 |
| id2 | Stephen | 33 | 1970-01-01 08:00:02.000 | par1 |
| id3 | Julian | 53 | 1970-01-01 08:00:03.000 | par2 |
| id4 | Fabian | 31 | 1970-01-01 08:00:04.000 | par2 |
| id5 | Sophia | 18 | 1970-01-01 08:00:05.000 | par3 |
| id6 | Emma | 20 | 1970-01-01 08:00:06.000 | par3 |
| id7 | Bob | 44 | 1970-01-01 08:00:07.000 | par4 |
| id8 | Han | 56 | 1970-01-01 08:00:08.000 | par4 |
+------+---------+------+-------------------------+-----------+
8 rows in set (0.02 sec)
我們那還可以通過 CATS方式將 hudi數據遷移到Doris，Doris 自動完成建表
create table doris_hudi_01
PROPERTIES("replication_num" = "1") as
select uuid,name,age,ts,`partition` from hudi.demo.hudi_hive;
5. 總結
是不是使用非常簡單，快快體驗Doris 湖倉一體，聯邦查詢的能力，來加速你的數據分析性能
