元數據結構
fe/doris-meta > tree .
.
├── bdb # bdb 為 分布式 KV 系統,存放元數據的 journal
│ ├── 00000000.jdb # bdbje 的數據文件
│ ├── je.config.csv
│ ├── je.info.0 # bdbje 的運行日志
│ ├── je.info.0.lck
│ ├── je.lck
│ └── je.stat.csv
└── image # 用于存放 Doris 定期生成的元數據鏡像文件
├── image.xxx # 后綴 xxx 表明 image 所包含的最后一條日志的 id
├── image.ckpt # 正在寫入的 image 文件,如果寫入成功,會重命名為 image.[logid],并替換掉舊的 image 文件。
├── ROLE # 文件記錄了 FE 的類型(FOLLOWER 或 OBSERVER),是一個文本文件
└── VERSION # 文件記錄了這個 Doris 集群的 cluster id,以及用于各個節點之間訪問認證的 token,也是一個文本文件。
注
修改配置之后,需要通過 metadata_failure_recovery=true
來清空 bdbje 的元數據, 因此當修改 FE
端口等都可以通過在 fe/conf/fe.conf
的方式來使其生效即可,然后將 fe.conf
文件中的 metadata_failure_recovery=true
刪除防止下次再次清除咯。(源碼: org.apache.doris.journal.bdbje.BDBDebugger
)
查看 bdbje
數據
- 進入調試模式
修改 fe.conf
文件增加 enable_bdbje_debug_mode=true
, 然后通過 sh start_fe.sh --daemon
啟動 FE
即可進入 debug
模式。 進入 debug
模式之后,僅會啟動 http server
和 MySQLServer
并打開 BDBJE
實例,但不會進入任何元數據的加載及后續其他啟動流程。
- 查看
BDBJE
數據
進入 FE web ui
或 MySQL
客戶端訪問 Doris
服務:
# 查看 bdbje 數據庫列表
mysql> show proc "/bdbje";
+----------+---------------+---------+
| DbNames | JournalNumber | Comment |
+----------+---------------+---------+
| metricDB | 430694 | |
+----------+---------------+---------+
# 查看庫內數據實例列表
mysql> show proc "/bdbje/metricDB";
+-----------+
| JournalId |
+-----------+
| 1 |
| 2 |
+-----------+
4273 rows in set (0.06 sec)
# 查看數據值
mysql> show proc "/bdbje/metricDB/1";
+-----------+--------------+---------------------------------------------+
| JournalId | OpType | Data |
+-----------+--------------+---------------------------------------------+
| metricDB | OP_HEARTBEAT | org.apache.doris.persist.HbPackage@6583d5fb |
+-----------+--------------+---------------------------------------------+
1 row in set (0.05 sec)
FE
磁盤損壞元數據運維
當硬盤損壞之后,磁盤上 image
文件可能損壞,但內存中元數據完好的情況下可以從內存中 dump
元數據,在替換磁盤上的 image 文件,來恢復元數據,整個不停查詢服務的操作如下:
- 集群停止所有
load, create, alter
操作 - 執行如下命令,從
Master FE
內存中dump
出元數據
# 下載元數據 dump 文件 (源碼: org.apache.doris.httpv2.meta.MetaService.dump())
# 格式: curl -u $root_user:$password http://$master_hostname:8030/dump
curl -u root:root http://127.0.0.1:8030/dump
將
dump
文件替換OBSERVER FE
節點上fe/doris-meta/image
目錄下的 image 文件,重啟OBSERVER FE
節點,驗證image
文件的準確性(也可以通過FE Web
進行查看Database
和Table
的元數據是否正常,查看fe.log
是否存在異常,是否正常replayed journal
), 依次啟動其他FE
節點即可集群恢復所有
load, create, alter
操作
同步元數據
FE
啟動腳本中指定了 -helper
參數,并且指向了正確的 leader FE
節點,那么該 FE
首先會通過 http
向 leader
節點詢問自身的角色(即 ROLE
)和 cluster_id
。然后拉取最新的 image
文件。讀取 image
文件,生成元數據鏡像后,啟動 bdbje
,開始進行 bdbje
日志同步。同步完成后,開始回放 bdbje
中,image
文件之后的日志,完成最終的元數據鏡像生成。