作者：clark010
出處：http://www.lxweimin.com/u/f9af3f199145
版權：本文版權歸作者所有
轉載：歡迎轉載，但未經作者同意，必須保留此段聲明；必須在文章中給出原文連接；否則必究法律責任

背景

HBase的snapshot及restore都不涉及文件的移動和拷貝，操作耗時在秒級別；因為底層依賴的HDFS FileSystem不支持硬鏈接，所以HBase自己實現了一套FileLink的邏輯，每次snapshot都只是進行文件的link而不實際移動數據，而這保證了snapshot操作的效率（雖然不可避免的需要進行一下內存flush，但基本最耗時的消耗都在flush這一下）。下面會通過源碼的角度解析一下HBase snapshot的實現。

** 本文基于HBase-1.1.2版本代碼分析 **

整個Snapshot相關內容會分為四篇Blog，本文為第一篇

• 第一篇 - 簡介
  • Snapshot命令行
  • Snapshot相關存儲路徑
  • 主要Java類
• 第二篇 - Snapshot源碼分析
  • Take Snapshot
• 第三篇 - Restore源碼分析
  • Restore Snapshot
• 第四篇 - Clone/Delete源碼分析
  • Clone Snapshot
  • Delete Snapshot

Snapshot命令行

• list_snapshots
  • 列出所有已經存在的snapshot
• snapshot <tableName> <snapshotName> [{SKIP_FLUSH => true}]
  • 對table做snapshot
• clone_snapshot <snapshotName> <tableName>
  • 通過某一個snapshot clone一個新表
• restore_snapshot <snapshotName>
  • 從某一個snapshot對表做restore（需要先disable掉相關的hbase表）

需要注意一下，使用snapshot功能需要在hbase-site.xml打開snapshot開關

<property>
    <name>hbase.snapshot.enabled</name>
    <value>true</value>
</property>

更多命令的詳細介紹可以參考HBase Wiki

Snapshot相關存儲路徑

/[hbase-root]
    |__ .hbase-snapshot  存儲所有snapshot的元信息
        |__ .tmp/  snapshot的workDir，臨時數據存放
        |__ [snapshot name]
            |__ .snapshotinfo  snapshot的元信息
            |__ data.manifest  snapshot相關hfile的元信息
    |__ data
        |__ [namespace]  
            |__ [table]
                |__ .tabledesc
                    |__ .tableinfo.[id]
                |__ [encode region]
                    |__ .regioninfo
                    |__ [column family]
                        |__ [HFile / Link Files] HBase底層支持HFile及鏈接文件
                        |__ .links-[regionName]  back reference，用于快速的刪除無用的引用文件
                            |__ [ref files]
                    |__ .....
    |__ archive
        |__ data
            |__ [namespace]
                |__ [table]
                    |__ [encode region]
                        |__ [column family]
                            |__ [HFile / Link Files] 
    |__ WALs / oldWALs / ......

主要Java類

• Client：
  • HBaseAdmin - 入口類
• Master：
  • MasterRpcServices - 接收Client端的RPC請求
  • SnapshotManager
  • EnabledTableSnapshotHandler extends TableSnapshotHandler - 在線表
  • DisabledTableSnapshotHandler extends TableSnapshotHandler - 離線表
  • ProcedureCoordinator - 用于提交分布式snapshot事務
  • Procedure
  • ZKProcedureCoordinatorRpcs extends ProcedureCoordinator
  • SnapshotFileCache - 緩存snapshot引用文件，用于判斷文件是否deletable
  • SnapshotFileCleaner - 清理snapshot文件線程
• RegionServer：
  • RegionServerSnapshotManager - 監控分布式任務，并創建管理具體子任務
  • FlushSnapshotSubprocedure
  • RegionSnapshotTask - FlushSnapshotSubprocedure內部類
  • HRegion - 調用snapshot接口，處理具體的snapshot任務
  • SnapshotManifest - Utility class to help read/write the Snapshot Manifest
  • SnapshotManifestV2/SnapshotManifestV1 - SnapshotManifest內存數據結構