HBase讀寫數據流程

hbase的系統表

hbase:namespace? ? 存儲了hbase中的所有namespace的信息

hbase:meta? ? 存儲了hbase中所有的region的信息,包括rowkey范圍,region所在的regionserver的地址。


hbase:meta? 在zookeeper中,進入zookeeper中查看


讀的流程:

1、連接zookeeper,找到meta表所在的regionserver的地址

2、訪問對應的regionserver,讀meta表的信息

3、通過命令找到rowkey對應的region,得到region的名稱

4、訪問region所在的regionserver

5、訪問對應store? 讀內存(memstore? cache)? storefile

寫的流程:

1、連接zookeeper,找到meta表所在的regionserver的地址

2、訪問對應的regionserver,讀meta表的信息

3、通過命令找到rowkey對應的region,得到region的名稱

4、訪問region所在的regionserver

5、正常情況

WAL(hlog),write ahead log

memstore

flush:將內存中的數據進行溢寫到磁盤變成storefile

compact:將多個storefile進行合并,變成一個大文件? ? 等到多個store中的storefile的和達到一定閾值,后進行split(region的等分成兩個region,又master分配,當前region消失)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 最近在逐步跟進Hbase的相關工作,由于之前對Hbase并不怎么了解,因此系統地學習了下Hbase,為了加深對Hb...
    飛鴻無痕閱讀 50,303評論 19 272
  • 1. HBase介紹,Hbase是什么? HBase -- Hadoop Database ,是一個高可靠、高性能...
    奉先閱讀 3,772評論 1 36
  • HBase那些事 @(大數據工程學院)[HBase, Hadoop, 優化, HadoopChen, hbase]...
    分癡閱讀 3,976評論 3 17
  • 簡介 [HBase]——Hadoop Database的簡稱,Google BigTable的另一種開源實現方式,...
    高廣超閱讀 2,371評論 1 27
  • HBase架構圖理解 HMaster鏈接Zookeeper的目得:HMaster需要知道哪些HRegionServ...
    心_的方向閱讀 14,363評論 1 13