InnoDB存儲引擎內幕

InnoDB存儲引擎內幕

一、InnoDB存儲引擎

1、體系架構

1.1. 后臺線程

1.1.1. Master Thread
該線程是InnoDB存儲引擎的核心線程,主要負責將緩沖池中的數據異步刷新到磁盤,保證數據的一致性,包括臟頁的刷新、合并插入緩沖(Insert Buffer)、UNDO頁的回收等

1.1.2. IO Thread
在InnoDB存儲引擎中使用了大量的AIO(Async IO)來處理寫IO請求,這樣可以大大提高數據庫的性能。而 IO Thread的工作主要就是負責這些io請求的回調處理(call back)。 IO Thread有四個類型,分別是

  • write thread
  • read thread
  • insert buffer thread
  • log thread

使用以下命令來觀察:

show engine innodb status\G;

FILE I/O
--------
I/O thread 0 state: waiting for completed aio requests (insert buffer thread)
I/O thread 1 state: waiting for completed aio requests (log thread)
I/O thread 2 state: waiting for completed aio requests (read thread)
I/O thread 3 state: waiting for completed aio requests (read thread)
I/O thread 4 state: waiting for completed aio requests (read thread)
I/O thread 5 state: waiting for completed aio requests (read thread)
I/O thread 6 state: waiting for completed aio requests (write thread)
I/O thread 7 state: waiting for completed aio requests (write thread)
I/O thread 8 state: waiting for completed aio requests (write thread)
I/O thread 9 state: waiting for completed aio requests (write thread)

可以使用innodb_read_io_thread和innodb_write_io_thread來對線程數量進行設置

1.1.3. Purge Thread
事務被提交后,其所使用的undolog可能不在需要,因此需要Purge Thread來回收已經使用并分配的undo頁。在InnoDB1.1版本之前purge 是在Master Thread線程中完成的。可以通過如下命令來啟用purge配置:

[mysqld]
innodb_purge_thread=1

1.1.4. Page Cleaner Thread
將之前版本中臟頁的刷新操作都放入到單獨的線程中來完成

1.2. 內存
1.2.1. 緩沖池
在我們深入了解緩沖之前,我們先來看一下以下幾個問題:

  • a、我們的明白我們為什么要在InnoDb存儲引擎中使用緩沖池技術?
  • b、使用緩沖池技術有哪些好處?
  • c、什么是緩沖池技術?

因為InnoDB是基于磁盤存儲的,并將其中的數據按照頁的方式進行管理,因此可將其視為基于磁盤的數據庫系統。在數據庫系統中由于CPU的速度與磁盤速度之間存在巨大差異,所以基于磁盤的數據庫系統通常使用緩沖池技術來提高數據庫的整體性能

緩沖池簡單來說就是一塊內存區域,通過內存的速度來彌補磁盤速度較慢對數據庫新能的影響。因此緩沖池的大小直接影響數據庫的整體性能,可以通過innodb_buffer_pool_size來設置,通過如下命令來查看:

show variables like `innodb_buffer_pool_size`\G;

具體來看緩沖池中緩存的數據頁類型有:

  • 數據頁
  • 索引頁
  • undo頁
  • 插入緩沖(insert buffer)
  • 自適應哈希索引
  • InnoDB存儲的鎖信息(lock info)
  • 數據字典信息

1.2.2. LRU List、Free List 和 Flush List

問題: 我們知道了緩沖池是一個很大的內存區域,其中存放了各種類型的頁,那么InnoDB是怎么對這么大的內存區域進行管理的了?

針對以上問題,我們來看一下LRU算法,因為數據庫的緩沖池正是通過LRU(最近最少使用)算法來管理的。即最頻繁使用的頁在LRU列表的前端,而最少使用的頁在LRU的尾端。當LRU不能存放新讀取到的頁時將首先釋放LRU列表中尾端的頁,我們開看一下具體流程:

這里用到了順序表list來作為緩沖池,每個數據節點稱為block
該算法采用“中點插入法”:當插入一個新block時,移除表尾最近最少使用的block,在中點插入新block。

這個中點將鏈表分為兩部分:

  • 1.靠近表頭的一部分,為young區,這里的block是最近使用的節點
  • 2.靠近表尾的一部分,為old區,這里的block是最近少使用的
    該算法通過鏈表中的block的使用熱度來維持各block的位置,其中old區的block為鏈表滿的時候移除的候選區

具體算法如下:

  • 1.鏈表的3/8被設置為old區
  • 2.中點不是鏈表的中間點,而是old區的表頭節點,即old區與young區的相鄰的那個節點
  • 3.當讀取的數據不在緩沖池里的時候,讀取到的block需要插入到鏈表中,插入點為中點,但是插入的新節點為old區的節點,如果此時old區滿了得話,移除表尾的block(LRU節點)
  • 4.當讀取old區的block時,該節點將變成“young”節點:此節點移動到young區的表頭(young區的頭部那里)
  • 5.在數據庫操作中,被訪問的節點將移除到young的表頭,這樣一來,在young區中的未被訪問的節點將逐漸往表尾移動,當移動過中點,將變為old區的節點。而old區的節點若被訪問到將變為young節點移動到表頭,而old區中的為被訪問的節點依舊往表尾移動,當表滿時,表尾那個block將會被淘汰掉

臟頁:緩沖池中的頁和磁盤中的頁的數據產生的不一致
Flush List:用來管理將臟頁刷新回磁盤,和lru list 互不影響
LRU List: 用來管理緩沖池中頁的可用性
注意:臟頁即存于Flush List ,也存于LRU List中

1.2.3. 重做日志緩沖
InnoDB存儲引擎首先將重做日志放入這個緩沖區,然后按一定的頻率刷新到重做日志文件,重做日志在下列三種情況下會將重做日志緩沖中的內容刷新到外部磁盤的重做日志文件中:

  • Master Thread每一秒將重做日志緩沖刷新到重做日志文件
  • 每個事務提交時會將重做日志緩沖刷新到重做日志文件
  • 當重做日志緩沖池剩余的空間小魚1/2時,重做日志緩沖刷新到重做日志文件

1.2.4. 額外的內存池

2、Checkpoint技術
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,565評論 6 539
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,115評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,577評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,514評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,234評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,621評論 1 326
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,641評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,822評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,380評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,128評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,319評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,879評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,548評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,970評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,229評論 1 291
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,048評論 3 397
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,285評論 2 376

推薦閱讀更多精彩內容