InnoDB存儲引擎內幕
一、InnoDB存儲引擎
1、體系架構
1.1. 后臺線程
1.1.1. Master Thread
該線程是InnoDB存儲引擎的核心線程,主要負責將緩沖池中的數據異步刷新到磁盤,保證數據的一致性,包括臟頁的刷新、合并插入緩沖(Insert Buffer)、UNDO頁的回收等
1.1.2. IO Thread
在InnoDB存儲引擎中使用了大量的AIO(Async IO)來處理寫IO請求,這樣可以大大提高數據庫的性能。而 IO Thread的工作主要就是負責這些io請求的回調處理(call back)。 IO Thread有四個類型,分別是
- write thread
- read thread
- insert buffer thread
- log thread
使用以下命令來觀察:
show engine innodb status\G;
FILE I/O
--------
I/O thread 0 state: waiting for completed aio requests (insert buffer thread)
I/O thread 1 state: waiting for completed aio requests (log thread)
I/O thread 2 state: waiting for completed aio requests (read thread)
I/O thread 3 state: waiting for completed aio requests (read thread)
I/O thread 4 state: waiting for completed aio requests (read thread)
I/O thread 5 state: waiting for completed aio requests (read thread)
I/O thread 6 state: waiting for completed aio requests (write thread)
I/O thread 7 state: waiting for completed aio requests (write thread)
I/O thread 8 state: waiting for completed aio requests (write thread)
I/O thread 9 state: waiting for completed aio requests (write thread)
可以使用innodb_read_io_thread和innodb_write_io_thread來對線程數量進行設置
1.1.3. Purge Thread
事務被提交后,其所使用的undolog可能不在需要,因此需要Purge Thread來回收已經使用并分配的undo頁。在InnoDB1.1版本之前purge 是在Master Thread線程中完成的。可以通過如下命令來啟用purge配置:
[mysqld]
innodb_purge_thread=1
1.1.4. Page Cleaner Thread
將之前版本中臟頁的刷新操作都放入到單獨的線程中來完成
1.2. 內存
1.2.1. 緩沖池
在我們深入了解緩沖之前,我們先來看一下以下幾個問題:
- a、我們的明白我們為什么要在InnoDb存儲引擎中使用緩沖池技術?
- b、使用緩沖池技術有哪些好處?
- c、什么是緩沖池技術?
因為InnoDB是基于磁盤存儲的,并將其中的數據按照頁的方式進行管理,因此可將其視為基于磁盤的數據庫系統。在數據庫系統中由于CPU的速度與磁盤速度之間存在巨大差異,所以基于磁盤的數據庫系統通常使用緩沖池技術來提高數據庫的整體性能
緩沖池簡單來說就是一塊內存區域,通過內存的速度來彌補磁盤速度較慢對數據庫新能的影響。因此緩沖池的大小直接影響數據庫的整體性能,可以通過innodb_buffer_pool_size來設置,通過如下命令來查看:
show variables like `innodb_buffer_pool_size`\G;
具體來看緩沖池中緩存的數據頁類型有:
- 數據頁
- 索引頁
- undo頁
- 插入緩沖(insert buffer)
- 自適應哈希索引
- InnoDB存儲的鎖信息(lock info)
- 數據字典信息
1.2.2. LRU List、Free List 和 Flush List
問題: 我們知道了緩沖池是一個很大的內存區域,其中存放了各種類型的頁,那么InnoDB是怎么對這么大的內存區域進行管理的了?
針對以上問題,我們來看一下LRU算法,因為數據庫的緩沖池正是通過LRU(最近最少使用)算法來管理的。即最頻繁使用的頁在LRU列表的前端,而最少使用的頁在LRU的尾端。當LRU不能存放新讀取到的頁時將首先釋放LRU列表中尾端的頁,我們開看一下具體流程:
這里用到了順序表list來作為緩沖池,每個數據節點稱為block
該算法采用“中點插入法”:當插入一個新block時,移除表尾最近最少使用的block,在中點插入新block。
這個中點將鏈表分為兩部分:
- 1.靠近表頭的一部分,為young區,這里的block是最近使用的節點
- 2.靠近表尾的一部分,為old區,這里的block是最近少使用的
該算法通過鏈表中的block的使用熱度來維持各block的位置,其中old區的block為鏈表滿的時候移除的候選區
具體算法如下:
- 1.鏈表的3/8被設置為old區
- 2.中點不是鏈表的中間點,而是old區的表頭節點,即old區與young區的相鄰的那個節點
- 3.當讀取的數據不在緩沖池里的時候,讀取到的block需要插入到鏈表中,插入點為中點,但是插入的新節點為old區的節點,如果此時old區滿了得話,移除表尾的block(LRU節點)
- 4.當讀取old區的block時,該節點將變成“young”節點:此節點移動到young區的表頭(young區的頭部那里)
- 5.在數據庫操作中,被訪問的節點將移除到young的表頭,這樣一來,在young區中的未被訪問的節點將逐漸往表尾移動,當移動過中點,將變為old區的節點。而old區的節點若被訪問到將變為young節點移動到表頭,而old區中的為被訪問的節點依舊往表尾移動,當表滿時,表尾那個block將會被淘汰掉
臟頁:緩沖池中的頁和磁盤中的頁的數據產生的不一致
Flush List:用來管理將臟頁刷新回磁盤,和lru list 互不影響
LRU List: 用來管理緩沖池中頁的可用性
注意:臟頁即存于Flush List ,也存于LRU List中
1.2.3. 重做日志緩沖
InnoDB存儲引擎首先將重做日志放入這個緩沖區,然后按一定的頻率刷新到重做日志文件,重做日志在下列三種情況下會將重做日志緩沖中的內容刷新到外部磁盤的重做日志文件中:
- Master Thread每一秒將重做日志緩沖刷新到重做日志文件
- 每個事務提交時會將重做日志緩沖刷新到重做日志文件
- 當重做日志緩沖池剩余的空間小魚1/2時,重做日志緩沖刷新到重做日志文件
1.2.4. 額外的內存池