MySQL InnoDB Myisam索引實現 聚簇索引

這篇索引文章一定要配合上一篇文章B+樹和B樹的區別 來一起閱讀

在MySQL中,索引屬于存儲引擎級別的概念,不同存儲引擎對索引的實現方式是不同的,本文主要討論MyISAM和InnoDB兩個存儲引擎的索引實現方式。

MyISAM索引實現

MyISAM引擎使用B+Tree作為索引結構,葉節點的data域存放的是數據記錄的地址。下圖是MyISAM索引的原理圖:

MyISAM索引

這里設表一共有三列,假設我們以Col1為主鍵,則上圖是一個MyISAM表的主索引(Primary key)示意。可以看出MyISAM的索引文件僅僅保存數據記錄的地址。在MyISAM中,主索引和輔助索引(Secondary key)在結構上沒有任何區別,只是主索引要求key是唯一的,而輔助索引的key可以重復。如果我們在Col2上建立一個輔助索引,則此索引的結構如下圖所示:

image

圖9

同樣也是一顆B+Tree,data域保存數據記錄的地址。因此,MyISAM中索引檢索的算法為首先按照B+Tree搜索算法搜索索引,如果指定的Key存在,則取出其data域的值,然后以data域的值為地址,讀取相應數據記錄。

MyISAM的索引方式也叫做“非聚集”的,之所以這么稱呼是為了與InnoDB的聚集索引區分。

點評:
1. MyISAM的索引是使用B+樹數據結構的,所以上面的非葉子節點都是保存了key(索引值),而沒有任何的數據,而葉子節點則是有data域存放的是數據記錄的地址,注意,不是真正的數據,而是數據記錄的地址,找到地址后需要磁盤IO去找對應的數據;
2. MyISAM的主鍵索引和輔助索引的結構都是一樣的:一樣是B+樹結構,一樣是葉子節點的data域保存的具體數據的磁盤地址
3. MyISAM的索引是非聚簇索引的,MyISAM索引文件和數據文件是分離的,因為它的數據不是跟索引聚集在一起,而Innodb是聚簇索引

InnoDB索引實現

雖然InnoDB也使用B+Tree作為索引結構,但具體實現方式卻與MyISAM截然不同。

第一個重大區別是InnoDB的數據文件本身就是索引文件。從上文知道,MyISAM索引文件和數據文件是分離的,索引文件僅保存數據記錄的地址。而在InnoDB中,表數據文件本身就是按B+Tree組織的一個索引結構,這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵,因此InnoDB表數據文件本身就是主索引。

image

圖10

圖10是InnoDB主索引(同時也是數據文件)的示意圖,可以看到葉節點包含了完整的數據記錄。這種索引叫做聚集索引。因為InnoDB的數據文件本身要按主鍵聚集,所以InnoDB要求表必須有主鍵(MyISAM可以沒有),如果沒有顯式指定,則MySQL系統會自動選擇一個可以唯一標識數據記錄的列作為主鍵,如果不存在這種列,則MySQL自動為InnoDB表生成一個隱含字段作為主鍵,這個字段長度為6個字節,類型為長整形。

第二個與MyISAM索引的不同是InnoDB的輔助索引data域存儲相應記錄主鍵的值而不是地址。換句話說,InnoDB的所有輔助索引都引用主鍵作為data域。例如,圖11為定義在Col3上的一個輔助索引:

image

圖11

這里以英文字符的ASCII碼作為比較準則。聚集索引這種實現方式使得按主鍵的搜索十分高效,但是輔助索引搜索需要檢索兩遍索引:首先檢索輔助索引獲得主鍵,然后用主鍵到主索引中檢索獲得記錄。

了解不同存儲引擎的索引實現方式對于正確使用和優化索引都非常有幫助,例如知道了InnoDB的索引實現后,就很容易明白為什么不建議使用過長的字段作為主鍵,因為所有輔助索引都引用主索引,過長的主索引會令輔助索引變得過大。再例如,用非單調的字段作為主鍵在InnoDB中不是個好主意,因為InnoDB數據文件本身是一顆B+Tree,非單調的主鍵會造成在插入新記錄時數據文件為了維持B+Tree的特性而頻繁的分裂調整,十分低效,而使用自增字段作為主鍵則是一個很好的選擇。

點評:
1. Innodb的索引也是B+樹,主鍵索引非葉子節點同樣只是保存key(索引值),而沒有保存任何data域,而葉子節點的data域保存的是完整的數據記錄 ,因此InnoDB表數據文件本身就是主鍵索引
2. Innodb的主鍵索引是聚簇索引,因為它的主鍵索引就是數據本身,說明索引跟數據是聚集在一塊的,所以它是聚簇索引。按照主鍵索引搜索數據是十分高效,因為直接在索引上搜索完就能得到數據,而不用再通過IO查找數據
3. Innodb的輔助索引也是B+樹,但是它的葉子節點的data域存儲的是主鍵的值,而不是數據的地址,所以根據輔助索引搜索的時候需要兩個搜索過程:第一個搜索輔助索引找到主鍵的值,第二部是根據搜索主鍵索引的值找到數據。所以效率相對不高
4. 由于Innodb的聚簇索引性質,所以必須要求定義一個主鍵索引,哪怕你沒定義,它也會使用一個隱含字段作為主鍵。所以我們使用Innodb的時候,最好使用自增字段作為主鍵,否則不是自增的話,則每次增刪改數據的時候,都會導致innodb的主鍵索引分裂重組,影響效率

索引使用策略及優化

最左前綴原理與相關優化

一個聯合索引是一個有序元組<a1, a2, …, an>,其中各個元素均為數據表的一列。 最左前綴索引匹配注意一下幾點:

  • 從左到右使用上索引,如果中間空了,則后面的索引也用不上
  • 如果where a1>1 and a2 = 3 and a3 >3 ,a1使用上了索引,但是由于a1是范圍的,a2, a3都用不上索引,而且一個復合索引最多能使用一個范圍查詢
  • 如果where a1='10001' AND a2 LIKE 'Senior%' 這樣a1 , a2都用上索引,like的時候,只要%不是在最前面也可以使用上索引,這個也是跟最左匹配索引的性質比較類似
  • 如果where a1 BETWEEN '10001' AND '10010' and a2=2 and a3 > 2 這樣是3個索引都使用上了,因為a1的between在mysql看來只是跟in一樣,不是范圍查詢,而是多值精確查詢
  • 表達式中如果使用了任何mysql的函數都不能使用上索引

索引選擇性與前綴索引

既然索引可以加快查詢速度,那么是不是只要是查詢語句需要,就建上索引?答案是否定的。因為索引雖然加快了查詢速度,但索引也是有代價的:索引文件本身要消耗存儲空間,同時索引會加重插入、刪除和修改記錄時的負擔,另外,MySQL在運行時也要消耗資源維護索引,因此索引并不是越多越好。一般兩種情況下不建議建索引。

第一種情況是表記錄比較少,例如一兩千條甚至只有幾百條記錄的表,沒必要建索引,讓查詢做全表掃描就好了。至于多少條記錄才算多,這個個人有個人的看法,我個人的經驗是以2000作為分界線,記錄數不超過 2000可以考慮不建索引,超過2000條可以酌情考慮索引。

另一種不建議建索引的情況是索引的選擇性較低。所謂索引的選擇性(Selectivity),是指不重復的索引值(也叫基數,Cardinality)與表記錄數(#T)的比值:

Index Selectivity = Cardinality / #T

顯然選擇性的取值范圍為(0, 1],選擇性越高的索引價值越大,這是由B+Tree的性質決定的。
比如性別字段,只有男和女兩個值,在它身上建立索引是沒有意義的,因為它的區分不夠高,要選區分度高的,也就是選擇性高的作為索引才有價值。

有一種與索引選擇性有關的索引優化策略叫做前綴索引,就是用列的前綴代替整個列作為索引key,當前綴長度合適時,可以做到既使得前綴索引的選擇性接近全列索引,同時因為索引key變短而減少了索引文件的大小和維護開銷。

比如有個查詢是查 first_name,last_name,
由于<first_name>顯然選擇性太低,<first_name, last_name>選擇性很好,但是first_name和last_name加起來長度為30,有沒有兼顧長度和選擇性的辦法?可以考慮用first_name和last_name的前幾個字符建立索引,例如<first_name, left(last_name, 4)>,

ADD INDEX first_name_last_name4 (first_name, last_name(4))
這樣既能達到很高的選擇性,又能把索引空間減低一半。
但這樣的前綴索引也有它的缺點:
前綴索引兼顧索引大小和查詢速度,但是其缺點是不能用于ORDER BY和GROUP BY操作,也不能用于Covering index(即當索引本身包含查詢所需全部數據時,不再訪問數據文件本身)。
因為這樣的前綴索引只包含了這個字段的部分數據,因此不能覆蓋索引。

InnoDB的主鍵選擇與插入優化

在使用InnoDB存儲引擎時,如果沒有特別的需要,請永遠使用一個與業務無關的自增字段作為主鍵。

經常看到有帖子或博客討論主鍵選擇問題,有人建議使用業務無關的自增主鍵,有人覺得沒有必要,完全可以使用如學號或身份證號這種唯一字段作為主鍵。不論支持哪種論點,大多數論據都是業務層面的。如果從數據庫索引優化角度看,使用InnoDB引擎而不使用自增主鍵絕對是一個糟糕的主意。

上文討論過InnoDB的索引實現,InnoDB使用聚集索引,數據記錄本身被存于主索引(一顆B+Tree)的葉子節點上。這就要求同一個葉子節點內(大小為一個內存頁或磁盤頁)的各條數據記錄按主鍵順序存放,因此每當有一條新的記錄插入時,MySQL會根據其主鍵將其插入適當的節點和位置,如果頁面達到裝載因子(InnoDB默認為15/16),則開辟一個新的頁(節點)。

如果表使用自增主鍵,那么每次插入新的記錄,記錄就會順序添加到當前索引節點的后續位置,當一頁寫滿,就會自動開辟一個新的頁。如下圖所示:

image

圖13

這樣就會形成一個緊湊的索引結構,近似順序填滿。由于每次插入時也不需要移動已有數據,因此效率很高,也不會增加很多開銷在維護索引上。

如果使用非自增主鍵(如果身份證號或學號等),由于每次插入主鍵的值近似于隨機,因此每次新紀錄都要被插到現有索引頁得中間某個位置:

image

圖14

此時MySQL不得不為了將新記錄插到合適位置而移動數據,甚至目標頁面可能已經被回寫到磁盤上而從緩存中清掉,此時又要從磁盤上讀回來,這增加了很多開銷,同時頻繁的移動、分頁操作造成了大量的碎片,得到了不夠緊湊的索引結構,后續不得不通過OPTIMIZE TABLE來重建表并優化填充頁面。

因此,只要可以,請盡量在InnoDB上采用自增字段做主鍵。

總結

  • MyISAM和InnoDB都是使用B+樹作為索引的數據結構,也就是說他們的非葉子節點都是存儲key(索引值),只有葉子節點才會存儲data數據

  • MyISAM跟InnoDB的區別

    • MyISAM的索引和數據是分開的,它的主鍵索引和輔助索引結構是一樣的,都是B+樹,而葉子節點的data存儲的是指向具體數據存儲的位置地址,而不是具體數據,所以它的查詢是先查了索引,然后回行IO讀取數據。
    • InnoDB的主鍵索引和數據是放在一起的,因此它的主鍵索引是聚簇索引,它的數據就是一個主鍵索引。主鍵索引的葉子節點data存的就是數據本身,因此如果能只根據主鍵查詢,就能索引覆蓋,不需要額外的回行IO。 而InnoDB的輔助索引的data存的是主鍵的值,因此每次根據輔助索引查詢,都得先查輔助索引,拿到主鍵值,再去查主鍵索引。
    • InnoDB的主鍵必須使用自增的字段,根據B+樹的性質,如果字段自增,那么索引值是順序添加的,就可以形成一個順序的緊湊的索引結構,如果不是自增而是隨機的,那么索引值增加的時候需要移動和分頁的插入數據,造成不必要的開銷。 而MyISAM沒有這個限制,當然自增是最好的。
  • 索引優化總結

    • 遵循最左前綴匹配原理
    • 過長的索引可以使用前綴索引
    • 選擇字段作為索引時,需要考慮字段的區分度,盡量選擇選擇性高的字段作為索引
    • InnoDB一定要讓自增字段作為主鍵索引

參考:

MySQL索引背后的數據結構及算法原理

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容