背景:最近生產(chǎn)爆出一條慢sql,原因是用了or
和!=
,導(dǎo)致索引失效。于是,總結(jié)了索引失效的十大雜癥
一、查詢條件包含or,可能導(dǎo)致索引失效
新建一個(gè)user表,它有一個(gè)普通索引userId,結(jié)構(gòu)如下:
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`userId` int(11) NOT NULL,
`age` int(11) NOT NULL,
`name` varchar(255) NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_userId` (`userId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
-
執(zhí)行一條查詢sql,它是會(huì)走索引的,如下圖所示: image
-
把
or條件加上沒有索引的age
,并不會(huì)走索引,如圖:image
分析&結(jié)論:
- 對于or+沒有索引的age這種情況,假設(shè)它走了userId的索引,但是走到age查詢條件時(shí),它還得全表掃描,也就是需要三步過程:全表掃描+索引掃描+合并
- 如果它一開始就走全表掃描,直接一遍掃描就完事。
- mysql是有優(yōu)化器的,處于效率與成本考慮,遇到or條件,讓索引失效,看起來也合情合理嘛。
注意: 如果or條件的列都加了索引,索引可能會(huì)走的,大家可以自己試一試。
二、如何字段類型是字符串,where時(shí)一定用引號括起來,否則索引失效
假設(shè)demo表結(jié)構(gòu)如下:
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`userId` varchar(32) NOT NULL,
`name` varchar(255) NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_userId` (`userId`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
userId為字符串類型,是B+樹的普通索引,如果查詢條件傳了一個(gè)數(shù)字過去,它是不走索引的,如圖所示:如果給數(shù)字加上'',也就是傳一個(gè)字符串呢,當(dāng)然是走索引,如下圖:
分析與結(jié)論:
為什么第一條語句未加單引號就不走索引了呢?這是因?yàn)椴患訂我枙r(shí),是字符串跟數(shù)字的比較,它們類型不匹配,MySQL會(huì)做隱式的類型轉(zhuǎn)換,把它們轉(zhuǎn)換為浮點(diǎn)數(shù)再做比較。
三、like通配符可能導(dǎo)致索引失效。
并不是用了like通配符,索引一定失效,而是like查詢是以%開頭,才會(huì)導(dǎo)致索引失效。
表結(jié)構(gòu):
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`userId` varchar(32) NOT NULL,
`name` varchar(255) NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_userId` (`userId`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
like查詢以%開頭,索引失效,如圖:把%加回來,改為只查索引的字段(覆蓋索引),發(fā)現(xiàn)還是走索引,驚不驚喜,意不意外
結(jié)論:
like查詢以%開頭,會(huì)導(dǎo)致索引失效。可以有兩種方式優(yōu)化:
- 使用覆蓋索引
- 把%放后面
附: 索引包含所有滿足查詢需要的數(shù)據(jù)的索引,稱為覆蓋索引(Covering Index)。
四、聯(lián)合索引,查詢時(shí)的條件列不是聯(lián)合索引中的第一個(gè)列,索引失效。
表結(jié)構(gòu):(有一個(gè)聯(lián)合索引 idx_userid_age
, userId
在前, age
在后)
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`userId` int(11) NOT NULL,
`age` int(11) DEFAULT NULL,
`name` varchar(255) NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_userid_age` (`userId`,`age`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
在聯(lián)合索引中,查詢條件滿足最左匹配原則時(shí),索引是正常生效的。請看demo:
如果條件列不是聯(lián)合索引中的第一個(gè)列,索引失效,如下:
分析與結(jié)論:
- 當(dāng)我們創(chuàng)建一個(gè)聯(lián)合索引的時(shí)候,如(k1,k2,k3),相當(dāng)于創(chuàng)建了(k1)、(k1,k2)和(k1,k2,k3)三個(gè)索引,這就是最左匹配原則。
- 聯(lián)合索引不滿足最左原則,索引一般會(huì)失效,但是這個(gè)還跟Mysql優(yōu)化器有關(guān)的。
五、在索引列上使用mysql的內(nèi)置函數(shù),索引失效。
表結(jié)構(gòu):
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`userId` varchar(32) NOT NULL,
`loginTime` datetime NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_userId` (`userId`) USING BTREE,
KEY `idx_login_time` (`loginTime`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
雖然loginTime加了索引,但是因?yàn)槭褂昧薽ysql的內(nèi)置函數(shù)Date_ADD(),索引直接GG,如圖:六、對索引列運(yùn)算(如,+、-、*、/),索引失效。
表結(jié)構(gòu):
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`userId` varchar(32) NOT NULL,
`age` int(11) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `idx_age` (`age`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
雖然age加了索引,但是因?yàn)樗M(jìn)行運(yùn)算,索引直接迷路了。。。山重水復(fù)疑無路,算著算著腦瓜疼,索引就真的不認(rèn)識路了。如圖:
七、(where條件的)索引字段上使用(!= 或者 <>,not in)時(shí),可能會(huì)導(dǎo)致索引失效。
表結(jié)構(gòu):
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`userId` int(11) NOT NULL,
`age` int(11) DEFAULT NULL,
`name` varchar(255) NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_age` (`age`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
雖然age加了索引,但是使用了!= 或者 <>,not in這些時(shí),索引如同虛設(shè)。如下:
八、索引字段上使用is null, is not null,可能導(dǎo)致索引失效。
表結(jié)構(gòu):
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`card` varchar(255) DEFAULT NULL,
`name` varchar(255) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `idx_name` (`name`) USING BTREE,
KEY `idx_card` (`card`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
單個(gè)name字段加上索引,并查詢name為非空的語句,其實(shí)會(huì)走索引的,如下:
但是它們用or連接起來,索引就失效了,如下:
九、左連接查詢或者右連接查詢查詢關(guān)聯(lián)的字段編碼格式不一樣,可能導(dǎo)致索引失效。
新建兩個(gè)表,一個(gè)user,一個(gè)user_job
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(255) CHARACTER SET utf8mb4 DEFAULT NULL,
`age` int(11) NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_name` (`name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
CREATE TABLE `user_job` (
`id` int(11) NOT NULL,
`userId` int(11) NOT NULL,
`job` varchar(255) DEFAULT NULL,
`name` varchar(255) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `idx_name` (`name`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
user 表的name字段編碼是utf8mb4,而user_job表的name字段編碼為utf8。
執(zhí)行左外連接查詢,user_job表還是走全表掃描,如下:
如果把它們改為name字段編碼一致,還是會(huì)一路高歌,雄赳赳,氣昂昂,走向索引。
十、mysql估計(jì)使用全表掃描要比使用索引快,則不使用索引。
當(dāng)表的索引被查詢,會(huì)使用最好的索引,除非優(yōu)化器使用全表掃描更有效。優(yōu)化器優(yōu)化成全表掃描取決與使用最好索引查出來的數(shù)據(jù)是否超過表的30%的數(shù)據(jù)。
不要給'性別'等增加索引。如果某個(gè)數(shù)據(jù)列里包含了均是"0/1"或“Y/N”等值,即包含著許多重復(fù)的值,就算為它建立了索引,索引效果不會(huì)太好,還可能導(dǎo)致全表掃描。
Mysql出于效率與成本考慮,估算全表掃描與使用索引,哪個(gè)執(zhí)行快。這跟它的優(yōu)化器有關(guān),來看一下它的邏輯架構(gòu)圖吧(圖片來源網(wǎng)上)
總結(jié)
總結(jié)了索引失效的十大雜癥,在這里來個(gè)首尾呼應(yīng)吧,分析一下我們生產(chǎn)的那條慢sql。模擬的表結(jié)構(gòu)與肇事sql如下:
CREATE TABLE `user_session` (
`user_id` varchar(32) CHARACTER SET utf8mb4 NOT NULL,
`device_id` varchar(64) NOT NULL,
`status` varchar(2) NOT NULL,
`create_time` datetime NOT NULL,
`update_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`user_id`,`device_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
explain
update user_session set status =1
where (`user_id` = '1' and `device_id`!='2')
or (`user_id` != '1' and `device_id`='2')
分析:
- 執(zhí)行的sql,使用了
or
條件,因?yàn)榻M合主鍵(user_id
,device_id
),看起來像是每一列都加了索引,索引會(huì)生效。 - 但是出現(xiàn)
!=
,可能導(dǎo)致索引失效。也就是or
+!=
兩大綜合癥,導(dǎo)致了慢更新sql。
解決方案:
那么,怎么解決呢?我們是把 or條件拆掉,分成兩條執(zhí)行。同時(shí)給 device_id加一個(gè)普通索引。
最后,總結(jié)了索引失效的十大雜癥,希望今后在工作學(xué)習(xí)中,參考這十大雜癥,多點(diǎn)結(jié)合執(zhí)行計(jì)劃 expain
和場景,具體分析,而不是按部就班,墨守成規(guī),認(rèn)定哪個(gè)情景一定索引失效等等。
- 對查詢進(jìn)行優(yōu)化,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在
where
以及order by
涉及的列上建立索引。 - 應(yīng)盡量避免在 where 子句中對字段進(jìn)行
表達(dá)式
操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
select id from t where num/2=100
應(yīng)改為:
select id from t where num=100*2 - 盡量避免在where子句中對字段進(jìn)行
函數(shù)
操作,將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。 - 不要在 where 子句中的“=”
左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算
,否則系統(tǒng)將可能無法正確使用索引 - 并不是所有的索引對查詢都有效,sql是根據(jù)表中的數(shù)據(jù)來進(jìn)行查詢優(yōu)化的,
當(dāng)索引列有大量數(shù)據(jù)重復(fù)時(shí)
,sql查詢不會(huì)去利用索引,如一表中有字段
sex:male,female幾乎個(gè)一半,那么即使在sex上建立了索引也對查詢效率起不了作用。 - 索引并不是越多越好,索引固然可以提高相應(yīng)的 select 的效率,但同時(shí)也降低了 insert 及 update 的效率,
因?yàn)?insert 或 update 時(shí)有可能會(huì)重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個(gè)表的索引數(shù)最好不要超過6個(gè),
若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有 必要。 - 盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型,這會(huì)降低查詢和連接的性能,并會(huì)增加存儲(chǔ)開銷。
這是因?yàn)橐嬖谔幚聿樵兒瓦B接時(shí)會(huì) 逐個(gè)比較字符串中每一個(gè)字符,而對于數(shù)字型而言只需要比較一次就夠了。 - mysql查詢只使用一個(gè)索引,因此如果where子句中已經(jīng)使用了索引的話,那么order by中的列是不會(huì)使用索引的。
因此數(shù)據(jù)庫默認(rèn)排序可以符合要求的情況下不要使用排序操作,盡量不要包含多個(gè)列的排序,如果需要最好給這些列建復(fù)合索引。 - order by 索引 ,不起作用的問題(除了主鍵索引之外):
1、 如果select 只查詢索引字段,order by 索引字段會(huì)用到索引,要不然就是全表排列;
2、如果有where 條件,比如where vtype=1 order by vtype asc . 這樣order by 也會(huì)用到索引!
二、四種索引
PRIMARY, INDEX, UNIQUE 這3種是一類
PRIMARY 主鍵。就是 唯一 且 不能為空。
INDEX 索引,普通的
UNIQUE 唯一索引。不允許有重復(fù)。
FULLTEXT 是全文索引,用于在一篇文章中,檢索文本信息的。
三、常用SQL優(yōu)化:
1.優(yōu)化group by 語句
默認(rèn)情況,MySQL對所有的group by col1,col2進(jìn)行排序。這與在查詢中指定order by col1, col2類似。如果查詢中包括group by但用戶想要避免排序結(jié)果的消耗,則可以使用order by null禁止排序
2.有些情況下,可以使用連接來替代子查詢。因?yàn)槭褂胘oin,MySQL不需要在內(nèi)存中創(chuàng)建臨時(shí)表。
3.如果想要在含有or的查詢語句中利用索引,則or之間的每個(gè)條件列都必須用到索引,如果沒有索引,則應(yīng)該考慮增加索引
select * from 表名 where 條件1=‘’ or 條件2=‘tt’