MySQL select實現原理

工作中需要借鑒MySQL對于select的具體實現,在網上搜了很久,幾乎都是介紹原理的,對于實現細節都沒有介紹,無奈之下只得自己對著源碼gdb。結合以前對于sql解析的了解,對mysql select的具體實現有了大致的了解,總結一下。

如果要gdb單步調試,需要在編譯MySQl時加上debug選項,參見這篇博客.編譯好以后就可以用gdb啟動了。如果希望mysql運行時有日志輸出,可以指定輸出文件的路徑和日志類型:--debug=d,info,error,query,enter,general,where:O,/tmp/mysqld.trace日志對MySQl內部邏輯的了解還是挺有用的。

MySQl在設計時,采用了這樣的思路:針對主要應用場景選擇一個或幾個性能優異的核心算法作為引擎,然后努力將一些非主要應用場景作為該算法的特例或變種植入到引擎當中。具體而言,MySQL的select查詢中,核心功能就是JOIN查詢,因此在設計時,核心實現JOIN功能,對于其它功能,都通過轉換為JOIN來實現。

比如select id, name from student;,MySQL在執行時,也會轉換為JOIN來操作。

用gdb單步跟蹤后可以看出MySQL的執行過程大致如下:

  1. 收到請求后分配線程處理;
  2. sql解析,MySQL解析完sql以后,會生成很多item類。item類是sql解析和執行中最重要的類之一,對于它的介紹可以參見這里
  3. 執行sql,可以看到JOIN::exec,MySQL是將任何select都轉換為JOIN來處理的。

以sql:select A.id, B.score from student A left join subject B on A.id=B.id where A.age > 10 and B.score > 60;為例來說明上面的步驟3的具體過程。

首先,MySQL在執行sql之前,會對sql進行優化處理,具體是在JOIN::optimise函數中完成。MySQL針對JOIN的優化做的非常好,因此才會將其他操作都轉換為性能實現的非常好的JOIN操作。對于上面的sql,MySQL在執行時,會將join的key也轉換為一個where條件:A.id=B.id來執行,那么經過處理后,上面的sql就有了3個where條件:

  1. A.age > 10
  2. A.id = B.id
  3. B.score > 60

預處理完以后開始執行,即JOIN::exec函數,首先會調用send_fields函數,將最終結果的信息返回,然后調用do_select。MySQL的join是采用nested loop join,可以參見這篇博客。在do_select函數中,通過調用sub_select函數來具體實現join功能。

在上面的例子中,需要完成2個join:先join表A,再join表B(這里請注意,不是涉及幾個表,就需要join幾個表,MySQL的join優化還是挺強大的,具體解釋見后)。在MySQL進行sql解析時,會生成一個需要join的表的list,后面會挨個對該list的表進行join操作。

繼續gdb,在sub_select函數中,可以看到這樣一行代碼:(*join_tab->read_first_record)(join_tab)這個就是讀取表A的第一行結果,可以看join_tab里面的信息有表A的名字。接下來就是很關鍵的一個函數:evaluate_join_record,這個函數主要做2件事:

  1. 將當前已經拿到的信息進行where條件計算,判斷是否需要繼續往下走;
  2. 遞歸JOIN;

還是以上面的sql為例,首先執行第一個join,此時會遍歷表A的每一行結果,每遍歷一個結果,會進行where條件的判斷。這里需要注意:當前的where條件判斷只會判斷已經讀出來的列,由于此時只讀出來表A的數據,因此現在只能對第一個where條件,即A.age > 10進行判斷,如果滿足,則遞歸調用join:sql_select.cc: 11037 rc=(*join_tab->next_select)(join, join_tab+1, 0);,這里的next_select函數就是sub_select,MySQL就是這樣來實現遞歸操作的。如果不滿足,則不會遞歸join,而是繼續到下一行數據,從而達到剪枝的目的。

繼續跟下去,此時通過上面的next_select遞歸的又調用到sub_select上,同樣會走上面的邏輯,即先read_first_record,然后evaluate_join_record,這里由于表A和表B的數據都有了,于是可以對上面后面2個where條件:A.id = B.idB.score > 60進行判斷了。到此,所有的where條件都已經判斷完畢,如果當前行對3個where條件都滿足,就可以將結果輸出。

以上就是select實現的大體過程,主要有2點,一個是join是采用遞歸實現的,另一個是每讀一個表的數據,會將當前的where條件進行計算,剪枝。還有一個細節沒有提到:MySQL是如何進行where條件判斷的?或者說,MySQL是如何進行表達式計算的?

答案就是前面提到的item類。當MySQL在解析時,會將sql解析為很多item,同時也會建立各個item之間的關系。對于表達式,會生成一棵語法樹。比如表達式:B.score > 60,此時會生成3個item:B.score>60,其中B.score60分別是>的左右孩子,這樣,求表達式的值時,就是求>val_int(),然后就會遞歸的調用左右子樹的val_int(),再做比較判斷即可。

還有一個問題:如何求B.scoreval_int()?對于此問題的答案我沒有具體看過,根據之前一個同事的sql實現方式,我是這樣推測的:B.score是數據表中的真實值,因此它的值肯定是通過去表中獲取。在item類中,有一個函數:fix_field,它是用于告訴外界,去哪里獲取此item的值,往往在sql執行的預處理階段調用。于是在預處理時,告訴該item去某個固定buffer讀取結果,同時,每當從表中讀出一行數據時,將該數據保存在該buffer中,這樣就可以將兩者關聯起來。這個部分純屬個人推測,感興趣的同學可以自己根據源碼看看。

再回到之前提到的一點,如果我們將sql稍微改一下:select A.id, B.score from student A left join subject B on A.id=B.id where B.score > 60;,即去掉第一個where條件,此時會發生什么?

答案是,MySQL會做一個優化,將sql轉換為select B.id, B.score from subject B where B.score > 60,這樣就不需要A同B join的邏輯了。實際上最開始我在gdb時就用的這條sql,結果死活看不到遞歸調用sub_select的場景,還以為原理不對,后來才發現是MySQL優化搗的亂。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,321評論 6 543
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,559評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,442評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,835評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,581評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,922評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,931評論 3 447
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,096評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,639評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,374評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,591評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,104評論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,789評論 3 349
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,196評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,524評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,322評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,554評論 2 379

推薦閱讀更多精彩內容

  • 50個常用的sql語句Student(S#,Sname,Sage,Ssex) 學生表Course(C#,Cname...
    哈哈海閱讀 1,247評論 0 7
  • 什么是SQL數據庫: SQL是Structured Query Language(結構化查詢語言)的縮寫。SQL是...
    西貝巴巴閱讀 1,835評論 0 10
  • 1. Java基礎部分 基礎部分的順序:基本語法,類相關的語法,內部類的語法,繼承相關的語法,異常的語法,線程的語...
    子非魚_t_閱讀 31,737評論 18 399
  • 花含羞,月含羞, 紅燭芳樽醉西樓,游絲裊情柔。 盟亦休,情亦休, 落花流水去悠悠 ,紅袖掩清愁。 花飄零,葉飄零,...
    伊清歡閱讀 531評論 2 6
  • 項目要求根據服務器返回的視頻和秒數,生成該視頻的預覽圖。網上一搜關鍵詞 “iOS 視頻 幀” 結果都是:iOS如何...
    TomatosX閱讀 20,476評論 10 44