MySQL 之 Metadata Locking [轉]

MySQL 在 5.5 中引入了 metadata lock. 顧名思義,metadata lock 不是為了保護表中的數據的,而是保護 database objects(數據庫對象)的。包括表結構、schema、存儲過程、函數、觸發器、mysql的調度事件(events). 要理解 metadata lock 最重要的一點就是:將 metadata lock放到數據庫事務的語義中來理解。metadata lock 的作用就是當一個事務在執行時,事務涉及到的所有元數據(metadata,也就是 database objects),必須是安全的。比如你在一個事物中select一個table,必須保證該table在你的事物完成之前,她不會被刪除了,或者不會被修改了。

1. metadata lock 的作用

MySQL uses metadata locking to manage concurrent access to database objects and to ensure data consistency. Metadata locking applies not just to tables, but also to schemas and stored programs (procedures, functions, triggers, and scheduled events).

metadata lock管理對database objects的并發訪問,保證數據一致性。

2.metadata lock 會導致性能損耗和鎖爭用

Metadata locking does involve some overhead, which increases as query volume increases. Metadata contention increases the more that multiple queries attempt to access the same objects.

metadata lock 的引入導致一定的性能損耗。對同一個database object的訪問越多,就會越導致該對象上的metadata lock的爭用。

3.

Metadata locking is not a replacement for the table definition cache, and its mutexes and locks differ from the LOCK_open mutex.

metadata lock 并不是 為了替代 表定義緩存。其mutex和lock和 LOCK_open mutex不一樣。

4.

To ensure transaction serializability, the server must not permit one session to perform a data definition language (DDL) statement on a table that is used in an uncompleted explicitly or implicitly started transaction in another session. The server achieves this by acquiring metadata locks on tables used within a transaction and deferring release of those locks until the transaction ends. A metadata lock on a table prevents changes to the table's structure. This locking approach has the implication that a table that is being used by a transaction within one session cannot be used in DDL statements by other sessions until the transaction ends.

正在運行中的事務,必須要在事務開始時獲得它要訪問的所有的database objects上的 metadata lock, 然后在事務結束時釋放那些database objects上的metadata lock. 事務和metadata lock的關系是極其緊密的:有事務必然就必然有metadata lock,事物結束就釋放。metadata lock防止事物中的database objects 被修改,比如阻止事物中的table的結構被修改。所以事務中的database objects上執行DDL會被阻塞,直到事務結束。

5.

This principle applies not only to transactional tables, but also to nontransactional tables. Suppose that a session begins a transaction that uses transactional table t and nontransactional table nt as follows:

START TRANSACTION;
SELECT * FROM t;
SELECT * FROM nt;
The server holds metadata locks on both t and nt until the transaction ends. If another session attempts a DDL or write lock operation on either table, it blocks until metadata lock release at transaction end. For example, a second session blocks if it attempts any of these operations:

DROP TABLE t;
ALTER TABLE t ...;
DROP TABLE nt;
ALTER TABLE nt ...;
LOCK TABLE t ... WRITE;
metadata lock不僅僅涉及到事務引擎中的table,同樣也適用于非事務引擎中的table. metadata lock不僅僅阻塞DDL,同時也阻塞 lock table table_name write 語句。

6.

If the server acquires metadata locks for a statement that is syntactically valid but fails during execution, it does not release the locks early. Lock release is still deferred to the end of the transaction because the failed statement is written to the binary log and the locks protect log consistency.

如果一個sql語句語法正確,但是卻執行失敗了,其上的metadata lock并不會馬上釋放,而是要在事務結束之后才釋放。這是為了保證日志的一致性。

7.

In autocommit mode, each statement is in effect a complete transaction, so metadata locks acquired for the statement are held only to the end of the statement.

自動提交模式(mysql命令行工具默認是自動提交模式),語句一執行完馬上就釋放metadata lock,因為他是自動提交的單語句事務。

8.

Metadata locks acquired during a PREPARE statement are released once the statement has been prepared, even if preparation occurs within a multiple-statement transaction.

事務中的metadata lock直到事務結束才釋放,但是有一個特例:事務中的prepare(一般用在存儲過程中的動態語句)語句一執行完馬上釋放對應的metadata lock.

9.

Before MySQL 5.5, when a transaction acquired the equivalent of a metadata lock for a table used within a statement, it released the lock at the end of the statement. This approach had the disadvantage that if a DDL statement occurred for a table that was being used by another session in an active transaction, statements could be written to the binary log in the wrong order.

MySQL 5.5 引入了metadata lock,取代了之前版本中的等價物。

但是metadata lock和她之前的等價物有一個區別:metadata lock直到事務結束才釋放,而她的等價物是語句執行完就馬上釋放。metadata lock這樣做的目的是為了保證 binary log 順序的正確。

DDL最大的危害

首先在A終端中設置autocommit=off; 然后隨便執行一個select/update/delete語句,一直不提交,占用 metadata lock:

mysql> select userId,user_Sex from uu_test limit 2;
+--------+----------+
| userId | user_Sex |
+--------+----------+
| 1 | M|
| 2 | F|
+--------+----------+
2 rows in set (0.09 sec)

然后在終端B中執行一條 DDL,很明顯它會被上面的 metadata lock 阻塞:



然后我們在C終端中對同一個表uu_test執行隨便一條:select/update/delete語句,神奇的情況發生!!!!!



可以看到C終端中的對同表uu_test一條select語句盡然被阻塞了!!!!!!

看下終端D中的show processlist:



可以看到:DDL 語句 alter table uu_test add index(user_QQ) 被 未提交的事務阻塞,然后DDL語句進而阻塞了其后事務中所有的針對同表uu_test的任何語句。以為他們都要獲得 metadada lock。這應該是DDL語句的最大危害之處。同理可以推斷:長事物長時間持有 metadata lock, 會阻塞其它DDL語句對metada lock的互斥申請,然后該DDL語句阻塞其后所有的涉及到該database objects的所有語句。這里按照我們的正常邏輯,C中的語句應該不會被阻塞才對啊?難道是為了防止DDL語句對metadata lock的申請,發生饑餓現象。所以才阻塞了C中的語句。或者對metadata lock的申請維持了一個FIFO的隊列?

然后我們在A終端中執行提交:commit; 然后 B 中的DDL語句立即獲得 metadata lock,然后又馬上釋放;然后C中的 select 也成功獲得metadata lock. B中的DDL語句因為執行時間長,它會在C執行完之后,才執行完成。這也說明了DDL語句對metadata lock的持有是瞬時的,并不會在執行期間一直持有(不然C也不會再B之前執行完成)。

找出誰持有表鎖

mysqladmin debug 或者,我們也可以粗糙的用show processlist,但這信息比較不全

監控表鎖

show status like 'table_locks%'

  • Table_locks_immediate:自上次啟動以來申請的表鎖數,可累計,重啟后則被初始化
  • Table_locks_waited:被阻塞的表鎖數,可累計 這2個變量要合起來看:每申請多少個表鎖,有幾個被鎖住

總結:

1)metadata lock保護的是元數據,也就是database object(表結構等元數據),而不是表中的數據;

2)每一個在運行中的事務涉及到的database object,都必須獲得metadata lock,然后在事務結束時進行釋放(parepare語句除外);

3)DDL 語句以及lock table xxx write 和 事務 對 metadata lock 存在互斥爭用;

普通的update,select,delete并不會在metadata lock上爭用,也就是多個運行中的事物可以同時持有同一個database object上的metadata lock.

4)mysql終端默認是autocommit=on,千萬不要將mysql工具默認修改成autocommit=off; 而JDBC連接默認是 autocommit=off的;

5)metadata lock 因為每一個事務都要先獲得,事物結束時釋放,所以MySQL中一定不要有大事務,特別是運行時間比較長的事物;

不然會導致對metadata lock的長期占用。會阻塞其它事務中任何涉及到該database object的DDL語句和lock table ... write語句;

6)DDL 語句和 事務還有lock table xxx write語句的區別:

DDL 語句并不會再執行期間一直持有metadata lock,而是只在執行的開始瞬時持有metadata lock,馬上釋放;

而事務會在事務期間一直持有metadata lock;lock table xxx write語句也會一直持有metadata lock直到unlock語句解鎖。

7)長的事物 和 lock table ... write語句會長時間持有 metadata lock; 所以在執行DDL語句之前,要使用show processlist語句看DDL語句涉及到的table

是否被某個長時間運行的事物所訪問。不然DDL語句會存在一直被 metadata lock 所阻塞的危險。可怕的不是DDL,而是長事務。

8)mysql命令行工具中執行的 DDL 語句不會受到 autocommit=on/off 的影響,DDL 語句自動開始事務,結束時自動提交事物;

9)DDL語句的最大危害之處:

未提交事物或者長事務,它們會長時間持有 metadata lock, 會阻塞其后的DDL語句對metada lock的互斥申請,

然后該DDL語句對metadata lock的互斥申請,會阻塞其后所有的涉及到該database objects的所有語句,因為它們也要申請metadata lock。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,527評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,687評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,640評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,957評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,682評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,011評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,009評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,183評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,714評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,435評論 3 359
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,665評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,148評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,838評論 3 350
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,251評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,588評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,379評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,627評論 2 380

推薦閱讀更多精彩內容