mysql并行復制降低主從同步延時的思路與啟示

一、緣起

mysql主從復制,讀寫分離是互聯網用的非常多的mysql架構,主從復制最令人詬病的地方就是,在數據量較大并發量較大的場景下,主從延時會比較嚴重。

為什么mysql主從延時這么大?


回答:從庫使用【單線程】重放relaylog。

優化思路是什么?

回答:使用單線程重放relaylog使得同步時間會比較久,導致主從延時很長,優化思路不難想到,可以【多線程并行】重放relaylog來縮短同步時間。

mysql如何“多線程并行”來重放relaylog,是本文要分享的主要內容。

二、如何多線程并行重放relaylog


通過多個線程來并行重放relaylog是一個很好縮短同步時間的思路,但實施之前要解決這樣一個問題:

如何來分割relaylog,才能夠讓多個work-thread并行操作數據data時,使得data保證一致性?

首先,【隨機的分配relaylog肯定是不行的】,假設relaylog中有這樣三條串行的修改記錄:

update account set money=100 where uid=58;

update account set money=150where uid=58;

update account set money=200where uid=58;

串行執行:肯定能保證與主庫的執行序列一致,最后得到money=200

隨機分配并行執行:3個工作線程并發執行這3個語句,誰最后執行成功是不確定的,故得到的數據可能與主庫不同

好,對于這個問題,可以用什么樣的思路來解決呢(大伙怎么想,mysql團隊其實也就是這么想的)

【方法一:相同庫上的寫操作,用相同的work-thread來重放relaylog;不同庫上的寫操作,可以用多個work-thread并發來重放relaylog】


如何做到呢?

回答:不難,hash(db-name) % thread-num,庫名hash之后再模上線程數,就能夠做到。

存在的不足?

很多公司對mysql的使用是“單庫多表”,如果是這樣的話,仍然是同一個work-thread在串行執行,還是不能提高relaylog的重放速度。

優化方案:將“單庫多表”的模式升級為“多庫多表”的模式。

其實,數據量大并發量大的互聯網業務場景,“多庫”模式還具備著其他很多優勢,例如:

(1)非常方便的實例擴展:dba很容易將不同的庫擴展到不同的實例上

(2)按照業務進行庫隔離:業務解耦,進行業務隔離,減少耦合與相互影響

(3)…

對于架構師進行架構設計的啟示是:使用多庫的方式設計db架構,能夠降低主從同步的延時。

新的想法:“單庫多表”的場景,還有并行執行優化余地么?

仔細回顧和思考,即使只有一個庫,數據的修改和事務的執行在主庫上也是并行操作的,既然在主庫上可以并行操作,在從庫上為啥就不能并行操作,而要按照庫來串行執行呢(表示不服)?

新的思路:將主庫上同時并行執行的事務,分為一組,編一個號,這些事務在從庫上的回放可以并行執行(事務在主庫上的執行都進入到prepare階段,說明事務之間沒有沖突,否則就不可能提交),沒錯,mysql正是這么做的。

【方法二:基于GTID的并行復制】

新版的mysql,將組提交的信息存放在GTID中,使用mysqlbinlog工具,可以看到組提交內部的信息:

20160607 23:22 server_id 58 XXX GTID last_committed=0 sequence_numer=1

2016060723:22 server_id 58 XXX GTID last_committed=0 sequence_numer=2

2016060723:22 server_id 58 XXX GTID last_committed=0 sequence_numer=3

2016060723:22 server_id 58 XXX GTID last_committed=0 sequence_numer=4


和原來的日志相比,多了last_committed和sequence_number。

last_committed表示事務提交時,上次事務提交的編號,如果具備相同的last_committed,說明它們在一個組內,可以并發回放執行。

三、結尾

從mysql并行復制縮短主從同步時延的思想可以看到,架構的思路是相同的:

(1)多線程是一種常見的縮短執行時間的方法

(2)多線程并發分派任務時必須保證冪等性:mysql的演進思路,提供了“按照庫冪等”,“按照commit_id冪等”兩種方式,思路大伙可以借鑒

另,mysql在并行復制上的逐步優化演進:

mysql5.5->不支持并行復制,對大伙的啟示:升級mysql吧

mysql5.6->按照庫并行復制,對大伙的啟示:使用“多庫”架構吧

mysql5.7->按照GTID并行復制

我不是mysql的開發人員,也不是專業的dba,本文僅為一個思路的分享,希望大伙有收獲,如果不對也歡迎隨時指出。

大家可以點擊加入群:283943715java高級交流群里面有Java高級大牛直播講解知識點 走的就是高端路線(如果你想跳槽換工作 但是技術又不夠 或者工作上遇到了瓶頸 我這里有一個JAVA的免費直播課程 講的是高端的知識點基礎不好的誤入喲 只要你有1-5年的開發經驗可以加群找我要課堂鏈接 注意:是免費的 沒有開發經驗誤入哦)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容