高并發架構系列:數據庫主從同步的3種一致性方案實現,及優劣比較

原文鏈接:https://youzhixueyuan.com/database-master-slave-synchronization.html

數據主從同步的由來

互聯網的很多業務,特別是在高并發的場景下,基本都是讀遠遠大于寫,如果數據庫讀和寫的壓力都同在一臺主機上,這顯然不太合理。

于是,把一臺數據庫主機分為單獨的一臺寫主庫(主要負責寫操作),而把讀的數據庫壓力分配給讀的從庫,而且讀從庫可以變為多臺,這就是讀寫分離的典型場景如下:

為了進一步的降低數據庫端的壓力(高并發的瓶頸),這個時候也會在業務層部署分布式緩存集群(redis、memcached)等,把讀的壓力轉移給應用服務器端,其實與數據主從的設計是遵循同一個原則,降低后端數據庫的壓力。

問題:

讀寫分離提高了資源的利用效率的同時也引出了一個問題,就是由于延時(網絡傳輸,操作)而引起的數據庫主從不一致的問題,以下會詳細談相關的數據一致性解決方案。

數據同步一致性解決方案

1.半同步復制

辦法就是等主從同步完成之后,等主庫上的寫請求再返回,這就是常說的“半同步復制”。

實現方案

mysql的半同步復制方案,下面我以mysql為例介紹。

MySQL半同步復制

MySQL的Replication默認是一個異步復制的過程,從MySQL5.5開始,MySQL以插件的形式支持半同步復制,我先談下異步復制,這樣可以更好的理解半同步復制。

1)異步復制

MySQL默認的復制是異步的,主庫在執行完客戶端提交的事務后會立即將結果返給給客戶端,并不關心從庫是否已經接收并處理,這樣就會有一個問題,主如果crash掉了,此時主上已經提交的事務可能并沒有傳到從庫上。

2)半同步復制

介于異步復制和全同步復制之間,主庫在執行完客戶端提交的事務后不是立刻返回給客戶端,而是等待至少一個從庫接收到并寫到relay

log中才返回給客戶端。相對于異步復制,半同步復制提高了數據的安全性,同時它也造成了一定程度的延遲,這個延遲最少是一個TCP/IP往返的時間。所以,半同步復制最好在低延時的網絡中使用。

半同步復制原理:

?事務在主庫寫完binlog后需要從庫返回一個已接受,才放回給客戶端

?mysql5.5版本以后,以插件的形式存在,需要單獨安裝

?確保事務提交后binlog至少傳輸到一個從庫

?不保證從庫應用完成這個事務的binlog

?性能有一定的降低

?網絡異常或從庫宕機,卡主庫,直到超時或從庫恢復

該方案優點:

利用數據庫原生功能,比較簡單

該方案缺點:

主庫的寫請求時延會增長,吞吐量會降低

2.數據庫中間件

流程:

1)所有的讀寫都走數據庫中間件,通常情況下,寫請求路由到主庫,讀請求路由到從庫

2)記錄所有路由到寫庫的key,在主從同步時間窗口內(假設是500ms),如果有讀請求訪問中間件,此時有可能從庫還是舊數據,就把這個key上的讀請求路由到主庫。

3)在主從同步時間過完后,對應key的讀請求繼續路由到從庫。

相關的中間件有:

1)canal:是阿里巴巴旗下的一款開源項目,純Java開發,基于數據庫增量日志解析,提供增量數據訂閱&消費,目前主要支持了MySQL。

2)otter:也是阿里開源的一個分布式數據庫同步系統,尤其是在跨機房數據庫同步方面,有很強大的功能。它是基于數據庫增量日志解析,實時將數據同步到本機房或跨機房的mysql/oracle數據庫。

兩者的區別在于:

otter目前嵌入式依賴canal,部署為同一個jvm,目前設計為不產生Relay Log。

otter目前允許自定義同步邏輯,解決各類需求。

該方案優點

能保證絕對一致

該方案缺點:

數據庫中間件的成本較高

緩存記錄寫key法

寫流程:

1)如果key要發生寫操作,記錄在cache里,并設置“經驗主從同步時間”的cache超時時間,例如500ms

2)然后修改主數據庫

讀流程:

1)先到緩存里查看,對應key有沒有相關數據

2)有相關數據,說明緩存命中,這個key剛發生過寫操作,此時需要將請求路由到主庫讀最新的數據。

3)如果緩存沒有命中,說明這個key上近期沒有發生過寫操作,此時將請求路由到從庫,繼續讀寫分離。

該方案優點:

相對數據庫中間件,成本較低

該方案缺點:

為了保證“一致性”,引入了一個cache組件,并且讀寫數據庫時都多了緩存操作。

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,527評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,687評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,640評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,957評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,682評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,011評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,009評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,183評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,714評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,435評論 3 359
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,665評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,148評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,838評論 3 350
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,251評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,588評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,379評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,627評論 2 380

推薦閱讀更多精彩內容