數(shù)據(jù)庫(kù)遷移

概述

為了保證系統(tǒng)的穩(wěn)定性，最近在核心庫(kù)與非核心庫(kù)的隔離，在做的過程需要調(diào)整數(shù)據(jù)庫(kù)的部署，涉及到數(shù)據(jù)庫(kù)的遷移，本文是來自在內(nèi)部分享截取。

數(shù)據(jù)庫(kù)遷移

base1.jpg

總體來說遷移數(shù)據(jù)庫(kù)步驟如下：

1. 修改應(yīng)用的數(shù)據(jù)庫(kù)鏈接字符串
2. 將原來的數(shù)據(jù)庫(kù)中數(shù)據(jù)遷移至新的數(shù)據(jù)庫(kù)
3. 發(fā)布應(yīng)用啟用鏈接新的數(shù)據(jù)庫(kù)
4. 通知下游系統(tǒng)，使用新的鏈接

理論遷移步驟.jpg

總來來說遷移數(shù)據(jù)庫(kù)遷移步驟還算明確的，但是這4步中有個(gè)關(guān)鍵的一步，就是第3步，何時(shí)啟用新的數(shù)據(jù)庫(kù)鏈接直接關(guān)系到數(shù)據(jù)一致性。
按照上面的步驟遷移，要思考的一個(gè)問題就是如何判斷數(shù)據(jù)是否遷移完成。假設(shè)service時(shí)時(shí)刻刻在調(diào)用db1進(jìn)行寫操作，那么就是說數(shù)據(jù)同步一直在進(jìn)行永遠(yuǎn)不會(huì)完成。如何解決呢？

1. 如果不等數(shù)據(jù)遷移同步完，遷移到接近完成就開始將service和db1的鏈接斷掉，將請(qǐng)求打到db2,這樣沒有數(shù)據(jù)進(jìn)到db1,db1數(shù)據(jù)總會(huì)全部同步到db2的。這樣不就行了嗎？這樣的問題是啥呢？這樣的會(huì)造成數(shù)據(jù)不一致，舉個(gè)例子，比如有條記錄insert操作在斷掉鏈接1之前，insert完成之后，馬上斷掉了鏈接1啟用了鏈接2，此時(shí)對(duì)這條記錄有update操作，如果同步任務(wù)還沒有將這條記錄同步到db2,那么update是失敗的，造成數(shù)據(jù)不一致。

理論數(shù)據(jù)遷移方案1-2.jpg

2. 鑒于上面會(huì)造成數(shù)據(jù)不一致，那么如果采用雙寫模式模式呢，即不斷開鏈接1，啟用鏈接2，往兩個(gè)數(shù)據(jù)庫(kù)寫，db1一定是完成的數(shù)據(jù)，跑上一段時(shí)間如果db2有數(shù)據(jù)不一致記錄，那么用db1的記錄去覆蓋db2的記錄，看起來似乎是可行，但是如何判斷db2的數(shù)據(jù)不一致呢？這樣理論上是可行，但是操作上難度系數(shù)太高。那么有沒有更簡(jiǎn)單的方式呢。

理論遷移方案2.jpg

3. 既然要數(shù)據(jù)一致，為何不在遷移之前就保證數(shù)據(jù)是一致的呢，但是前面又說了數(shù)據(jù)是源源不斷寫到db1,無法確定哪一刻db1和db2的數(shù)據(jù)是一致的。這樣可以把service寫db1的鏈接斷掉，等待db1和db2數(shù)據(jù)完成之后在啟用db2.這樣數(shù)據(jù)就是一致的了?？s短db1斷開到db2啟用的時(shí)間段，在流量低峰操作，在c端透出友好提示，這樣最少限度的影響客戶的使用又能做到簡(jiǎn)單的數(shù)據(jù)庫(kù)遷移替換。

遷移步驟.jpg

基于3的思路，如何縮短db1斷開到db2啟用的時(shí)間段呢？可以從如下角度考慮。

1. ，提前全量同步db1的數(shù)據(jù)到db2.全量同步完成之后，開啟增量同步， 在流量低峰，db1寫入的數(shù)據(jù)不多。那么db2與db1的偏移量很低，如果停掉db1寫操作，那么db1和db2的數(shù)據(jù)很快能保持一致。
2. 快速切換?？焖贁嚅_db1，同時(shí)也能快速啟用db2,那么發(fā)應(yīng)用顯得慢，要做動(dòng)態(tài)開關(guān)。

做到上面兩點(diǎn)基本上就能將db1斷開到db2啟用的時(shí)間段縮的很短可以做到分鐘級(jí)別，甚至秒級(jí)別的。

如何切斷原數(shù)據(jù)源

這個(gè)問題要具體業(yè)務(wù)具體分析，C端用戶訪問功能，就要從接口層面先臨時(shí)短暫做降級(jí)通過sentinel配置接口訪問0，給用戶友好的提示，等數(shù)據(jù)遷移完成快速切換數(shù)據(jù)源并放開并放開接口層面的限制，由此用戶端短暫不可用，所以此類數(shù)據(jù)庫(kù)一定要挑選深夜用戶訪問量少的情況發(fā)布，減少對(duì)業(yè)務(wù)的影響。

如何動(dòng)態(tài)切換數(shù)據(jù)源

目前我們的項(xiàng)目都是通過mybatis框架來訪問和操作數(shù)據(jù)庫(kù)，我們知道程序通過配置 SqlSessionTemplate 使用SqlSessionTemplate來訪問底層的datasource來訪問和操作數(shù)據(jù)庫(kù)的，那么可以采用如下思路：

1. 繼承SqlSessionTemplate 并重寫 這里記DynamicSqlSessionTemplate
2. 往DynamicSqlSessionTemplate注入多個(gè)數(shù)據(jù)源，通過apollo配置可以動(dòng)態(tài)選擇使用哪個(gè)datasource來操作數(shù)據(jù)庫(kù)。
3. 原來是配置的SqlSessionTemplate現(xiàn)在改成配置DynamicSqlSessionTemplate，程序最后使用的DynamicSqlSessionTemplate重寫的方法，可以動(dòng)態(tài)調(diào)整數(shù)據(jù)源。

具體的可以參考： https://www.cnblogs.com/xifengxiaoma/p/9888240.html

數(shù)據(jù)同步-阿里云DTS

阿里云數(shù)據(jù)同步和數(shù)據(jù)遷移的一個(gè)工具，可以做數(shù)據(jù)的全量與增量同步
數(shù)據(jù)庫(kù)遷移

image.png