面試題
如何設計可以動態(tài)擴容縮容的分庫分表方案？
面試官心理分析
對于分庫分表來說，主要是面對以下問題：
- 選擇一個數(shù)據(jù)庫中間件，調研、學習、測試；
- 設計你的分庫分表的一個方案，你要分成多少個庫，每個庫分成多少個表，比如 3 個庫，每個庫 4 個表；
- 基于選擇好的數(shù)據(jù)庫中間件，以及在測試環(huán)境建立好的分庫分表的環(huán)境，然后測試一下能否正常進行分庫分表的讀寫；
- 完成單庫單表到分庫分表的遷移，雙寫方案；
- 線上系統(tǒng)開始基于分庫分表對外提供服務；
- 擴容了，擴容成 6 個庫，每個庫需要 12 個表，你怎么來增加更多庫和表呢？
這個是你必須面對的一個事兒，就是你已經弄好分庫分表方案了，然后一堆庫和表都建好了，基于分庫分表中間件的代碼開發(fā)啥的都好了，測試都 ok 了，數(shù)據(jù)能均勻分布到各個庫和各個表里去，而且接著你還通過雙寫的方案咔嚓一下上了系統(tǒng)，已經直接基于分庫分表方案在搞了。
那么現(xiàn)在問題來了，你現(xiàn)在這些庫和表又支撐不住了，要繼續(xù)擴容咋辦？這個可能就是說你的每個庫的容量又快滿了，或者是你的表數(shù)據(jù)量又太大了，也可能是你每個庫的寫并發(fā)太高了，你得繼續(xù)擴容。
這都是玩兒分庫分表線上必須經歷的事兒。
面試題剖析
停機擴容（不推薦）
這個方案就跟停機遷移一樣，步驟幾乎一致，唯一的一點就是那個導數(shù)的工具，是把現(xiàn)有庫表的數(shù)據(jù)抽出來慢慢倒入到新的庫和表里去。但是最好別這么玩兒，有點不太靠譜，因為既然分庫分表就說明數(shù)據(jù)量實在是太大了，可能多達幾億條，甚至幾十億，你這么玩兒，可能會出問題。
從單庫單表遷移到分庫分表的時候，數(shù)據(jù)量并不是很大，單表最大也就兩三千萬。那么你寫個工具，多弄幾臺機器并行跑，1小時數(shù)據(jù)就導完了。這沒有問題。
如果 3 個庫 + 12 個表，跑了一段時間了，數(shù)據(jù)量都 1~2 億了。光是導 2 億數(shù)據(jù)，都要導個幾個小時，6 點，剛剛導完數(shù)據(jù)，還要搞后續(xù)的修改配置，重啟系統(tǒng)，測試驗證，10 點才可以搞完。所以不能這么搞。
優(yōu)化后的方案
一開始上來就是 32 個庫，每個庫 32 個表，那么總共是 1024 張表。
我可以告訴各位同學，這個分法，第一，基本上國內的互聯(lián)網肯定都是夠用了，第二，無論是并發(fā)支撐還是數(shù)據(jù)量支撐都沒問題。
每個庫正常承載的寫入并發(fā)量是 1000，那么 32 個庫就可以承載32 * 1000 = 32000 的寫并發(fā)，如果每個庫承載 1500 的寫并發(fā)，32 * 1500 = 48000 的寫并發(fā)，接近 5萬/s 的寫入并發(fā)，前面再加一個MQ，削峰，每秒寫入 MQ 8 萬條數(shù)據(jù)，每秒消費 5 萬條數(shù)據(jù)。
有些除非是國內排名非常靠前的這些公司，他們的最核心的系統(tǒng)的數(shù)據(jù)庫，可能會出現(xiàn)幾百臺數(shù)據(jù)庫的這么一個規(guī)模，128個庫，256個庫，512個庫。
1024 張表，假設每個表放 500 萬數(shù)據(jù)，在 MySQL 里可以放 50 億條數(shù)據(jù)。
每秒的 5 萬寫并發(fā)，總共 50 億條數(shù)據(jù)，對于國內大部分的互聯(lián)網公司來說，其實一般來說都夠了。
談分庫分表的擴容，第一次分庫分表，就一次性給他分個夠，32 個庫，1024 張表，可能對大部分的中小型互聯(lián)網公司來說，已經可以支撐好幾年了。
一個實踐是利用 32 * 32 來分庫分表，即分為 32 個庫，每個庫里一個表分為 32 張表。一共就是 1024 張表。根據(jù)某個 id 先根據(jù) 32 取模路由到庫，再根據(jù) 32 取模路由到庫里的表。
| orderId | id % 32 (庫) | id / 32 % 32 (表) |
|---|---|---|
| 259 | 3 | 8 |
| 1189 | 5 | 5 |
| 352 | 0 | 11 |
| 4593 | 17 | 15 |
剛開始的時候，這個庫可能就是邏輯庫，建在一個數(shù)據(jù)庫上的，就是一個mysql服務器可能建了 n 個庫，比如 32 個庫。后面如果要拆分，就是不斷在庫和 mysql 服務器之間做遷移就可以了。然后系統(tǒng)配合改一下配置即可。
比如說最多可以擴展到32個數(shù)據(jù)庫服務器，每個數(shù)據(jù)庫服務器是一個庫。如果還是不夠？最多可以擴展到 1024 個數(shù)據(jù)庫服務器，每個數(shù)據(jù)庫服務器上面一個庫一個表。因為最多是1024個表。
這么搞，是不用自己寫代碼做數(shù)據(jù)遷移的，都交給 dba 來搞好了，但是 dba 確實是需要做一些庫表遷移的工作，但是總比你自己寫代碼，然后抽數(shù)據(jù)導數(shù)據(jù)來的效率高得多吧。
哪怕是要減少庫的數(shù)量，也很簡單，其實說白了就是按倍數(shù)縮容就可以了，然后修改一下路由規(guī)則。
這里對步驟做一個總結：
- 設定好幾臺數(shù)據(jù)庫服務器，每臺服務器上幾個庫，每個庫多少個表，推薦是 32庫 * 32表，對于大部分公司來說，可能幾年都夠了。
- 路由的規(guī)則，orderId 模 32 = 庫，orderId / 32 模 32 = 表
- 擴容的時候，申請增加更多的數(shù)據(jù)庫服務器，裝好 mysql，呈倍數(shù)擴容，4 臺服務器，擴到 8 臺服務器，再到 16 臺服務器。
- 由 dba 負責將原先數(shù)據(jù)庫服務器的庫，遷移到新的數(shù)據(jù)庫服務器上去，庫遷移是有一些便捷的工具的。
- 我們這邊就是修改一下配置，調整遷移的庫所在數(shù)據(jù)庫服務器的地址。
- 重新發(fā)布系統(tǒng)，上線，原先的路由規(guī)則變都不用變，直接可以基于 n 倍的數(shù)據(jù)庫服務器的資源，繼續(xù)進行線上系統(tǒng)的提供服務。
