數據庫分庫分表(一)常見分布式主鍵ID生成策略

主鍵生成策略

系統唯一ID是我們在設計一個系統的時候常常會遇見的問題,下面介紹一些常見的ID生成策略。

  • Sequence ID
  • UUID
  • GUID
  • COMB
  • Snowflake

最開始的自增ID為了實現分庫分別的需求,會在自增的前提下,使用不同步長(例如DB1 生成1,4,7,10,DB2生成2,5,8,11,DB3生成3,6,9,12),但需要做數據庫拓展時,極其麻煩。
  相比自增ID,UUID生成唯一主鍵更加方便(數據量非常大的情況下,存在重復的可能),但由于UUID的無序性,性能不如自增ID,字符串儲存,儲存空間大,查詢效率低。
  COMB相對于UUID,增加了生成ID的有序性,插入與查詢效率都有所提高。見Integer GUID和Comb做主鍵的效率測試(Delphi+access)(三)
  Sonwflake是Twitter主鍵生成策略,可以看做是COMB的一種改進,用64位的長整型代替128位的字符串。ID構成:第一位0 + 41位的時間前綴 + 10位的節點標識 + 12位的sequence避免并發的數字。見Twitter-Snowflake(64位分布式ID算法)分析與JAVA實現

1. Sequence ID

數據庫自增長序列或字段,最常見的方式。由數據庫維護,數據庫唯一。

優點:

  1. 簡單,代碼方便,性能可以接受。
  2. 數字ID天然排序,對分頁或者需要排序的結果很有幫助。

缺點:

  1. 不同數據庫語法和實現不同,數據庫遷移的時候或多數據庫版本支持的時候需要處理。
  2. 在單個數據庫或讀寫分離或一主多從的情況下,只有一個主庫可以生成。有單點故障的風險。
  3. 在性能達不到要求的情況下,比較難于擴展。
  4. 如果遇見多個系統需要合并或者涉及到數據遷移會相當痛苦。
  5. 分表分庫的時候會有麻煩。

優化方案:

  1. 針對主庫單點,如果有多個Master庫,則每個Master庫設置的起始數字不一樣,步長一樣,可以是Master的個數。
    比如:Master1 生成的是 1,4,7,10,Master2生成的是2,5,8,11 Master3生成的是 3,6,9,12。這樣就可以有效生成集群中的唯一ID,也可以大大降低ID生成數據庫操作的負載。

2. UUID

常見的方式,128位。可以利用數據庫也可以利用程序生成,一般來說全球唯一。

優點:

  1. 簡單,代碼方便。
  2. 全球唯一,在遇見數據遷移,系統數據合并,或者數據庫變更等情況下,可以從容應對。

缺點:

  1. 沒有排序,無法保證趨勢遞增。
  2. UUID往往是使用字符串存儲,查詢的效率比較低。
  3. 存儲空間比較大,如果是海量數據庫,就需要考慮存儲量的問題。
  4. 傳輸數據量大
  5. 不可讀。

優化方案:

  1. 為了解決UUID不可讀,可以使用UUID to Int64的方法。

3. GUID

GUID:是微軟對UUID這個標準的實現。UUID還有其它各種實現,不止GUID一種。優缺點同UUID。

4. COMB

COMB(combine)型是數據庫特有的一種設計思想,可以理解為一種改進的GUID,它通過組合GUID和系統時間,以使其在索引和檢索事有更優的性能。
  數據庫中沒有COMB類型,它是Jimmy Nilsson在他的“The Cost of GUIDs as Primary Keys”一文中設計出來的。
  COMB數據類型的基本設計思路是這樣的:既然UniqueIdentifier數據因毫無規律可言造成索引效率低下,影響了系統的性能,那么我們能不能通過組合的方式,保留UniqueIdentifier的前10個字節,用后6個字節表示GUID生成的時間(DateTime),這樣我們將時間信息與UniqueIdentifier組合起來,在保留UniqueIdentifier的唯一性的同時增加了有序性,以此來提高索引效率。

優點:

  1. 解決UUID無序的問題,在其主鍵生成方式中提供了Comb算法(combined guid/timestamp)。保留GUID的10個字節,用另6個字節表示GUID生成的時間(DateTime)。
  2. 性能優于UUID。

5. Twitter的snowflake算法

snowflake是Twitter開源的分布式ID生成算法,結果是一個long型的ID。其核心思想是:使用41bit作為毫秒數,10bit作為機器的ID(5個bit是數據中心,5個bit的機器ID),12bit作為毫秒內的流水號(意味著每個節點在每毫秒可以產生 4096 個 ID),最后還有一個符號位,永遠是0。snowflake算法可以根據自身項目的需要進行一定的修改。比如估算未來的數據中心個數,每個數據中心的機器數以及統一毫秒可以能的并發數來調整在算法中所需要的bit數。

優點:

  1. 不依賴于數據庫,靈活方便,且性能優于數據庫。
  2. ID按照時間在單機上是遞增的。

缺點:

  1. 在單機上是遞增的,但是由于涉及到分布式環境,每臺機器上的時鐘不可能完全同步,也許有時候也會出現不是全局遞增的情況。

參考:

  1. 分布式系統唯一ID生成方案匯總
  2. UUID 、GUID、COMB 的區別與聯系
  3. UUID 和 GUID 的區別
  4. The Cost of GUIDs as Primary Keys
  5. Integer GUID和Comb做主鍵的效率測試(Delphi+access)(三)
  6. Twitter-Snowflake項目地址(Tags:snowflake-2010)
  7. 如何在高并發分布式系統中生成全局唯一Id
  8. Twitter-Snowflake(64位分布式ID算法)分析與JAVA實現

轉載注明出處,我就不和你計較。
by Donney Young
http://www.lxweimin.com/p/a0a3aa888a49

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,505評論 6 533
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,556評論 3 418
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,463評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,009評論 1 312
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,778評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,218評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,281評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,436評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,969評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,795評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,993評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,537評論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,229評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,659評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,917評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,687評論 3 392
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,990評論 2 374

推薦閱讀更多精彩內容