高并發環境下系統生成全局唯一ID

最近在proxy的分庫分表,需要給表中的主字段產生一個全局唯一ID,考慮到后期DBA會拿這個ID做索引的,所以產生的這個ID也要盡可能的有序, 總體要求如下

  1. 不能有單點問題...
  2. 全局唯一且有序
  3. 盡量64位可以表示

于是乎調研了一下, 貌似有幾個典型的代表

twitter的snowflake

生成方式:

  1. 41位的時間序列(ms, 大約可以用69年)

  2. 10位的機器標志(大約可以支持部署1024臺機器, 5bit設置為機器ID,5bit設置為進程ID)

  3. 12位的計數順序號(這就決定了每個節點的并發不超過4096)

  4. 最高位作為符號位, 始終為0

913887-20160325101451339-2081640491.jpg

優點:高性能, 低延遲,基本能按時間有序, 需要獨立的開發和部署

很明顯, 這個缺點在proxy那邊來看并不是缺點,我就是參考他的思路,把這部分的實現放在proxy的

基于Mysql的解決方案

因為MySQL本身支持auto_increment操作,很自然地,我們會想到借助這個特性來實現這個功能。
Flicker在解決全局ID生成方案里就采用了MySQL自增長ID的機制(auto_increment + replace into + MyISAM)。一個生成64位ID

方案具體就是這樣的:

  1. 先創建單獨的數據庫, 然后創建一個表:
CREATE TABLE Tickets64 (
id bigint(20) unsigned NOT NULL auto_increment,
stub char(1) NOT NULL default '',
PRIMARY KEY (id),
UNIQUE KEY stub (stub)
) ENGINE=MyISAM
  1. 然后插入一條記錄,并插入一條記錄, 執行執行SELECT * from Tickets64查詢的結果就是這樣的:
+-------------------+------+
| id | stub |
+-------------------+------+
| 72157623227190423 | a |
+-------------------+------+

在我們的應用端需要做下面這兩個操作,在一個事務會話里提交

REPLACE INTO Tickets64 (stub) VALUES ('a');
SELECT LAST_INSERT_ID();

這樣我們就能拿到不斷增長且不重復的ID了。
到上面為止,我們只是在單臺數據庫上生成ID,從高可用角度考慮,接下來就要解決單點故障問題:Flicker啟用了兩臺數據庫服務器來生成ID,通過區分auto_increment的起始值和步長來生成奇偶數的ID

TicketServer1:
auto-increment-increment = 2
auto-increment-offset = 1

TicketServer2:
auto-increment-increment = 2
auto-increment-offset = 2

最后,在客戶端只需要通過輪詢方式取ID就可以了。

優點:充分借助數據庫的自增ID機制,提供高可靠性,生成的ID有序。
缺點:占用兩個獨立的MySQL實例,依賴外部服務,難運維

UUID

UUID生成的是length=32的16進制格式的字符串,如果回退為byte數組共16個byte元素,即UUID是一個128bit長的數字,
一般用16進制表示。
算法的核心思想是結合機器的網卡、當地時間、一個隨即數來生成UUID。
從理論上講,如果一臺機器每秒產生10000000個GUID,則可以保證(概率意義上)3240年不重復
優點

  1. 本地生成ID,不需要進行遠程調用,時延低
  2. 擴展性好,基本可以認為沒有性能上限

缺點

  1. 無法保證趨勢遞增
  2. uuid過長,往往用字符串表示,作為主鍵建立索引查詢效率低,常見優化方案為“轉化為兩個uint64整數存儲”或者“折半存儲”(折半后不能保證唯一性)
    UUID這兩個致命缺點導致我們首先拋棄UUID

基于REDIS的分布式ID生成器

首先,要知道redis的EVAL,EVALSHA命令:
原理:
利用redis的lua腳本執行功能,在每個節點上通過lua腳本生成唯一ID。
生成的ID是64位的:

使用41 bit來存放時間,精確到毫秒,可以使用41年。
使用12 bit來存放邏輯分片ID,最大分片ID是4095
使用10 bit來存放自增長ID,意味著每個節點,每毫秒最多可以生成1024個ID
比如GTM時間 Fri Mar 13 10:00:00 CST 2015 ,它的距1970年的毫秒數是 1426212000000,假定分片ID是53,自增長序列是4,則生成的ID是:

5981966696448054276 = 1426212000000 << 22 + 53 << 10 + 41
redis提供了TIME命令,可以取得redis服務器上的秒數和微秒數。因些lua腳本返回的是一個四元組:
(second, microSecond, partition, seq)
客戶端可以自己處理
((second * 1000 + microSecond / 1000) << (12 + 10)) + (shardId << 10) + seq

MongoDB文檔(Document)全局唯一ID

為了考慮分布式,“_id”要求不同的機器都能用全局唯一的同種方法方便的生成它。因此不能使用自增主鍵(需要多臺服務器進行同步,既費時又費力),
因此選用了生成ObjectId對象的方法。

ObjectId使用12字節的存儲空間,其生成方式如下:

|0|1|2|3|4|5|6|7|8|9|10|11|

|時間戳 |機器ID|PID|計數器|

前四個字節時間戳是從標準紀元開始的時間戳,單位為秒,有如下特性:

  1. 時間戳與后邊5個字節一塊,保證秒級別的唯一性;
  2. 保證插入順序大致按時間排序;
  3. 隱含了文檔創建時間;
  4. 時間戳的實際值并不重要,不需要對服務器之間的時間進行同步(因為加上機器ID和進程ID已保證此值唯一,唯一性是ObjectId的最終訴求)。

機器ID是服務器主機標識,通常是機器主機名的散列值。
同一臺機器上可以運行多個mongod實例,因此也需要加入進程標識符PID。
前9個字節保證了同一秒鐘不同機器不同進程產生的ObjectId的唯一性。后三個字節是一個自動增加的計數器(一個mongod進程需要一個全局的計數器),保證同一秒的ObjectId是唯一的。同一秒鐘最多允許每個進程擁有(256^3 = 16777216)個不同的ObjectId。
總結一下:時間戳保證秒級唯一,機器ID保證設計時考慮分布式,避免時鐘同步,PID保證同一臺服務器運行多個mongod實例時的唯一性,最后的計數器保證同一秒內的唯一性(選用幾個字節既要考慮存儲的經濟性,也要考慮并發性能的上限)。

"_id"既可以在服務器端生成也可以在客戶端生成,在客戶端生成可以降低服務器端的壓力。

一個小實現, 已經用在AtlasV2中

https://github.com/yihaoDeng/id_gen

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,915評論 18 139
  • Entrance 數據在分片時,典型的是分庫分表,就有一個全局ID生成的問題。 單純的生成全局ID并不是什么難題,...
    天下無敵強閱讀 2,279評論 2 5
  • 一,題記 所有的業務系統,都有生成ID的需求,如訂單id,商品id,文章ID等。這個ID會是數據庫中的唯一主鍵,在...
    架構師小秘圈閱讀 4,051評論 1 18
  • 本文主要介紹在一個分布式系統中, 如何去生成全局唯一的 ID。 前言 單純的生成全局ID并不是什么難題,生成全局的...
    FX_SKY閱讀 2,374評論 0 6
  • 如果我是童話里的人物,那么我是,我是誰呢!我是我自己!或許我可以是灰姑娘,我被我心理上的繼母所虐待,所指責,所不能...
    真與真閱讀 162評論 1 1