最近在proxy的分庫分表,需要給表中的主字段產生一個全局唯一ID,考慮到后期DBA會拿這個ID做索引的,所以產生的這個ID也要盡可能的有序, 總體要求如下
- 不能有單點問題...
- 全局唯一且有序
- 盡量64位可以表示
于是乎調研了一下, 貌似有幾個典型的代表
twitter的snowflake
生成方式:
41位的時間序列(ms, 大約可以用69年)
10位的機器標志(大約可以支持部署1024臺機器, 5bit設置為機器ID,5bit設置為進程ID)
12位的計數順序號(這就決定了每個節點的并發不超過4096)
最高位作為符號位, 始終為0
優點:高性能, 低延遲,基本能按時間有序, 需要獨立的開發和部署
很明顯, 這個缺點在proxy那邊來看并不是缺點,我就是參考他的思路,把這部分的實現放在proxy的
基于Mysql的解決方案
因為MySQL本身支持auto_increment操作,很自然地,我們會想到借助這個特性來實現這個功能。
Flicker在解決全局ID生成方案里就采用了MySQL自增長ID的機制(auto_increment + replace into + MyISAM)。一個生成64位ID
方案具體就是這樣的:
- 先創建單獨的數據庫, 然后創建一個表:
CREATE TABLE Tickets64 (
id bigint(20) unsigned NOT NULL auto_increment,
stub char(1) NOT NULL default '',
PRIMARY KEY (id),
UNIQUE KEY stub (stub)
) ENGINE=MyISAM
- 然后插入一條記錄,并插入一條記錄, 執行執行
SELECT * from Tickets64
查詢的結果就是這樣的:
+-------------------+------+
| id | stub |
+-------------------+------+
| 72157623227190423 | a |
+-------------------+------+
在我們的應用端需要做下面這兩個操作,在一個事務會話里提交
REPLACE INTO Tickets64 (stub) VALUES ('a');
SELECT LAST_INSERT_ID();
這樣我們就能拿到不斷增長且不重復的ID了。
到上面為止,我們只是在單臺數據庫上生成ID,從高可用角度考慮,接下來就要解決單點故障問題:Flicker啟用了兩臺數據庫服務器來生成ID,通過區分auto_increment的起始值和步長來生成奇偶數的ID
TicketServer1:
auto-increment-increment = 2
auto-increment-offset = 1
TicketServer2:
auto-increment-increment = 2
auto-increment-offset = 2
最后,在客戶端只需要通過輪詢方式取ID就可以了。
優點:充分借助數據庫的自增ID機制,提供高可靠性,生成的ID有序。
缺點:占用兩個獨立的MySQL實例,依賴外部服務,難運維
UUID
UUID生成的是length=32的16進制格式的字符串,如果回退為byte數組共16個byte元素,即UUID是一個128bit長的數字,
一般用16進制表示。
算法的核心思想是結合機器的網卡、當地時間、一個隨即數來生成UUID。
從理論上講,如果一臺機器每秒產生10000000個GUID,則可以保證(概率意義上)3240年不重復
優點:
- 本地生成ID,不需要進行遠程調用,時延低
- 擴展性好,基本可以認為沒有性能上限
缺點:
- 無法保證趨勢遞增
- uuid過長,往往用字符串表示,作為主鍵建立索引查詢效率低,常見優化方案為“轉化為兩個uint64整數存儲”或者“折半存儲”(折半后不能保證唯一性)
UUID這兩個致命缺點導致我們首先拋棄UUID
基于REDIS的分布式ID生成器
首先,要知道redis的EVAL,EVALSHA命令:
原理:
利用redis的lua腳本執行功能,在每個節點上通過lua腳本生成唯一ID。
生成的ID是64位的:
使用41 bit來存放時間,精確到毫秒,可以使用41年。
使用12 bit來存放邏輯分片ID,最大分片ID是4095
使用10 bit來存放自增長ID,意味著每個節點,每毫秒最多可以生成1024個ID
比如GTM時間 Fri Mar 13 10:00:00 CST 2015 ,它的距1970年的毫秒數是 1426212000000,假定分片ID是53,自增長序列是4,則生成的ID是:
5981966696448054276 = 1426212000000 << 22 + 53 << 10 + 41
redis提供了TIME命令,可以取得redis服務器上的秒數和微秒數。因些lua腳本返回的是一個四元組:
(second, microSecond, partition, seq)
客戶端可以自己處理
((second * 1000 + microSecond / 1000) << (12 + 10)) + (shardId << 10) + seq
MongoDB文檔(Document)全局唯一ID
為了考慮分布式,“_id”要求不同的機器都能用全局唯一的同種方法方便的生成它。因此不能使用自增主鍵(需要多臺服務器進行同步,既費時又費力),
因此選用了生成ObjectId對象的方法。
ObjectId使用12字節的存儲空間,其生成方式如下:
|0|1|2|3|4|5|6|7|8|9|10|11|
|時間戳 |機器ID|PID|計數器|
前四個字節時間戳是從標準紀元開始的時間戳,單位為秒,有如下特性:
- 時間戳與后邊5個字節一塊,保證秒級別的唯一性;
- 保證插入順序大致按時間排序;
- 隱含了文檔創建時間;
- 時間戳的實際值并不重要,不需要對服務器之間的時間進行同步(因為加上機器ID和進程ID已保證此值唯一,唯一性是ObjectId的最終訴求)。
機器ID是服務器主機標識,通常是機器主機名的散列值。
同一臺機器上可以運行多個mongod實例,因此也需要加入進程標識符PID。
前9個字節保證了同一秒鐘不同機器不同進程產生的ObjectId的唯一性。后三個字節是一個自動增加的計數器(一個mongod進程需要一個全局的計數器),保證同一秒的ObjectId是唯一的。同一秒鐘最多允許每個進程擁有(256^3 = 16777216)個不同的ObjectId。
總結一下:時間戳保證秒級唯一,機器ID保證設計時考慮分布式,避免時鐘同步,PID保證同一臺服務器運行多個mongod實例時的唯一性,最后的計數器保證同一秒內的唯一性(選用幾個字節既要考慮存儲的經濟性,也要考慮并發性能的上限)。
"_id"既可以在服務器端生成也可以在客戶端生成,在客戶端生成可以降低服務器端的壓力。