0 Github
1 面試題
分庫(kù)分表之后，id主鍵如何處理？
2 考點(diǎn)分析
其實(shí)這是分庫(kù)分表之后你必然要面對(duì)的一個(gè)問(wèn)題，就是id咋生成？
要是分成多個(gè)表之后，每個(gè)表都是從1開(kāi)始累加，那肯定不對(duì)啊，需要一個(gè)全局唯一的id來(lái)支持!
下面來(lái)看看有哪些可行方案~
3 數(shù)據(jù)庫(kù)自增id
-
分庫(kù)分表的id主鍵問(wèn)題image
系統(tǒng)每次得到一個(gè)id，都是
- 往一個(gè)庫(kù)的一個(gè)表里插入一條沒(méi)什么業(yè)務(wù)含義的數(shù)據(jù)
- 然后獲取一個(gè)數(shù)據(jù)庫(kù)自增id
- 拿到該id后,再寫(xiě)入對(duì)應(yīng)的分庫(kù)分表中
3.1 優(yōu)點(diǎn)
就是方便簡(jiǎn)單，誰(shuí)都會(huì)用
3.2 缺點(diǎn)
就是單庫(kù)生成自增id，要是高并發(fā)的話(huà)，就會(huì)有瓶頸
如果你硬是要改進(jìn)，那就專(zhuān)門(mén)開(kāi)一個(gè)服務(wù)
- 該服務(wù)每次就拿到當(dāng)前id最大值
- 然后自己遞增幾個(gè)id，一次性返回一批id
- 然后再把當(dāng)前最大id值修改成遞增幾個(gè)id之后的一個(gè)值
但是無(wú)論怎么說(shuō)都是基于單個(gè)數(shù)據(jù)庫(kù)的!
3.3 適用場(chǎng)景
分庫(kù)分表就倆原因
- 要不就是單庫(kù)并發(fā)太高
- 要不就是單庫(kù)數(shù)據(jù)量太大
除非是你并發(fā)不高，但是數(shù)據(jù)量太大導(dǎo)致的分庫(kù)分表擴(kuò)容，你可以用這個(gè)方案，因?yàn)榭赡苊棵胱罡卟l(fā)最多就幾百，那么就走單獨(dú)的一個(gè)庫(kù)和表生成自增主鍵即可。
并發(fā)很低，幾百/s，但是數(shù)據(jù)量大，幾十億的數(shù)據(jù)，所以需要靠分庫(kù)分表來(lái)存放海量的數(shù)據(jù)
4 UUID
4.1 優(yōu)點(diǎn)
就是本地生成，不要基于數(shù)據(jù)庫(kù)
4.2 缺點(diǎn)
- UUID太長(zhǎng)了，作為主鍵性能太差，不適合用于主鍵
- UUID 不具有有序性，會(huì)導(dǎo)致 B+ 樹(shù)索引在寫(xiě)的時(shí)候有過(guò)多的隨機(jī)寫(xiě)操作（連續(xù)的 ID 可以產(chǎn)生部分順序?qū)懀?/li>
- 寫(xiě)的時(shí)候不能產(chǎn)生有順序的 append 操作，而需要進(jìn)行 insert 操作，將會(huì)讀取整個(gè) B+ 樹(shù)節(jié)點(diǎn)到內(nèi)存，在插入這條記錄后會(huì)將整個(gè)節(jié)點(diǎn)寫(xiě)回磁盤(pán)，這種操作在記錄占用空間比較大的情況下，性能下降明顯
4.3 適用場(chǎng)景
如果你是要隨機(jī)生成個(gè)什么文件名，編號(hào)之類(lèi)的，你可以用UUID，但是作為主鍵是不能用UUID
UUID.randomUUID().toString().replace(“-”, “”) -> sfsdf23423rr234sfdaf
5 獲取系統(tǒng)當(dāng)前時(shí)間
獲取當(dāng)前時(shí)間即可，但問(wèn)題是，并發(fā)很高的時(shí)候，比如一s并發(fā)幾千，會(huì)有重復(fù)的情況，這個(gè)是肯定不合適的?；揪筒挥每紤]了。
5.1 適用場(chǎng)景
一般如果用這個(gè)方案，是將當(dāng)前時(shí)間跟很多其他的業(yè)務(wù)字段拼接起來(lái)，作為一個(gè)id
如果業(yè)務(wù)上你覺(jué)得可以接受，那么也是可以的
你可以將別的業(yè)務(wù)字段值跟當(dāng)前時(shí)間拼接起來(lái)，組成一個(gè)全局唯一的編號(hào)
比如訂單編號(hào)
時(shí)間戳 + 用戶(hù)id + 業(yè)務(wù)含義編碼
6 snowflake算法
twitter開(kāi)源的分布式id生成算法，把一個(gè)64位的long型的id，1個(gè)bit是不用的，用其中的41 bit作為毫秒數(shù)，用10 bit作為工作機(jī)器id，12 bit作為序列號(hào)
- 1 bit：不用
因?yàn)槎M(jìn)制里第一個(gè)bit為如果是1，那么都是負(fù)數(shù)，但是我們生成的id都是正數(shù)，所以第一個(gè)bit統(tǒng)一都是0 - 41 bit：表示的是時(shí)間戳，單位是ms
41 bit可以表示的數(shù)字多達(dá)2^41 - 1，也就是可以標(biāo)識(shí)2 ^ 41 - 1個(gè)毫秒值，換算成年就是表示69年的時(shí)間 - 10 bit：記錄工作機(jī)器id
代表的是這個(gè)服務(wù)最多可以部署在2^10臺(tái)機(jī)器上哪，也就是1024臺(tái)機(jī)器
但是10 bit里5個(gè)bit代表機(jī)房id，5個(gè)bit代表機(jī)器id。意思就是最多代表2 ^ 5個(gè)機(jī)房（32個(gè)機(jī)房），每個(gè)機(jī)房里可以代表2 ^ 5個(gè)機(jī)器（32臺(tái)機(jī)器）。 - 12 bit：記錄同一個(gè)毫秒內(nèi)產(chǎn)生的不同id
12 bit可以代表的最大正整數(shù)是2 ^ 12 - 1 = 4096
也就是說(shuō)可以用這個(gè)12bit代表的數(shù)字來(lái)區(qū)分同一個(gè)毫秒內(nèi)的4096個(gè)不同的id
64位的long型的id，64位的long -> 二進(jìn)制
0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000000
2018-01-01 10:00:00 -> 做了一些計(jì)算，再換算成一個(gè)二進(jìn)制，41bit來(lái)放 ->
0001100 10100010 10111110 10001001 01011100 00
機(jī)房id，17 -> 換算成一個(gè)二進(jìn)制 ->
10001
機(jī)器id，25 -> 換算成一個(gè)二進(jìn)制 ->
11001
snowflake算法服務(wù)，會(huì)判斷一下，當(dāng)前這個(gè)請(qǐng)求是否是，機(jī)房17的機(jī)器25，在2175/11/7 12:12:14時(shí)間點(diǎn)發(fā)送過(guò)來(lái)的第一個(gè)請(qǐng)求，如果是第一個(gè)請(qǐng)求
假設(shè)，在2175/11/7 12:12:14時(shí)間里，機(jī)房17的機(jī)器25，發(fā)送了第二條消息，snowflake算法服務(wù)，會(huì)發(fā)現(xiàn)說(shuō)機(jī)房17的機(jī)器25，在2175/11/7 12:12:14時(shí)間里，在這一毫秒，之前已經(jīng)生成過(guò)一個(gè)id了，此時(shí)如果你同一個(gè)機(jī)房，同一個(gè)機(jī)器，在同一個(gè)毫秒內(nèi)，再次要求生成一個(gè)id，此時(shí)我只能把加1
0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000001
比如我們來(lái)觀察上面的那個(gè)，就是一個(gè)典型的二進(jìn)制的64位的id，換算成10進(jìn)制就是910499571847892992。
public class IdWorker {
private long workerId;
private long datacenterId;
private long sequence;
public IdWorker(long workerId, long datacenterId, long sequence) {
// sanity check for workerId
// 這兒不就檢查了一下，要求就是你傳遞進(jìn)來(lái)的機(jī)房id和機(jī)器id不能超過(guò)32，不能小于0
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(
String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(
String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
}
System.out.printf(
"worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);
this.workerId = workerId;
this.datacenterId = datacenterId;
this.sequence = sequence;
}
private long twepoch = 1288834974657L;
private long workerIdBits = 5L;
private long datacenterIdBits = 5L;
// 這個(gè)是二進(jìn)制運(yùn)算，就是 5 bit最多只能有31個(gè)數(shù)字，也就是說(shuō)機(jī)器id最多只能是32以?xún)?nèi)
private long maxWorkerId = -1L ^ (-1L << workerIdBits);
// 這個(gè)是一個(gè)意思，就是 5 bit最多只能有31個(gè)數(shù)字，機(jī)房id最多只能是32以?xún)?nèi)
private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
private long sequenceBits = 12L;
private long workerIdShift = sequenceBits;
private long datacenterIdShift = sequenceBits + workerIdBits;
private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
private long sequenceMask = -1L ^ (-1L << sequenceBits);
private long lastTimestamp = -1L;
public long getWorkerId() {
return workerId;
}
public long getDatacenterId() {
return datacenterId;
}
public long getTimestamp() {
return System.currentTimeMillis();
}
public synchronized long nextId() {
// 這兒就是獲取當(dāng)前時(shí)間戳，單位是毫秒
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
System.err.printf("clock is moving backwards. Rejecting requests until %d.", lastTimestamp);
throw new RuntimeException(String.format(
"Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
if (lastTimestamp == timestamp) {
// 這個(gè)意思是說(shuō)一個(gè)毫秒內(nèi)最多只能有4096個(gè)數(shù)字
// 無(wú)論你傳遞多少進(jìn)來(lái)，這個(gè)位運(yùn)算保證始終就是在4096這個(gè)范圍內(nèi)，避免你自己傳遞個(gè)sequence超過(guò)了4096這個(gè)范圍
sequence = (sequence + 1) & sequenceMask;
if (sequence == 0) {
timestamp = tilNextMillis(lastTimestamp);
}
} else {
sequence = 0;
}
// 這兒記錄一下最近一次生成id的時(shí)間戳，單位是毫秒
lastTimestamp = timestamp;
// 這兒就是將時(shí)間戳左移，放到 41 bit那兒；
// 將機(jī)房 id左移放到 5 bit那兒；
// 將機(jī)器id左移放到5 bit那兒；將序號(hào)放最后12 bit；
// 最后拼接起來(lái)成一個(gè) 64 bit的二進(jìn)制數(shù)字，轉(zhuǎn)換成 10 進(jìn)制就是個(gè) long 型
return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift)
| (workerId << workerIdShift) | sequence;
}
private long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
private long timeGen() {
return System.currentTimeMillis();
}
// ---------------測(cè)試---------------
public static void main(String[] args) {
IdWorker worker = new IdWorker(1, 1, 1);
for (int i = 0; i < 30; i++) {
System.out.println(worker.nextId());
}
}
}
- 41 bit，就是當(dāng)前毫秒單位的一個(gè)時(shí)間戳
- 然后5 bit是你傳遞進(jìn)來(lái)的一個(gè)機(jī)房id（但是最大只能是32以?xún)?nèi)）
- 5 bit是你傳遞進(jìn)來(lái)的機(jī)器id（但是最大只能是32以?xún)?nèi)）
- 剩下的那個(gè)10 bit序列號(hào)，就是如果跟你上次生成id的時(shí)間還在一個(gè)毫秒內(nèi)，那么會(huì)把順序給你累加，最多在4096個(gè)序號(hào)以?xún)?nèi)
所以你自己利用這個(gè)工具類(lèi)，自己搞一個(gè)服務(wù)，然后對(duì)每個(gè)機(jī)房的每個(gè)機(jī)器都初始化這么一個(gè)東西，剛開(kāi)始這個(gè)機(jī)房的這個(gè)機(jī)器的序號(hào)就是0
然后每次接收到一個(gè)請(qǐng)求，說(shuō)這個(gè)機(jī)房的這個(gè)機(jī)器要生成一個(gè)id，你就找到對(duì)應(yīng)的Worker，生成。
這個(gè)算法生成的時(shí)候，會(huì)把當(dāng)前毫秒放到41 bit中，然后5 bit是機(jī)房id，5 bit是機(jī)器id，接著就是判斷上一次生成id的時(shí)間如果跟這次不一樣，序號(hào)就自動(dòng)從0開(kāi)始；要是上次的時(shí)間跟現(xiàn)在還是在一個(gè)毫秒內(nèi)，他就把seq累加1，就是自動(dòng)生成一個(gè)毫秒的不同的序號(hào)。
該算法可以確保每個(gè)機(jī)房每個(gè)機(jī)器每一毫秒，最多生成4096個(gè)不重復(fù)的id
利用這個(gè)snowflake算法，你可以開(kāi)發(fā)自己公司的服務(wù)，甚至對(duì)于機(jī)房id和機(jī)器id，反正給你預(yù)留了5 bit + 5 bit，你換成別的有業(yè)務(wù)含義的東西也可以的。
這個(gè)snowflake算法相對(duì)來(lái)說(shuō)還是比較靠譜的，所以你要真是搞分布式id生成，如果是高并發(fā)啥的，那么用這個(gè)應(yīng)該性能比較好，一般每秒幾萬(wàn)并發(fā)的場(chǎng)景，也足夠你用了。
參考
- 《Java工程師面試突擊第1季-中華石杉老師》
