經常能夠看到有些大廠的面試題里有一些這樣的題目:一個10G的文件,里面全部是自然數,一行一個,亂序排列,對其排序。在32位機器上面完成,內存限制為 2G。
首先來分析一下題目,10G的文件,只有2G內存,顯然,不可能一次性把數據放入內存中直接排序。那么,還有什么其他辦法呢?遍尋資料,可以發現大致有兩種解決方案:
1、把大文件分成多個小文件,分別排序,到最后合并成一個文件(我暫時還沒搞懂這個方法,所以不會描述,有興趣的看官可以自己去查一下);
2、另外一種方法就是著名的bitmap算法了。引用一下《編程珠璣》的內容:
所謂的Bit-map就是用一個bit位來標記某個元素對應的Value, 而Key即是該元素。由于采用了Bit為單位來存儲數據,因此在存儲空間方面,可以大大節省。
如果說了這么多還沒明白什么是Bit-map,那么我們來看一個具體的例子,假設我們要對0-7內的5個元素(4,7,2,5,3)排序(這里假設這些元素沒有重復)。那么我們就可以采用Bit-map的方法來達到排序的目的。要表示8個數,我們就只需要8個Bit(1Bytes),首先我們開辟1Byte的空間,將這些空間的所有Bit位都置為0
然后遍歷這5個元素,首先第一個元素是4,那么就把4對應的位置為1(可以這樣操作 p+(i/8)|(0×01<<(i%8)) 當然了這里的操作涉及到Big-ending和Little-ending的情況,這里默認為Big-ending),因為是從零開始的,所以要把第五位置為1。
然后再處理第二個元素7,將第八位置為1,,接著再處理第三個元素,一直到最后處理完所有的元素,將相應的位置為1。
然后我們現在遍歷一遍Bit區域,將該位是一的位的編號輸出(2,3,4,5,7),這樣就達到了排序的目的。
其實就是把計數排序用的統計數組的每個單位縮小成bit級別的布爾數組
這就是Bit-map的基本思想。Bit-map算法利用這種思想處理大量數據的排序、查詢以及去重。
片頭提出的問題,這里自然是要用bitmap算法來解決了,下面先來解釋一下算法(本期算法用java實現)。
1、
32位機器上的自然數一共有4294967296個,如果用一個bit來存放一個整數,1代表存在,0代表不存在,那么把全部自然數存儲在內存只要4294967296 / (8 * 1024 * 1024) = 512MB(8bit = 一個字節),而這些自然數存放在文件中,一行一個數字,需要20G的容量。可見,bitmap算法節約了非常多的空間。
不過在java中,應該沒有bit這種數據結構,最小的是byte,byte占8bit,那么我們可以用byte代表8個連續的數字,不過因為byte的范圍是127 ~ -128,最高位是符號位,所以可以變通一下,前7位代表8n ~ 8n + 7的數字,8n + 7這個數可以按位取反變成負數來區分,即>0即含有8n + 7,<0即不含8n + 7(這里其實不一定要用byte來做,用short,int,long來做都一樣的,因為我找到第一篇是用byte,所以就先入為主了)。
talk is cheap,show me the code. -- Linus Torvalds
2、
package main.io;
public class BitMap {
public byte[] bitArr;
private static final byte mask = 3;
private static final int maxNum = (1 << mask) - 1;
private long count = 0;
BitMap() {
bitArr = new byte[1 << (Integer.SIZE - mask)];
}
}
這里的mask代表的是移位數,n >>3 等價于 Math.floor(n / 8), (1 << 3) - 1 = 7 = bin 111(這兩個地方先記著,下面會解釋)。
3、
設置bit的方法,網上能夠找到的代碼多數是這樣實現的:
bitArr[num >> mask] |= (1 << (num & maxNum));
但是這個方法會有一個邏輯漏洞,就是(1 << (8n + 7) & 7) = 128,128就超出了byte的范圍變成-128了,我就是被這個坑了,還好寫了一個php的版本來對比debug。。。o(╥﹏╥)o
這里要區分原來的數值是否為負數,還有設置的數是否為8n + 7。
我對于位運算不太熟,所以就把負數按位取反進行 | 運算再轉回來。
設置bit的方法:
public void setBit(int num) {
var val = bitArr[num >> mask];
var bit = num & maxNum;
if (val >= 0 && bit == maxNum) {
bitArr[num >> mask] = (byte) ~val;
} else if (val < 0 && bit != maxNum) {
bitArr[num >> mask] = (byte) ~(~val | (1 << bit));
} else if (val >= 0 && bit != maxNum) {
bitArr[num >> mask] |= (1 << bit);
}
}
4、
只要明白了上面的方法,下面的查詢和移除的方法也就十分簡單了。
public byte getBit(int num) {
var val = bitArr[num >> mask];
var bit = num & maxNum;
if (bit == maxNum) {
return bitArr[num >> mask] < 0 ? (byte) 1 : (byte) 0;
} else if (val < 0 && bit != maxNum) {
return (byte) (~bitArr[num >> mask] & (1 << (bit)));
} else {
return (byte) (bitArr[num >> mask] & (1 << (bit)));
}
}
public void delBit(int num) {
var val = bitArr[num >> mask];
var bit = num & maxNum;
if (bit == maxNum) {
bitArr[num >> mask] = (byte) ~val;
} else if (val < 0 && bit != maxNum) {
bitArr[num >> mask] = (byte) ~(~bitArr[num >> mask] ^ (1 << (bit)));
} else {
bitArr[num >> mask] = (byte) (bitArr[num >> mask] ^ (1 << (bit)));
}
}
最后還有一個統計bitmap存在數字數量的方法:
public long countDistinctNum() {
var length = bitArr.length;
for (int i = 0; i < length; ++i) {
if (bitArr[i] >= 0) {
count += Integer.bitCount(bitArr[i]);
}else {
count += Integer.bitCount(~bitArr[i]) + 1;
}
}
return count;
}
明白了bitmap的算法原理,接下來就要實戰一下,下期來講一下利用bitmap給海量數據排序的方法。