1. Bloom filter
適用范圍：可以用來實現數據字典，進行數據的判重，或者集合求交集。
位數組+k個獨立hash函數。將hash函數對應的值的位數組置1，查找時如果發現所有hash函數對應位都是1說明存在，很明顯這個過程并不保證查找的結果是100%正確的。
給你A,B兩個文件，各存放50億條URL，每條URL占用64字節，內存限制是4G，讓你找出A,B文件共同的URL。
若不允許有錯誤率，則先hash，分到1000個小文件中，再得到hash值，對比每個小文件，若有相同hash值則說明有相同文件。不對應的小文件中不可能有相同文件。
2. hashing
快速查找，刪除的基本數據結構，通常需要總數據量可以放入內存。
海量日志數據，提取出某日訪問百度次數最多的那個IP。
解決方案：mod1000，得到1000個文件，提取出1000個局部最大值，最后得到全局最大值。
又如：有一個1G大小的一個文件，里面每一行是一個詞，詞的大小不超過16字節，內存限制大小是1M。返回頻數最高的100個詞。
又如：有10個文件，每個文件1G，每個文件的每一行存放的都是用戶的query，每個文件的query都可能重復。要求你按照query的頻度排序。
解決方案：先mod，后內部排序，最后歸并排序。
3. bit-map
可進行數據的快速查找，判重，刪除，一般來說數據范圍是int的10倍以下。
2.5億個整數中找出不重復的整數的個數，內存空間不足以容納這2.5億個整數。
又如：給40億個不重復的unsigned int的整數，沒排過序的，然后再給一個數，如何快速判斷這個數是否在那40億個數當中？
也可用《編程珠璣》里的方法，用二進制表示，根據最高位為0 1 進行二分查找。
4. 堆
海量數據前n大，并且n比較小，堆可以放入內存 。
100w個數中找最大的前100個數。
5. trie樹
數據量大，重復多，但是數據種類小可以放入內存。
請你統計最熱門的10個查詢串，要求使用的內存不能超過1G，每個查詢串的長度為1-255字節。
解決方案：用trie樹存儲，關鍵字區域存儲出現次數，最后用堆動態記錄出現次數最多的10個查詢串。
6. mapreduce
適用范圍：數據量大，但是數據種類小可以放入內存。
基本原理及要點：將數據交給不同的機器去處理，數據劃分，結果歸約。
海量數據分布在100臺電腦中，想個辦法高效統計出這批數據的TOP10。
首先可以根據數據值或者把數據hash后的值，將數據按照范圍劃分到不同的機子，最好可以讓數據劃分后可以一次讀入內存，這樣不同的機子負責處理各種的數值范圍，實際上就是map。得到結果后，各個機子只需拿出各自的出現次數最多的前N個數據，然后匯總，選出所有的數據中出現次數最多的前N個數據，這實際上就是reduce過程。
經典問題分析
上千萬or億數據（有重復），統計其中出現次數最多的前N個數據,分兩種情況：可一次讀入內存，不可一次讀入。
可用思路：trie樹+堆，數據庫索引，劃分子集分別統計，hash，分布式計算，近似統計，外排序
所謂的是否能一次讀入內存，實際上應該指去除重復后的數據量。如果去重后數據可以放入內存，我們可以為數據建立字典，比如通過 map，hashmap，trie，然后直接進行統計即可。當然在更新每條數據的出現次數的時候，我們可以利用一個堆來維護出現次數最多的前N個數據，當然這樣導致維護次數增加，不如完全統計后在求前N大效率高。
如果數據無法放入內存。一方面我們可以考慮上面的字典方法能否被改進以適應這種情形，可以做的改變就是將字典存放到硬盤上，而不是內存，這可以參考數據庫的存儲方法。
當然還有更好的方法，就是可以采用分布式計算，基本上就是map-reduce過程，首先可以根據數據值或者把數據hash(md5)后的值，將數據按照范圍劃分到不同的機子，最好可以讓數據劃分后可以一次讀入內存，這樣不同的機子負責處理各種的數值范圍，實際上就是map。得到結果后，各個機子只需拿出各自的出現次數最多的前N個數據，然后匯總，選出所有的數據中出現次數最多的前N個數據，這實際上就是reduce過程。
實際上可能想直接將數據均分到不同的機子上進行處理，這樣是無法得到正確的解的。因為一個數據可能被均分到不同的機子上，而另一個則可能完全聚集到一個機子上，同時還可能存在具有相同數目的數據。比如我們要找出現次數最多的前100個，我們將1000萬的數據分布到10臺機器上，找到每臺出現次數最多的前 100個，歸并之后這樣不能保證找到真正的第100個，因為比如出現次數最多的第100個可能有1萬個，但是它被分到了10臺機子，這樣在每臺上只有1千個，假設這些機子排名在1000個之前的那些都是單獨分布在一臺機子上的，比如有1001個，這樣本來具有1萬個的這個就會被淘汰，即使我們讓每臺機子選出出現次數最多的1000個再歸并，仍然會出錯，因為可能存在大量個數為1001個的發生聚集。因此不能將數據隨便均分到不同機子上，而是要根據hash 后的值將它們映射到不同的機子上處理，讓不同的機器處理一個數值范圍。
而外排序的方法會消耗大量的IO，效率不會很高。而上面的分布式方法，也可以用于單機版本，也就是將總的數據根據值的范圍，劃分成多個不同的子文件，然后逐個處理。處理完畢之后再對這些單詞的及其出現頻率進行一個歸并。實際上就可以利用一個外排序的歸并過程。
另外還可以考慮近似計算，也就是我們可以通過結合自然語言屬性，只將那些真正實際中出現最多的那些詞作為一個字典，使得這個規模可以放入內存。
