緩存淘汰算法--LRU算法
1. LRU
1.1 原理
LRU（Least recently used，）算法根據數據的歷史訪問記錄來進行淘汰數據，其核心思想是“如果數據最近被訪問過，那么將來被訪問的幾率也更高”。
1.2實現
最常見的實現是使用一個鏈表保存緩存數據，詳細算法實現如下：
[圖片上傳失敗...(image-414893-1510120501511)]
- 新數據插入到鏈表頭部；
- 每當緩存數據被訪問，則將數據移到鏈表頭部；
- 當鏈表滿的時候，將鏈表尾部的數據丟棄。
1.3 分析
【命中率】
當存在熱點數據時，LRU的效率很好，但偶發性的、周期性的批量操作會導致LRU命中率急劇下降，緩存污染情況比較嚴重。
【復雜度】
實現簡單。
【代價】
命中時需要遍歷鏈表，找到命中的數據塊索引，然后需要將數據移到頭部。
2 LRU-K
2.1 原理
LRU-K中的K代表最近使用的次數，因此LRU可以認為是LRU-1。LRU-K的主要目的是為了解決LRU算法“緩存污染”的問題，其核心思想是將“最近使用過1次”的判斷標準擴展為“最近使用過K次”。
2.2 實現
相比LRU，LRU-K需要多維護一個隊列，用于記錄所有緩存數據被訪問的歷史。只有當數據的訪問次數達到K次的時候，才將數據放入緩存。當需要淘汰數據時，LRU-K會淘汰第K次訪問時間距當前時間最大的數據。詳細實現如下：
[圖片上傳失敗...(image-2893b-1510120501512)]
- 數據第一次被訪問，加入到訪問歷史列表；
- 如果數據在訪問歷史列表里后沒有達到K次訪問，則按照一定規則（FIFO，LRU）淘汰；
- 當訪問歷史隊列中的數據訪問次數達到K次后，將數據索引從歷史隊列刪除，將數據移到緩存隊列中，并緩存此數據，緩存隊列重新按照時間排序；
- 緩存數據隊列中被再次訪問后，重新排序；
- 需要淘汰數據時，淘汰緩存隊列中排在末尾的數據，即：淘汰“倒數第K次訪問離現在最久”的數據。
LRU-K具有LRU的優點，同時能夠避免LRU的缺點，實際應用中LRU-2是綜合各種因素后最優的選擇，LRU-3或者更大的K值命中率會高，但適應性差，需要大量的數據訪問才能將歷史訪問記錄清除掉。
2.3 分析
【命中率】
LRU-K降低了“緩存污染”帶來的問題，命中率比LRU要高。
【復雜度】
LRU-K隊列是一個優先級隊列，算法復雜度和代價比較高。
【代價】
由于LRU-K還需要記錄那些被訪問過、但還沒有放入緩存的對象，因此內存消耗會比LRU要多；當數據量很大的時候，內存消耗會比較可觀。
LRU-K需要基于時間進行排序（可以需要淘汰時再排序，也可以即時排序），CPU消耗比LRU要高。
3. Two queues（2Q）
3.1 原理
Two queues（以下使用2Q代替）算法類似于LRU-2，不同點在于2Q將LRU-2算法中的訪問歷史隊列（注意這不是緩存數據的）改為一個FIFO緩存隊列，即：2Q算法有兩個緩存隊列，一個是FIFO隊列，一個是LRU隊列。
3.2 實現
當數據第一次訪問時，2Q算法將數據緩存在FIFO隊列里面，當數據第二次被訪問時，則將數據從FIFO隊列移到LRU隊列里面，兩個隊列各自按照自己的方法淘汰數據。詳細實現如下：
[圖片上傳失敗...(image-4a8d7e-1510120501512)]
- 新訪問的數據插入到FIFO隊列；
- 如果數據在FIFO隊列中一直沒有被再次訪問，則最終按照FIFO規則淘汰；
- 如果數據在FIFO隊列中被再次訪問，則將數據移到LRU隊列頭部；
- 如果數據在LRU隊列再次被訪問，則將數據移到LRU隊列頭部；
LRU隊列淘汰末尾的數據。
注：上圖中FIFO隊列比LRU隊列短，但并不代表這是算法要求，實際應用中兩者比例沒有硬性規定。
3.3. 分析[
【命中率】
2Q算法的命中率要高于LRU。
【復雜度】
需要兩個隊列，但兩個隊列本身都比較簡單。
【代價】
FIFO和LRU的代價之和。
2Q算法和LRU-2算法命中率類似，內存消耗也比較接近，但對于最后緩存的數據來說，2Q會減少一次從原始存儲讀取數據或者計算數據的操作。
4. Multi Queue（MQ）
4.1 原理
MQ算法根據訪問頻率將數據劃分為多個隊列，不同的隊列具有不同的訪問優先級，其核心思想是：優先緩存訪問次數多的數據。
4.2 實現
MQ算法將緩存劃分為多個LRU隊列，每個隊列對應不同的訪問優先級。訪問優先級是根據訪問次數計算出來的，例如 詳細的算法結構圖如下，Q0，Q1....Qk代表不同的優先級隊列，Q-history代表從緩存中淘汰數據，但記錄了數據的索引和引用次數的隊列：
[圖片上傳失敗...(image-5b65f-1510120501512)]
- 新插入的數據放入Q0；
- 每個隊列按照LRU管理數據；
- 當數據的訪問次數達到一定次數，需要提升優先級時，將數據從當前隊列刪除，加入到高一級隊列的頭部；
- 為了防止高優先級數據永遠不被淘汰，當數據在指定的時間里訪問沒有被訪問時，需要降低優先級，將數據從當前隊列刪除，加入到低一級的隊列頭部；
- 需要淘汰數據時，從最低一級隊列開始按照LRU淘汰；每個隊列淘汰數據時，將數據從緩存中刪除，將數據索引加入Q-history頭部；
- 如果數據在Q-history中被重新訪問，則重新計算其優先級，移到目標隊列的頭部；
- Q-history按照LRU淘汰數據的索引。
4.3 分析
【命中率】
MQ降低了“緩存污染”帶來的問題，命中率比LRU要高。
【復雜度】
MQ需要維護多個隊列，且需要維護每個數據的訪問時間，復雜度比LRU高。
【代價】
MQ需要記錄每個數據的訪問時間，需要定時掃描所有隊列，代價比LRU要高。
注：雖然MQ的隊列看起來數量比較多，但由于所有隊列之和受限于緩存容量的大小，因此這里多個隊列長度之和和一個LRU隊列是一樣的，因此隊列掃描性能也相近。
5. LRU類算法對比
由于不同的訪問模型導致命中率變化較大，此處對比僅基于理論定性分析，不做定量分析。
| 對比點 | 對比 |
|---|---|
| 命中率 | LRU-2 > MQ(2) > 2Q > LRU |
| 復雜度 | LRU-2 > MQ(2) > 2Q > LRU |
| 代價 | LRU-2 > MQ(2) > 2Q > LRU |
總結
- 實際應用中需要根據業務的需求和對數據的訪問情況進行選擇，并不是命中率越高越好。例如：雖然LRU看起來命中率會低一些，且存在”緩存污染“的問題，但由于其簡單和代價小，實際應用中反而應用更多。
- 它的弊端很明顯，如果Cache的數量少，問題不會很大， 但是如果Cache的空間過大，達到10W或者100W以上，一旦需要淘汰，則需要遍歷所有計算器，其性能與資源消耗是巨大的。效率也就非常的慢了。
- 它的原理： 將Cache的所有位置都用雙連表連接起來，當一個位置被命中之后，就將通過調整鏈表的指向，將該位置調整到鏈表頭的位置，新加入的Cache直接加到鏈表頭中。
這樣，在多次進行Cache操作后，最近被命中的，就會被向鏈表頭方向移動，而沒有命中的，而想鏈表后面移動，鏈表尾則表示最近最少使用的Cache。當需要替換內容時候，鏈表的最后位置就是最少被命中的位置，我們只需要淘汰鏈表最后的部分即可。
由于本人找不到iOS的源代碼， Java代碼我也看不懂，這里就不給大家展示了， 有興趣的可以網上收索一下。
