微服務(wù)實踐目錄，可以參見連接。
緩存系列包括：
1.微服務(wù)管理-11.緩存概述
1.微服務(wù)管理-11.緩存-0.技術(shù)
1.微服務(wù)管理-11.緩存-1.多級緩存設(shè)計
1.微服務(wù)管理-11.緩存-2.典型緩存架構(gòu)設(shè)計
1.微服務(wù)管理-11.緩存-3.實踐
1.微服務(wù)管理-11.緩存-4.總結(jié)
背景
從馮諾依曼體系結(jié)構(gòu)開始計算機(jī)就開始考慮處理速度與存儲之間的關(guān)系。對于緩存來說在CPU中加入緩存的時候是為了解決速度與存儲的不協(xié)調(diào)問題。通過將常用的數(shù)據(jù)、下一條CPU指令加載到CPU的Cache中而加快因為數(shù)據(jù)總線讀取數(shù)據(jù)造成的時延。以這種方式減少因為數(shù)據(jù)讀取對處理時間的延時的情況，提高CPU計算時間片使用率。從而提高CPU的處理速度。從這里可以看到緩存的出現(xiàn)就是為了充分體現(xiàn)CPU的處理速度而設(shè)計的。
而我們現(xiàn)在經(jīng)常提到對的緩存是在業(yè)務(wù)系統(tǒng)層面。基本上已經(jīng)不考慮CPU的尋址、讀取數(shù)據(jù)的時間了。業(yè)務(wù)系統(tǒng)中的緩存是隨著計算機(jī)系統(tǒng)在人們生活中不斷的發(fā)揮作用。業(yè)務(wù)系統(tǒng)不斷的需要快速的反饋，而業(yè)務(wù)的處理消耗的時間慢慢的不能被使用者所接受。所以人們開始考慮怎樣加快系統(tǒng)的返回時間，人們開始將CPU上的Cache的概念引入到業(yè)務(wù)系統(tǒng)中。
前人分析計算機(jī)系統(tǒng)其實可以分為計算密集型系統(tǒng)和IO密集型系統(tǒng)。對于這兩種系統(tǒng)的緩存要求也是不一樣的。對于計算密集型系統(tǒng)就像上面所說的緩存需要解決的問題是加快數(shù)據(jù)讀取的速度。對于IO密集型來說系統(tǒng)系統(tǒng)是需要快速檢索，并快速聚合。
那么對于現(xiàn)在的大型互聯(lián)網(wǎng)系統(tǒng)來說應(yīng)該是計算密集型系統(tǒng)還是IO密集型系統(tǒng)呢？針對這個問題，我的定義是IO密集型系統(tǒng)。具體原因是：對于互聯(lián)網(wǎng)系統(tǒng)來說最多要操作的是CURD。所以說互聯(lián)網(wǎng)系統(tǒng)是IO密集型系統(tǒng)。而IO密集型系統(tǒng)又可以分為讀密集型和寫密集型。而我再把互聯(lián)網(wǎng)系統(tǒng)定義為IO讀密集型系統(tǒng)。
-
IO讀密集型系統(tǒng)
對于作者認(rèn)為互聯(lián)網(wǎng)系統(tǒng)是IO讀密集型系統(tǒng)來說，可能大家不認(rèn)同。作者在這里舉兩個例子。
報表系統(tǒng)對于業(yè)務(wù)系統(tǒng)來說是一個比較常見的部分。報表系統(tǒng)最直觀的看法是他是一套計算密集型系統(tǒng)。簡單的報表系統(tǒng)對于程序員來說就是查詢并且根據(jù)計算條件計算出結(jié)果并輸出。而對于架構(gòu)師來說這個不可能讓程序每次都讀取并且占用數(shù)據(jù)庫連接的情況下進(jìn)行報表操作。對于報表系統(tǒng)來說比較簡單的處理方式是報表數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)庫分離。如果是比較完善體系可以引入OLAP的概念做WD完成報表的內(nèi)容。如果使用簡單的方式的話，分析報表建立維度表，然后以預(yù)處理的方式將數(shù)據(jù)存儲在預(yù)處理表中。在需要展示時可以直接從維度表或維度表的聚合中獲取數(shù)據(jù)。
工作流管理系統(tǒng)對于業(yè)務(wù)系統(tǒng)來說系統(tǒng)中查看工作流中數(shù)據(jù)的地方比產(chǎn)生、修改這部分?jǐn)?shù)據(jù)的地方多的多。而且一個工作流管理系統(tǒng)的計算量明顯會更小。
個性化推薦系統(tǒng)對于業(yè)務(wù)系統(tǒng)來說，簡單來說就是一個數(shù)據(jù)源。對于業(yè)務(wù)系統(tǒng)來說不關(guān)心個性推薦系統(tǒng)中的算法，模型等內(nèi)容。而個性化推薦系統(tǒng)只需要將計算后的數(shù)據(jù)交付給業(yè)務(wù)系統(tǒng)即可。
針對這幾個例子我們可以簡單的認(rèn)為大部分互聯(lián)網(wǎng)系統(tǒng)都是IO讀密集型系統(tǒng)。
-
概述
對于IO讀密集型的互聯(lián)網(wǎng)系統(tǒng)來說，緩存需要處理那些問題？這里列出要處理的問題，并會在說明這些問題處理方式時說明為什么這些問題需要處理。
- 緩存位置
- 緩存數(shù)據(jù)規(guī)則
- 緩存失效策略
- 緩存序列化與容量
- 緩存類型
下面會以重要性的順序進(jìn)行說明。
緩存數(shù)據(jù)規(guī)則
對于系統(tǒng)中會怎樣認(rèn)為那些數(shù)據(jù)？應(yīng)該像CPU那樣緩存程序代碼段的指令還是緩存代碼指令所要使用的數(shù)據(jù)？這個部分可以分為：過程數(shù)據(jù)規(guī)則、數(shù)據(jù)特征規(guī)則。過程數(shù)據(jù)規(guī)則說明應(yīng)該緩存那些數(shù)據(jù)。
-
緩存過程數(shù)據(jù)規(guī)則
過程數(shù)據(jù)是在處理過程中的數(shù)據(jù)。對于過程中的數(shù)據(jù)是從原始的數(shù)據(jù)源中讀取開始到真正的從接口返回的數(shù)據(jù)。這里可以分為：
- 緩存原始數(shù)據(jù)
從數(shù)據(jù)源（一般是數(shù)據(jù)庫）中讀取過來的數(shù)據(jù)。 - 緩存半成品數(shù)據(jù)
從數(shù)據(jù)源讀取之后，進(jìn)行了部分聚合的情況下的半成品數(shù)據(jù)。（對于微服務(wù)架構(gòu)模式來說前臺服務(wù)就是作為數(shù)據(jù)、服務(wù)能力聚合而做的。所以經(jīng)常性的數(shù)據(jù)聚合會在前臺中完成。） - 緩存成品數(shù)據(jù)
半成品再次聚合成為成品數(shù)據(jù)。使數(shù)據(jù)可以直接返回。
這些數(shù)據(jù)經(jīng)常會在我們服務(wù)中發(fā)現(xiàn)。這里先說規(guī)則緩存的數(shù)據(jù)應(yīng)該是最接近成品數(shù)據(jù)的數(shù)據(jù)。根據(jù)我們在背景中說明的互聯(lián)網(wǎng)系統(tǒng)中最主要的是IO讀密集型系統(tǒng)。所以，需要進(jìn)行數(shù)據(jù)已最快的速度進(jìn)行返回。讓系統(tǒng)可以以最快的速度進(jìn)行返回。
不過在緩存數(shù)據(jù)過程中可能會放因為緩存的問題造成接口響應(yīng)時間抖動的情況。在這個過程中應(yīng)盡量的減小影響響應(yīng)時間方差的處理。
-
緩存粒度規(guī)則
緩存一般情況下是Key-Value型數(shù)據(jù)庫，Key的個數(shù)其實也影響緩存性能。也影響需要聚合的數(shù)據(jù)服務(wù)過程。通常情況下，緩存的粒度越小，命中率會越高；但是也需要考慮我們在用戶QPS放大到緩存QPS的問題。一般情況下緩存放大倍數(shù)不應(yīng)該超過2倍，這個會影響系統(tǒng)的穩(wěn)定性。
-
緩存數(shù)據(jù)特性規(guī)則
現(xiàn)在大家對于緩存數(shù)據(jù)的主要考慮點(diǎn)就是根據(jù)數(shù)據(jù)特性進(jìn)行緩存。主要考慮的內(nèi)容是使用頻繁度+數(shù)據(jù)大小。
| / | 頻繁 | 不頻繁 |
|---|---|---|
| 大量 | 緩 | 不 |
| 少量 | 緩 | 不 |
緩存最大的特點(diǎn)是需要加快訪問速度。也就是需要對于熱點(diǎn)數(shù)據(jù)進(jìn)行加速，所以，不管是大量的還是少量的都需要進(jìn)行緩存。
緩存技術(shù)
緩存技術(shù)在下一篇緩存技術(shù)中進(jìn)行詳細(xì)介紹。這里主要說明一些在記性技術(shù)選擇時，需要考慮到的內(nèi)容。
- 分布式
- 堆內(nèi)、堆外
- 持久化
- 換出策略
- 分級支持
- 緩存大小
- 命中率
- 緩存過期策略
- 并發(fā)支持
- 性能
緩存失效
先說結(jié)論：最終目標(biāo)設(shè)計緩存永不失效的緩存系統(tǒng)。可以通過CQRS模式，事件驅(qū)動模式，命令控制環(huán)路模式等架構(gòu)模式設(shè)計成一個永不失效的系統(tǒng)。這樣可以設(shè)計出的系統(tǒng)絕對不會遇到緩存雪崩，緩存批量加載問題。
緩存換出策略：
FIFO、LFU、LRU、ARC、MRU等策略。換出策略時常跟分布式緩存數(shù)據(jù)再均衡策略有關(guān)。在設(shè)計與使用緩存技術(shù)時需要考慮。
緩存序列化與容量
序列化技術(shù)與容量是有關(guān)的。Serializable、Json、Hessian、Protobuf、Thrift等。緩存的序列化技術(shù)考慮版本化反序列化能力，序列化后大小，序列化性能等。之后的技術(shù)選型文章中說明。
緩存相關(guān)內(nèi)容
| 編號 | 工作 | 說明 |
|---|---|---|
| 1 | 緩存初始化 | 緩存初始化觸發(fā)時間是需要考慮的。通過事件制，還是啟動加載？ |
| 2 | 緩存過期 | 過期策略。我堅實的相信不能絕對不要。 |
| 3 | 緩存更新 | 通過事件更新，以補(bǔ)償機(jī)制保證一致性。 |
| 4 | 緩存過期時間更新 | 這里主要是負(fù)責(zé)在不更新緩存內(nèi)容的情況下更新緩存過期時間。在IoT設(shè)備上經(jīng)常會用到看門狗，其實更新緩存過期時間也有類似的作用 |
緩存位置：
緩存的位置包括很多。從整個互聯(lián)網(wǎng)系統(tǒng)通用架構(gòu)的最前端到最后端的方式進(jìn)行技術(shù)緩存位置說明：
- 搜索服務(wù)
- 瀏覽器
- CDN
- WEB服務(wù)器
- 中間件（消息中間件，數(shù)據(jù)庫中間件等）
- 服務(wù)的高速緩存
- 數(shù)據(jù)庫查詢緩存
- CPU的cache
總結(jié)
前幾天總結(jié)了一句話：同樣的Dubbo、同樣的Spring Cloud有些公司能實現(xiàn)到幾萬QPS，幾十萬QPS，而有些公司只能實現(xiàn)幾十的QPS。映射到緩存上有些系統(tǒng)即使用了緩存也就是那么幾十的QPS怎么解決？
本文中更多的是解決高性能的問題。而不是簡單的解決該怎么用緩存。下一篇文章會專門的介紹緩存技術(shù)。
參考：
聊聊MyBatis緩存機(jī)制
如何優(yōu)雅的設(shè)計和使用緩存？
緩存技術(shù)原理淺析
java序列化框架對比
