blkio cgroup 基本功能
blkio 是 cgroup v1 中的一個子系統(tǒng)，使用 cgroup v1 blkio 子系統(tǒng)主要是為了減少進(jìn)程之間共同讀寫同一塊磁盤時相互干擾的問題。
cgroup v1 blkio 控制子系統(tǒng)可以限制進(jìn)程讀寫的 IOPS 和吞吐量，但它只能對 Direct I/O 的文件讀寫進(jìn)行限速，對 Buffered I/O 的文件讀寫無法限制。
Buffered I/O 指會經(jīng)過 PageCache 然后再寫入到存儲設(shè)備中。這里面的 Buffered 的含義跟內(nèi)存中 buffer cache 不同，這里的 Buffered 含義相當(dāng)于內(nèi)存中的buffer cache+page cache。
在 blkio cgroup 中，主要有以下四個參數(shù)來限制磁盤 I/O：
blkio.throttle.read_bps_device
blkio.throttle.read_iops_device
blkio.throttle.write_bps_device
blkio.throttle.write_iops_device
如果要限制某個控制組對磁盤的寫入吞吐量不超過 10M/s，我們可以對blkio.throttle.write_bps_device參數(shù)進(jìn)行配置：
echo "8:0 10485760" > /sys/fs/cgroup/blkio/blkio.throttle.write_bps_device
在 Linux 中，文件默認(rèn)讀寫方式為 Buffered I/O，應(yīng)用程序一般將文件寫入到 PageCache 后就直接返回了，然后內(nèi)核線程會異步將數(shù)據(jù)從內(nèi)存同步到磁盤中。而 Direct I/O 不會和內(nèi)存打交道，而是直接寫入到存儲設(shè)備中。
要了解 blkio cgroup 的限速邏輯，需要先了解下 Linux 的寫文件流程。
Linux 寫文件流程
上圖是 Linux 寫文件的一個流程圖，圖中主要包含三塊，用戶層、內(nèi)核層、硬件層，Linux 在寫文件時要經(jīng)過系統(tǒng)調(diào)用、VFS、PageCache、文件系統(tǒng)、通用塊管理層、IO調(diào)度層等多個流程后最終會將文件寫入到磁盤中。而 blkio cgroup 作用在通用塊管理層。Buffered I/O 是先寫入到 PageCache 再走后面的流程將數(shù)據(jù)寫入磁盤，而 Direct I/O 會繞過 PageCache 直接走后面的流程。
Linux 中應(yīng)用程序?qū)ξ募x寫時默認(rèn)是以 Buffered I/O 的形式寫入的，此時并不需要經(jīng)過通用塊管理層，只需寫入到 PageCache 即可，所以無法被限速，但 PageCache 中的數(shù)據(jù)總是要經(jīng)過通用塊管理層寫入到磁盤的，原則上說也有影響，但是對于應(yīng)用程序來說感受可能不一樣，這與 PageCache 寫入磁盤的機制也有關(guān)系。
在一般 I/O 的情況下，應(yīng)用程序很可能很快的就寫完了數(shù)據(jù)（在數(shù)據(jù)量小于緩存空間的情況下），然后去做其他事情了。這時應(yīng)用程序感受不到自己被限速了，而內(nèi)核在將數(shù)據(jù)從 PageCache 同步到磁盤階段，由于 PageCache 中沒有具體 cgroup 關(guān)聯(lián)信息，所以所有 PageCache 的回寫只能放到 cgroup 的 root 組中進(jìn)行限制，而不能在其他cgroup 中進(jìn)行限制，root cgroup 一般也是不做限制的。而在Direct IO的情況下，由于應(yīng)用程序?qū)懙臄?shù)據(jù)是不經(jīng)過緩存層的，所以能直接感受到速度被限制，一定要等到整個數(shù)據(jù)按限制好的速度寫完或者讀完，才能返回。這就是當(dāng)前 cgroup 的 blkio 限制所能起作用的環(huán)境限制。
PageCache 寫入磁盤的機制：
（1）臟頁太多，Page Cache 中的臟頁比例達(dá)到一定閾值時回寫，主要有下面兩個參數(shù)來控制臟頁比例：
- dirty_background_ratio 表示當(dāng)臟頁占總內(nèi)存的的百分比超過這個值時，后臺線程開始刷新臟頁。這個值如果設(shè)置得太小，可能不能很好地利用內(nèi)存加速文件操作。如果設(shè)置得太大，則會周期性地出現(xiàn)一個寫 I/O 的峰值，默認(rèn)為 10；
- dirty_background_bytes：和 dirty_background_ratio 實現(xiàn)相同的功能，該參數(shù)依據(jù)臟頁字節(jié)數(shù)來判斷，但兩個參數(shù)只會有其中一個生效，默認(rèn)為 0；
- dirty_ratio 當(dāng)臟頁占用的內(nèi)存百分比超過此值時，內(nèi)核會阻塞掉寫操作，并開始刷新臟頁，默認(rèn)為 20；
- dirty_bytes：和參數(shù) dirty_ratio 實現(xiàn)相同功能，該參數(shù)依據(jù)臟頁字節(jié)數(shù)來判斷，但兩個參數(shù)只會有其中一個生效，默認(rèn)為 0；
（2）臟頁存在太久，內(nèi)核線程會周期性回寫，臟頁存在時間主要由以下幾個參數(shù)控制：
- dirty_writeback_centisecs 表示多久喚醒一次刷新臟頁的后臺線程，這個參數(shù)會和參數(shù) dirty_background_ratio 一起來作用，一個表示大小比例，一個表示時間；即滿足其中任何一個的條件都達(dá)到刷盤的條件，默認(rèn)為 500；
- dirty_expire_centisecs 表示臟頁超過多長時間就會被內(nèi)核線程認(rèn)為需要寫回到磁盤，默認(rèn)為 3000；
為什么 cgroup v1 不支持非 Buffer IO 的限制
cgroup v1 通常是每個層級對應(yīng)一個子系統(tǒng)，子系統(tǒng)需要掛載使用，而每個子系統(tǒng)之間都是獨立的，很難協(xié)同工作，比如 memory cgroup 和 blkio cgroup 能分別控制某個進(jìn)程的資源使用量，但是blkio cgroup 對進(jìn)程資源限制的時候無法感知 memory cgroup 中進(jìn)程資源的使用量，導(dǎo)致對 Buffered I/O 的限制一直沒有實現(xiàn)。
cgroup v1 結(jié)構(gòu)如下所示：
cgroup v1 因為有很多缺陷也導(dǎo)致了 linux 的開發(fā)者重新設(shè)計了 cgroup，也就有了 cgroup v2，在 cgroup v2 中就可以解決 Buffered I/O 限制的問題。cgroup v2 使用了統(tǒng)一層級（unified hierarchy)，各個子系統(tǒng)都可以掛載在統(tǒng)一層級下，一個進(jìn)程屬于一個控制組，每個控制組里可以定義自己需要的多個子系統(tǒng)。cgroup v2 中 io 子系統(tǒng)等同于 v1 中的 blkio 子系統(tǒng)。
cgroup v2 結(jié)構(gòu)如下所示：
參考：
https://www.kernel.org/doc/Documentation/cgroup-v1/blkio-controller.txt
