memcached 內存存儲Slab Allocator 筆記整理

Slab Allocator內存分配機制

Memcache按照預先規(guī)定的大小,將分配的內存分割成特定長度的塊,以解決內存碎片問題.


Memcache的存儲涉及到slab,page,chunk三個概念,三者是包含關系,從小到大如下:
1.Chunk為固定大小的內存空間,默認為96Byte。
2.page對應實際的物理空間,1個page默認為1M。
所以memcache默認最大存儲1M的對象,每個Slab中按照Page來申請內存, Page的大小默認為1M,可以通過-l參數調整,最小1k,最大128m.
3.同樣大小的chunk又稱為slab。
三者的關系如下圖:

Paste_Image.png

比較重要的幾個啟動參數:
-f:增長因子,chunk的值會按照增長因子的比例增長(chunk size growth factor).
-n:每個chunk的初始大小(minimum space allocated for key+value+flags),chunk大小還包括本身結構體大小.
-I:每個slab page大小(Override the size of each slab page. Adjusts max item size)
-m:需要分配的大小(max memory to use for items in megabytes)


Slab Allocator 的缺點

由于分配的是特定長度的內存,因此無法有效利用分配的內存。例如,將100 字節(jié)的數據緩存到128 字節(jié)的chunk 中,剩余的28字節(jié)就浪費了

Image.png

對于該問題目前還沒有完美的解決方案,但是可以通過分析目標應用緩存的大小,來調整chunk的大小以減少浪費。


使用Growth Factor進行調優(yōu)

memcached 在啟動時指定Growth Factor 因子(通過f 選項),就可以在某種程度上控制slab 之間的差異。默認值為1.25。但是,在該選項出現(xiàn)之前,這個因子曾經固定為2,稱為“powers of 2”策略。
下面是啟動后的verbose 輸出:
slab class 1: chunk size 128 perslab 8192
slab class 2: chunk size 256 perslab 4096
slab class 3: chunk size 512 perslab 2048
slab class 4: chunk size 1024 perslab 1024
slab class 5: chunk size 2048 perslab 512
slab class 6: chunk size 4096 perslab 256
slab class 7: chunk size 8192 perslab 128
slab class 8: chunk size 16384 perslab 64
slab class 9: chunk size 32768 perslab 32
slab class 10: chunk size 65536 perslab 16
slab class 11: chunk size 131072 perslab 8
slab class 12: chunk size 262144 perslab 4
slab class 13: chunk size 524288 perslab 2
可見,從128 字節(jié)的組開始,組的大小依次增大為原來的2 倍。這樣設置的問題是,slab 之間的差別比較大,有些情況下就相當浪費內存。因此,為盡量減少內存浪費,追加了growth factor 這個選項來看看現(xiàn)在的默認設置(f=1.25)時的輸出(篇幅所限,這里只寫到第10 組):
slab class 1: chunk size 88 perslab 11915
slab class 2: chunk size 112 perslab 9362
slab class 3: chunk size 144 perslab 7281
slab class 4: chunk size 184 perslab 5698
slab class 5: chunk size 232 perslab 4519
slab class 6: chunk size 296 perslab 3542
slab class 7: chunk size 376 perslab 2788
slab class 8: chunk size 472 perslab 2221
slab class 9: chunk size 592 perslab 1771
slab class 10: chunk size 744 perslab 1409

可見,組間差距比因子為2 時小得多,更適合緩存幾百字節(jié)的記錄。從上面的輸出結果來看,可能會覺得有些計算誤差,這些誤差是為了保持字節(jié)數的對齊而故意設置的。將memcached 引入產品,或是直接使用默認值進行部署時,最好是重新計算一下數據的預期平均長度,調整growth factor,以獲得最恰當的設置。內存是珍貴的資源,浪費就太可惜了。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容