05-內存管理和優化-最佳實踐

最佳實踐就是分享一下平時遇到的一些好案例,或者從前面的原理導出的一些結論。首先,最重要的就是選擇正確的數據類型,主要以滿足業務,性能和場景為優先考量。一般數據量不大的業務,沒必要花很大的精力;但是對一些主要業務,就需要做比較細致的優化。如STRING類型對象可以考慮使用整數,如果是浮點型,就改成整數,Id等的值可以考慮用整數而不是字符串,小整數多的時候考慮使用LRU無關逐出策略等。對于數據量大,比較重要,需要做深入優化業務,還可以充分利用壓縮列表,平均來說有5倍的壓縮比。




這里舉個官網上的例子,在存Key - Value的時候,以object后面加一個整數作為ID,整個數據庫里可能都是這種類型的數據,量又特別大,想對它優化的時候,比較通用的優化方法就是取模,相同前綴的Key單獨做hash。整個db空間相當于一個大的哈希表,這樣就把本來分配給整個db空間的Key,按照不同的前綴分成小的哈希表,每個哈希表里面保證數據比較小,那這個哈希表就會用壓縮列表來保存。


Redis里其實有7種數據類型,另外2種是普通的String,獨立出來用于特定場合,它是效率非常高且有用的一種方式。




第一個是位圖Bitmap,它存儲起來實際上就是字符串,最大可以是512M,當用一些讀寫的位操作函數操作時,位操作很快。其原理是,若統計一個網站的UV,用來訪問的用戶的ID做標識。其好處是節省空間。如果按傳統的集合方式實現,則內存占用大,且難以合并。如果每天的用戶訪問都做了集合,那么統計一周內的訪問,做集合的并集操作,比較占時間。而用bitmap只需將每天的字符串按位與,計算較快。比如要統計用戶每天有沒有訪問網站,1000萬個用戶實際上只需要430M,用集合會很大。若統計UV,一億兩千八百萬用戶做位操作基本上也是幾百毫秒。 Bitmap需要注意的問題是,字符串的最大長度是用戶的ID指定,用戶的ID是多少,就把bitmap的相應位設為1,因此如果ID取的很大,而用戶量很少,Bitmap很稀疏的話,相比集合并不能體現其優勢。而且大的bit位一次分配會導致setbit時間過長。那么,需要合理的進行bit位的壓縮,可以用相對值不用絕對值,按位分開成多個Bitmap,每10000個用戶單獨用一個bitmap,存相對值;再或者用哈希函數映射成定長的ID如64位等。


第二是HyperLogLog,它是一個算法,和日志沒關系,用于計數統計,操作很快,最大空間占用12K,可以記2^64個數據,誤差只有0.81%。也就是說,要追求準確,就用Bitmap,但是有些業務允許有一些誤差,可以使用HyperLogLog。HyperLogLog就是用來統計位有沒有記成1,不管IP是多少,只要12K 的內存就夠了。如果用集合,一百萬個IP,64字節,一年的數據可能就要5.4G,1億個IP,一年就要540G,HyperLogLog只要4M就可以。




原地址:https://mp.weixin.qq.com/s/n4HXKXPKf87qgZ_e6s4gPg

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,622評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,716評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,746評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,991評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,706評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,036評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,029評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,203評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,725評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,451評論 3 361
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,677評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,161評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,857評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,266評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,606評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,407評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,643評論 2 380

推薦閱讀更多精彩內容

  • 內存分析能提取業務特點,了解業務瓶頸,發現業務Bug。比如一些用戶說他們的Key并不多,但是內存卻已滿,分析后才發...
    郭藝賓閱讀 798評論 0 0
  • Unity3D 里有兩種動態加載機制:一個是Resources.Load,另外一個通過AssetBundle,其實...
    IongX閱讀 1,730評論 0 5
  • 機器的內存是有限的,當Redis的內存超了允許的最大內存,Redis會按照設定的淘汰策略刪掉超出部分的內容。在進行...
    郭藝賓閱讀 512評論 0 0
  • 通過了解數據結構,就能知道對象性能,邊界條件,就自然而然知道如何恰當的使用它們,做業務時就能選到最合適的對象。 上...
    郭藝賓閱讀 229評論 0 0
  • 財富自由不是終點站,只是一個里程碑,那之后還有長長的路要走,那叫做成長.....而成長是永恒的剛需。 人與人的差別...
    凡塵花仙子閱讀 273評論 1 7