Redis中國用戶組|唯品會多線程redis設計與實現

Paste_Image.png

作者介紹

申政,開源愛好者,唯品會高級DBA,主要負責Redis相關領域的源碼研究和研發工作。

開源項目:

_ redis cluster的C客戶端(hiredis-vip)_

_ 集群遷移工具(redis-migrate-tool)_

_ 多線程版Twemproxy(Twemproxies)_

大家好,我是deep,今天跟大家分享下我們正在開發的多線程redis。在我們的redis使用中,發現了一些痛點問題,涉及到了redis框架的設計。

Paste_Image.png

我們線上有大量的redis實例在運行,規模比較龐大,有些redis集群實例規模超過100+,我們開始對redis進行了多線程版本的改造,就是我們現在正在開發的產品vire。

Paste_Image.png

這是vire的一個現狀,分幾個階段進行開發,現在是0.1.0版本。

Paste_Image.png

以上是vire0.1.0的一些設計思路。下面說說具體實現:

Paste_Image.png

這是vire的多線程模型,借鑒于memcached,master+worker線程模型。

Paste_Image.png

這個圖比較直觀的反映了線程模型的工作原理,多線程不可避免會用到鎖,以下是vire的鎖機制:

Paste_Image.png

這里有個邏輯DB的概念,其實就是把多個redis db偽裝成一個DB提供給用戶。DB級別的鎖,會不會性能很差呢?后續會有測試報告給出。

Paste_Image.png

用戶使用的所有key,是通過key的hash值被分散到了各個物理db上,目的就是降低DB鎖的競爭提升qps,可以通過info 命令看到物理db中key的分布:

Paste_Image.png

下面來看下成功執行一個redis命令要走的流程:

Paste_Image.png

我們的db鎖是在哪一步使用呢?

Paste_Image.png

有可能用到db鎖的步驟就是紅框中的兩步,但像ping這樣命令,在整個過程中是用不到db鎖的,可以看出,Worker線程在一部分時間是完全并行執行的,關于vire中的后臺線程:

Paste_Image.png

Worker線程專注于處理客戶端的請求,雜活累活有backend線程來做,backend線程在vire后續版本中,會發揮更重要的作用。

Paste_Image.png

這里是Vire代碼內部對object的處理,這里會有些性能退化。

Paste_Image.png

這是vire對多key命令的一些特殊處理,死鎖的問題,導致個別redis命令在vire中暫時無法實現。

Paste_Image.png

Vire中增加了一些權限管理,vire增加了管理員的角色,保證了一些危險命令不被開發執行。
下面說說vire的測試:

Paste_Image.png

這里著重說說abtest和性能測試
為了保證vire的命令執行起來與redis一模一樣,我們開發了abtest測試框架。詳細說說abtest框架中各模塊的作用:

Paste_Image.png
Paste_Image.png

這個測試框架有效的幫我們發現了一些bug,以下是性能測試:

Paste_Image.png
Paste_Image.png
Paste_Image.png

我們的目標就是性能接近或跟mc一樣,以下是hotkey測試:

Paste_Image.png

hotkey的效果還不錯。

Paste_Image.png

加入Redis中國用戶組

QQ群: 374538650, 521503946
微信群:Redis中國用戶組

Q&A:

  1. Q: 客戶端需要換嗎?
    A:客戶端兼容,無需更換,使用起來跟原生redis一樣
  2. Q: worker和db的關系是什么?
    A: worker和db沒有關系, client是數據worker線程的, DB是完全獨立的
  3. Q: 后期主備會支持嗎?
    A: 以后會支持主備,集群和腳本等高級功能
  4. Q: 有沒有想過把鎖降低至key級別?
    A: 沒必要key級別的鎖
  5. Q: 死鎖問題為何不通過順序鎖定相關db來解決呢,我們的redis是分布式鎖,通過按統一的順序鎖定,就可以避免死鎖
    A: 鎖的數量會太多,你說的這個死鎖問題很好,有這樣的想法,但還沒有時間去驗證可不可行,以后可以嘗試。
  6. Q: vire和redis-cluster比起來哪個性能更好?
    A: redis-cluster是集群模式,vire是單實例,沒辦法比較性能,vire最后一個版本希望能支持到集群
  7. Q: 給我的理解vire的多個邏輯db的設計原理和redis-cluster里多個分片原理是一樣吧?
    A: 非常類似, 只不過redis-cluster里的slot是海量的,16384
  8. Q: 現在redis-cluster的解決方案是客戶端自己計算slot的位置,可以通過根據操作的讀寫類型,實現負載均衡,vire采取的多db+多worker的方案,他這樣的優勢在哪里?
    A: 主要是提升單個實例的qps能力
  9. Q: 現在的設計是全部基于內存上的?服務器宕機是不是數據全都會消失
    A: vire0.1.0版本數據全部在內存,只適合于做緩存, vire后續版本會做持久化和復制,甚至是集群
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,825評論 6 546
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,814評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,980評論 0 384
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 64,064評論 1 319
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,779評論 6 414
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,109評論 1 330
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,099評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,287評論 0 291
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,799評論 1 338
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,515評論 3 361
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,750評論 1 375
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,221評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,933評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,327評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,667評論 1 296
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,492評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,703評論 2 380

推薦閱讀更多精彩內容