4、解析配置文件 redis.conf、Redis持久化RDB、Redis的主從復(fù)制


1、Units單位

Units 單位 | center
  1. 配置大小單位,開頭定義了一些基本的度量單位,只支持bytes,不支持bit
  2. 對大小寫不敏感

2、INCLUDES包含

INCLUDES包含 | center
  • 和我們的Struts2配置文件類似,可以通過includes包含,redis.conf可以作為總閘,包含其他

3、GENERAL通用

  • daemonizepidfileport : 參考文章末尾的通用配置。
  • tcp-backlog:
    • 設(shè)置tcp的backlog,backlog其實是一個連接隊列,backlog隊列總和=未完成三次握手隊列 + 已經(jīng)完成三次握手隊列。
    • 在高并發(fā)環(huán)境下你需要一個高backlog值來避免慢客戶端連接問題。注意Linux內(nèi)核會將這個值減小到/proc/sys/net/core/somaxconn的值,所以需要確認增大somaxconn和tcp_max_syn_backlog兩個值來達到想要的效果
  • tcp-keepalive: 位為秒,如果設(shè)置為0,則不會進行Keepalive檢測,建議設(shè)置成60
  • loglevellogfile: 參考文章末尾的通用配置。
  • syslog-enabled: 是否把日志輸出到syslog中
  • syslog-ident: 指定syslog里的日志標志
  • syslog-facility: 指定syslog設(shè)備,值可以是USER或LOCAL0-LOCAL7
  • databases : 參考文章末尾的通用配置。

4、SNAPSHOTTING快照

  • 該配置主要用于 redis 的 RDB 持久化
SNAPSHOTTING 快照 | center

SNAPSHOTTING 快照 | center
  • save
    • RDB是整個內(nèi)存的壓縮過的Snapshot,RDB的數(shù)據(jù)結(jié)構(gòu),可以配置復(fù)合的快照觸發(fā)條件,默認是

      • 1分鐘內(nèi)改了1萬次,
      • 或5分鐘內(nèi)改了10次,
      • 或15分鐘內(nèi)改了1次。
    • 如果想禁用RDB持久化的策略,只要不設(shè)置任何save指令,或者給save傳入一個空字符串參數(shù)也可以

stop-writes-on-bgsave-error | center
  • stop-writes-on-bgsave-error
    • 如果配置成no,表示你不在乎數(shù)據(jù)不一致或者有其他的手段發(fā)現(xiàn)和控制
rdbcompression | center
  • rdbcompression
    • 對于存儲到磁盤中的快照,可以設(shè)置是否進行壓縮存儲。如果是的話,redis會采用LZF算法進行壓縮。如果你不想消耗CPU來進行壓縮的話,可以設(shè)置為關(guān)閉此功能
rdbchecksum | center
  • rdbchecksum

    • 在存儲快照后,還可以讓redis使用CRC64算法來進行數(shù)據(jù)校驗,但是這樣做會增加大約10%的性能消耗,如果希望獲取到最大的性能提升,可以關(guān)閉此功能
  • dbfilename

    • 指定持久化本地數(shù)據(jù)庫文件名,默認值為dump.rdb
  • dir

    • 指定持久化本地數(shù)據(jù)庫文件存放路徑, 默認為當前啟動的 dir ./

5、RDB (Redis DataBase)

  • RDB 是什么

    • 在指定的時間間隔內(nèi)將內(nèi)存中的數(shù)據(jù)集快照寫入磁盤,也就是行話講的Snapshot快照,它恢復(fù)時是將快照文件直接讀到內(nèi)存里
    • Redis會單獨創(chuàng)建(fork)一個子進程來進行持久化,會先將數(shù)據(jù)寫入到
      一個臨時文件中,待持久化過程都結(jié)束了,再用這個臨時文件替換上次持久化好的文件。
    • 整個過程中,主進程是不進行任何IO操作的,這就確保了極高的性能,如果需要進行大規(guī)模數(shù)據(jù)的恢復(fù),且對于數(shù)據(jù)恢復(fù)的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺點是最后一次持久化后的數(shù)據(jù)可能丟失。
  • Fork

    • Fork的作用是復(fù)制一個與當前進程一樣的進程。新進程的所有數(shù)據(jù)(變量、環(huán)境變量、程序計數(shù)器等)數(shù)值都和原進程一致,但是是一個全新的進程,并作為原進程的子進程
  • RDB 保存的是dump.rdb文件

  • 如何觸發(fā)RDB快照

    • 使用上述的配置示例:
    • 命令save或者是bgsave
      • Save:save時只管保存,其它不管,全部阻塞
      • BGSAVE:Redis會在后臺異步進行快照操作,快照同時還可以響應(yīng)客戶端請求。可以通過 lastsave 命令獲取最后一次成功執(zhí)行快照的時間
    • 執(zhí)行flushall命令,也會產(chǎn)生dump.rdb文件,但里面是空的,無意義
  • 如何恢復(fù)

    • 將備份文件 (dump.rdb) 移動到 redis 啟動服務(wù)的文件夾下即可
    • CONFIG GET dir 獲取目錄
  • RDB 的優(yōu)勢 和 劣勢

    • 優(yōu)勢
      • 適合大規(guī)模的數(shù)據(jù)恢復(fù)
      • 對數(shù)據(jù)完整性和一致性要求不高
    • 劣勢
      • 在一定間隔時間做一次備份,所以如果redis意外down掉的話,就會丟失最后一次快照后的所有修改
      • Fork的時候,內(nèi)存中的數(shù)據(jù)被克隆了一份,大致2倍的膨脹性需要考慮
  • 如何停止

    • 動態(tài)所有停止RDB保存規(guī)則的方法:redis-cli config set save ""
  • 示例:

    5 分鐘內(nèi)改變了十次|center

    生成的 dump_6379.rdb文件 | center

  • 總結(jié)
RDB 總結(jié) | center

6、主從復(fù)制 REPLICATION

  • 行話:也就是我們所說的主從復(fù)制,主機數(shù)據(jù)更新后根據(jù)配置和策略,自動同步到備機的master/slaver機制,Master以寫為主,Slave以讀為主

  • 主從復(fù)制有什么好處:

    • 讀寫分離
    • 容災(zāi)恢復(fù)
  • 主從復(fù)制配置規(guī)則:

    • 1、主庫不配從庫配
    • 2、從庫配置:slaveof 主庫IP 主庫端口
      • 每次與master斷開之后,都需要重新連接,除非你配置進redis.conf文件
    • 3、修改配置文件細節(jié)操作(用來模擬生產(chǎn)環(huán)境)
      • 拷貝多個redis.conf文件
      • 開啟daemonize yes
      • Pid文件名字
      • 指定端口
      • Log文件名字
      • Dump.rdb名字
  • 示例

  • 復(fù)制多份配置文件


    復(fù)制多份配置文件 | center
  • 如果沒有在配置文件中寫死主從配置, 需要在從機客戶端啟動的時候指定

主從配置的位置 | center
  • 開啟守護進程運行
開啟守護進程運行 | center
  • 修改不同的端口
6380 | center

6381 | center
  • 修改 pidfile
pidfile | center
  • 修改log 文件
log | center
  • 修改dump.rdb 的名稱
修改dump.rdb 的名稱 | center
  • 測試:


    主從賦值測試 | center

    主從賦值測試 | center
  • 常用3招
    • 一主二仆
      • 一個Master兩個Slave
    • 薪火相傳(形成鏈狀)
      • 上一個Slave可以是下一個slave的Master,Slave同樣可以接收其他 slaves 的連接和同步請求,那么該slave作為了鏈條中下一個的master, 可以有效減輕master的寫壓力
      • 中途變更轉(zhuǎn)向:會清除之前的數(shù)據(jù),重新建立拷貝最新的
      • Slaveof 新主庫IP 新主庫端口
    • 反客為主
      • SLAVEOF no one: 使當前數(shù)據(jù)庫停止與其他數(shù)據(jù)庫的同步,轉(zhuǎn)成主數(shù)據(jù)庫
  • 復(fù)制原理

    • Slave啟動成功連接到master后會發(fā)送一個sync命令
    • Master接到命令啟動后臺的存盤進程,同時收集所有接收到的用于修改數(shù)據(jù)集命令,在后臺進程執(zhí)行完畢之后,master將傳送整個數(shù)據(jù)文件到slave,以完成一次完全同步
    • 全量復(fù)制:而slave服務(wù)在接收到數(shù)據(jù)庫文件數(shù)據(jù)后,將其存盤并加載到內(nèi)存中。
    • 增量復(fù)制:Master繼續(xù)將新的所有收集到的修改命令依次傳給slave,完成同步
    • 但是只要是重新連接master,一次完全同步(全量復(fù)制)將被自動執(zhí)行
  • 哨兵模式(sentinel)

    • 哨兵模式是什么: 反客為主的自動版,能夠后臺監(jiān)控主機是否故障,如果故障了根據(jù)投票數(shù)自動將從庫轉(zhuǎn)換為主庫
    • 怎么使用:
      • 調(diào)整結(jié)構(gòu),6379帶著80、81
      • /usr/common目錄下新建sentinel.conf文件,名字絕不能錯
      • 配置哨兵,填寫內(nèi)容:
        • sentinel monitor 被監(jiān)控數(shù)據(jù)庫名字(自己起名字) 127.0.0.1 6379 1
        • 上面最后一個數(shù)字1,表示主機掛掉后salve投票看讓誰接替成為主機,得票數(shù)多少后成為主機
      • 啟動哨兵模式
        • Redis-sentinel /usr/common/sentinel.conf
      • 問題:如果之前的master重啟回來,會不會雙master沖突?
        • 不會,會變成從機
      • 一組sentinel能同時監(jiān)控多個Master
  • 復(fù)制的缺點

    • 由于所有的寫操作都是先在Master上操作,然后同步更新到Slave上,所以從Master同步到Slave機器有一定的延遲,當系統(tǒng)很繁忙的時候,延遲問題會更加嚴重,Slave機器數(shù)量的增加也會使這個問題更加嚴重。

9 、常見配置redis.conf介紹

  • 參數(shù)說明
    • redis.conf 配置項說明如下
      1. Redis默認不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程
        daemonize no

      2. 當Redis以守護進程方式運行時,Redis默認會把pid寫入/var/run/redis.pid文件,可以通過pidfile指定
        pidfile /var/run/redis.pid

      3. 指定Redis監(jiān)聽端口,默認端口為6379,作者在自己的一篇博文中解釋了為什么選用6379作為默認端口,因為6379在手機按鍵上MERZ對應(yīng)的號碼,而MERZ取自意大利歌女Alessia Merz的名字
        port 6379

      4. 綁定的主機地址
        bind 127.0.0.1

      5. 當 客戶端閑置多長時間后關(guān)閉連接,如果指定為0,表示關(guān)閉該功能
        timeout 300

      6. 指定日志記錄級別,Redis總共支持四個級別:debug、verbose、notice、warning,默認為verbose
        loglevel verbose

      7. 日志記錄方式,默認為標準輸出,如果配置Redis為守護進程方式運行,而這里又配置為日志記錄方式為標準輸出,則日志將會發(fā)送給/dev/null
        logfile stdout

      8. 設(shè)置數(shù)據(jù)庫的數(shù)量,默認數(shù)據(jù)庫為0,可以使用SELECT <dbid>命令在連接上指定數(shù)據(jù)庫id
        databases 16

      9. 指定在多長時間內(nèi),有多少次更新操作,就將數(shù)據(jù)同步到數(shù)據(jù)文件,可以多個條件配合
        save <seconds> <changes>
        Redis默認配置文件中提供了三個條件:
        save 900 1
        save 300 10
        save 60 10000
        分別表示900秒(15分鐘)內(nèi)有1個更改,300秒(5分鐘)內(nèi)有10個更改以及60秒內(nèi)有10000個更改。

      10. 指定存儲至本地數(shù)據(jù)庫時是否壓縮數(shù)據(jù),默認為yes,Redis采用LZF壓縮,如果為了節(jié)省CPU時間,可以關(guān)閉該選項,但會導(dǎo)致數(shù)據(jù)庫文件變的巨大
        rdbcompression yes

      11. 指定本地數(shù)據(jù)庫文件名,默認值為dump.rdb
        dbfilename dump.rdb

      12. 指定本地數(shù)據(jù)庫存放目錄
        dir ./

      13. 設(shè)置當本機為slav服務(wù)時,設(shè)置master服務(wù)的IP地址及端口,在Redis啟動時,它會自動從master進行數(shù)據(jù)同步
        slaveof <masterip> <masterport>

      14. 當master服務(wù)設(shè)置了密碼保護時,slav服務(wù)連接master的密碼
        masterauth <master-password>

      15. 設(shè)置Redis連接密碼,如果配置了連接密碼,客戶端在連接Redis時需要通過AUTH <password>命令提供密碼,默認關(guān)閉
        requirepass foobared

      16. 設(shè)置同一時間最大客戶端連接數(shù),默認無限制,Redis可以同時打開的客戶端連接數(shù)為Redis進程可以打開的最大文件描述符數(shù),如果設(shè)置 maxclients 0,表示不作限制。當客戶端連接數(shù)到達限制時,Redis會關(guān)閉新的連接并向客戶端返回max number of clients reached錯誤信息
        maxclients 128

      17. 指定Redis最大內(nèi)存限制,Redis在啟動時會把數(shù)據(jù)加載到內(nèi)存中,達到最大內(nèi)存后,Redis會先嘗試清除已到期或即將到期的Key,當此方法處理 后,仍然到達最大內(nèi)存設(shè)置,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放內(nèi)存,Value會存放在swap區(qū)
        maxmemory <bytes>

      18. 指定是否在每次更新操作后進行日志記錄,Redis在默認情況下是異步的把數(shù)據(jù)寫入磁盤,如果不開啟,可能會在斷電時導(dǎo)致一段時間內(nèi)的數(shù)據(jù)丟失。因為 redis本身同步數(shù)據(jù)文件是按上面save條件來同步的,所以有的數(shù)據(jù)會在一段時間內(nèi)只存在于內(nèi)存中。默認為no
        appendonly no

      19. 指定更新日志文件名,默認為appendonly.aof
        appendfilename appendonly.aof

      20. 指定更新日志條件,共有3個可選值:
        no:表示等操作系統(tǒng)進行數(shù)據(jù)緩存同步到磁盤(快)
        always:表示每次更新操作后手動調(diào)用fsync()將數(shù)據(jù)寫到磁盤(慢,安全)
        everysec:表示每秒同步一次(折衷,默認值)
        appendfsync everysec

      21. 指定是否啟用虛擬內(nèi)存機制,默認值為no,簡單的介紹一下,VM機制將數(shù)據(jù)分頁存放,由Redis將訪問量較少的頁即冷數(shù)據(jù)swap到磁盤上,訪問多的頁面由磁盤自動換出到內(nèi)存中(在后面的文章我會仔細分析Redis的VM機制)
        vm-enabled no

      22. 虛擬內(nèi)存文件路徑,默認值為/tmp/redis.swap,不可多個Redis實例共享
        vm-swap-file /tmp/redis.swap

      23. 將所有大于vm-max-memory的數(shù)據(jù)存入虛擬內(nèi)存,無論vm-max-memory設(shè)置多小,所有索引數(shù)據(jù)都是內(nèi)存存儲的(Redis的索引數(shù)據(jù) 就是keys),也就是說,當vm-max-memory設(shè)置為0的時候,其實是所有value都存在于磁盤。默認值為0
        vm-max-memory 0

      24. Redis swap文件分成了很多的page,一個對象可以保存在多個page上面,但一個page上不能被多個對象共享,vm-page-size是要根據(jù)存儲的 數(shù)據(jù)大小來設(shè)定的,作者建議如果存儲很多小對象,page大小最好設(shè)置為32或者64bytes;如果存儲很大大對象,則可以使用更大的page,如果不 確定,就使用默認值
        vm-page-size 32

      25. 設(shè)置swap文件中的page數(shù)量,由于頁表(一種表示頁面空閑或使用的bitmap)是在放在內(nèi)存中的,,在磁盤上每8個pages將消耗1byte的內(nèi)存。
        vm-pages 134217728

      26. 設(shè)置訪問swap文件的線程數(shù),最好不要超過機器的核數(shù),如果設(shè)置為0,那么所有對swap文件的操作都是串行的,可能會造成比較長時間的延遲。默認值為4
        vm-max-threads 4

      27. 設(shè)置在向客戶端應(yīng)答時,是否把較小的包合并為一個包發(fā)送,默認為開啟
        glueoutputbuf yes

      28. 指定在超過一定的數(shù)量或者最大的元素超過某一臨界值時,采用一種特殊的哈希算法
        hash-max-zipmap-entries 64
        hash-max-zipmap-value 512

      29. 指定是否激活重置哈希,默認為開啟(后面在介紹Redis的哈希算法時具體介紹)
        activerehashing yes

      30. 指定包含其它的配置文件,可以在同一主機上多個Redis實例之間使用同一份配置文件,而同時各個實例又擁有自己的特定配置文件
        include /path/to/local.conf

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容