1、Units單位
- 配置大小單位,開頭定義了一些基本的度量單位,只支持bytes,不支持bit
- 對大小寫不敏感
2、INCLUDES包含
- 和我們的Struts2配置文件類似,可以通過includes包含,redis.conf可以作為總閘,包含其他
3、GENERAL通用
-
daemonize
、pidfile
、port
: 參考文章末尾的通用配置。 -
tcp-backlog
:- 設(shè)置tcp的backlog,backlog其實是一個連接隊列,backlog隊列總和=未完成三次握手隊列 + 已經(jīng)完成三次握手隊列。
- 在高并發(fā)環(huán)境下你需要一個高backlog值來避免慢客戶端連接問題。注意Linux內(nèi)核會將這個值減小到/proc/sys/net/core/somaxconn的值,所以需要確認增大somaxconn和tcp_max_syn_backlog兩個值來達到想要的效果
-
tcp-keepalive
: 位為秒,如果設(shè)置為0,則不會進行Keepalive檢測,建議設(shè)置成60 -
loglevel
、logfile
: 參考文章末尾的通用配置。 -
syslog-enabled
: 是否把日志輸出到syslog中 -
syslog-ident
: 指定syslog里的日志標志 -
syslog-facility
: 指定syslog設(shè)備,值可以是USER或LOCAL0-LOCAL7 -
databases
: 參考文章末尾的通用配置。
4、SNAPSHOTTING快照
- 該配置主要用于 redis 的 RDB 持久化
-
save
-
RDB是整個內(nèi)存的壓縮過的Snapshot,RDB的數(shù)據(jù)結(jié)構(gòu),可以配置復(fù)合的快照觸發(fā)條件,默認是
- 1分鐘內(nèi)改了1萬次,
- 或5分鐘內(nèi)改了10次,
- 或15分鐘內(nèi)改了1次。
如果想禁用RDB持久化的策略,只要不設(shè)置任何save指令,或者給save傳入一個空字符串參數(shù)也可以
-
-
stop-writes-on-bgsave-error
- 如果配置成no,表示你不在乎數(shù)據(jù)不一致或者有其他的手段發(fā)現(xiàn)和控制
-
rdbcompression
- 對于存儲到磁盤中的快照,可以設(shè)置是否進行壓縮存儲。如果是的話,redis會采用LZF算法進行壓縮。如果你不想消耗CPU來進行壓縮的話,可以設(shè)置為關(guān)閉此功能
-
rdbchecksum
:- 在存儲快照后,還可以讓redis使用CRC64算法來進行數(shù)據(jù)校驗,但是這樣做會增加大約10%的性能消耗,如果希望獲取到最大的性能提升,可以關(guān)閉此功能
-
dbfilename
- 指定持久化本地數(shù)據(jù)庫文件名,默認值為dump.rdb
-
dir
- 指定持久化本地數(shù)據(jù)庫文件存放路徑, 默認為當前啟動的
dir ./
- 指定持久化本地數(shù)據(jù)庫文件存放路徑, 默認為當前啟動的
5、RDB (Redis DataBase)
-
RDB 是什么
- 在指定的時間間隔內(nèi)將內(nèi)存中的數(shù)據(jù)集快照寫入磁盤,也就是行話講的Snapshot快照,它恢復(fù)時是將快照文件直接讀到內(nèi)存里
- Redis會單獨創(chuàng)建(fork)一個子進程來進行持久化,會先將數(shù)據(jù)寫入到
一個臨時文件中,待持久化過程都結(jié)束了,再用這個臨時文件替換上次持久化好的文件。 - 整個過程中,主進程是不進行任何IO操作的,這就確保了極高的性能,如果需要進行大規(guī)模數(shù)據(jù)的恢復(fù),且對于數(shù)據(jù)恢復(fù)的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺點是最后一次持久化后的數(shù)據(jù)可能丟失。
-
Fork
- Fork的作用是復(fù)制一個與當前進程一樣的進程。新進程的所有數(shù)據(jù)(變量、環(huán)境變量、程序計數(shù)器等)數(shù)值都和原進程一致,但是是一個全新的進程,并作為原進程的子進程
RDB 保存的是dump.rdb文件
-
如何觸發(fā)RDB快照
- 使用上述的配置示例:
-
命令save或者是bgsave
- Save:save時只管保存,其它不管,全部阻塞
- BGSAVE:Redis會在后臺異步進行快照操作,快照同時還可以響應(yīng)客戶端請求。可以通過
lastsave
命令獲取最后一次成功執(zhí)行快照的時間
- 執(zhí)行flushall命令,也會產(chǎn)生dump.rdb文件,但里面是空的,無意義
-
如何恢復(fù)
- 將備份文件 (dump.rdb) 移動到 redis 啟動服務(wù)的文件夾下即可
- CONFIG GET dir 獲取目錄
-
RDB 的優(yōu)勢 和 劣勢
-
優(yōu)勢
- 適合大規(guī)模的數(shù)據(jù)恢復(fù)
- 對數(shù)據(jù)完整性和一致性要求不高
-
劣勢
- 在一定間隔時間做一次備份,所以如果redis意外down掉的話,就會丟失最后一次快照后的所有修改
- Fork的時候,內(nèi)存中的數(shù)據(jù)被克隆了一份,大致2倍的膨脹性需要考慮
-
優(yōu)勢
-
如何停止
- 動態(tài)所有停止RDB保存規(guī)則的方法:redis-cli config set save ""
-
示例:
5 分鐘內(nèi)改變了十次|center
生成的 dump_6379.rdb文件 | center
- 總結(jié)
6、主從復(fù)制 REPLICATION
行話:也就是我們所說的主從復(fù)制,主機數(shù)據(jù)更新后根據(jù)配置和策略,自動同步到備機的master/slaver機制,Master以寫為主,Slave以讀為主
-
主從復(fù)制有什么好處:
- 讀寫分離
- 容災(zāi)恢復(fù)
-
主從復(fù)制配置規(guī)則:
- 1、主庫不配從庫配
- 2、從庫配置:slaveof 主庫IP 主庫端口
- 每次與master斷開之后,都需要重新連接,除非你配置進redis.conf文件
- 3、修改配置文件細節(jié)操作(用來模擬生產(chǎn)環(huán)境)
- 拷貝多個redis.conf文件
- 開啟daemonize yes
- Pid文件名字
- 指定端口
- Log文件名字
- Dump.rdb名字
示例
-
復(fù)制多份配置文件
復(fù)制多份配置文件 | center 如果沒有在配置文件中寫死主從配置, 需要在從機客戶端啟動的時候指定
- 開啟守護進程運行
- 修改不同的端口
- 修改 pidfile
- 修改log 文件
- 修改dump.rdb 的名稱
-
測試:
主從賦值測試 | center
主從賦值測試 | center
-
常用3招
-
一主二仆
- 一個Master兩個Slave
-
薪火相傳(形成鏈狀)
- 上一個Slave可以是下一個slave的Master,Slave同樣可以接收其他 slaves 的連接和同步請求,那么該slave作為了鏈條中下一個的master, 可以有效減輕master的寫壓力
- 中途變更轉(zhuǎn)向:會清除之前的數(shù)據(jù),重新建立拷貝最新的
- Slaveof 新主庫IP 新主庫端口
-
反客為主
- SLAVEOF no one: 使當前數(shù)據(jù)庫停止與其他數(shù)據(jù)庫的同步,轉(zhuǎn)成主數(shù)據(jù)庫
-
一主二仆
-
復(fù)制原理
- Slave啟動成功連接到master后會發(fā)送一個sync命令
- Master接到命令啟動后臺的存盤進程,同時收集所有接收到的用于修改數(shù)據(jù)集命令,在后臺進程執(zhí)行完畢之后,master將傳送整個數(shù)據(jù)文件到slave,以完成一次完全同步
- 全量復(fù)制:而slave服務(wù)在接收到數(shù)據(jù)庫文件數(shù)據(jù)后,將其存盤并加載到內(nèi)存中。
- 增量復(fù)制:Master繼續(xù)將新的所有收集到的修改命令依次傳給slave,完成同步
- 但是只要是重新連接master,一次完全同步(全量復(fù)制)將被自動執(zhí)行
-
哨兵模式(
sentinel
)- 哨兵模式是什么: 反客為主的自動版,能夠后臺監(jiān)控主機是否故障,如果故障了根據(jù)投票數(shù)自動將從庫轉(zhuǎn)換為主庫
- 怎么使用:
- 調(diào)整結(jié)構(gòu),6379帶著80、81
-
/usr/common
目錄下新建sentinel.conf
文件,名字絕不能錯 - 配置哨兵,填寫內(nèi)容:
- sentinel monitor 被監(jiān)控數(shù)據(jù)庫名字(自己起名字) 127.0.0.1 6379 1
- 上面最后一個數(shù)字1,表示主機掛掉后salve投票看讓誰接替成為主機,得票數(shù)多少后成為主機
- 啟動哨兵模式
Redis-sentinel /usr/common/sentinel.conf
- 問題:如果之前的master重啟回來,會不會雙master沖突?
- 不會,會變成從機
一組sentinel能同時監(jiān)控多個Master
-
復(fù)制的缺點
- 由于所有的寫操作都是先在Master上操作,然后同步更新到Slave上,所以從Master同步到Slave機器有一定的延遲,當系統(tǒng)很繁忙的時候,延遲問題會更加嚴重,Slave機器數(shù)量的增加也會使這個問題更加嚴重。
9 、常見配置redis.conf介紹
-
參數(shù)說明
-
redis.conf 配置項說明如下:
Redis默認不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程
daemonize no
當Redis以守護進程方式運行時,Redis默認會把pid寫入/var/run/redis.pid文件,可以通過pidfile指定
pidfile /var/run/redis.pid
指定Redis監(jiān)聽端口,默認端口為6379,作者在自己的一篇博文中解釋了為什么選用6379作為默認端口,因為6379在手機按鍵上MERZ對應(yīng)的號碼,而MERZ取自意大利歌女Alessia Merz的名字
port 6379
綁定的主機地址
bind 127.0.0.1
當 客戶端閑置多長時間后關(guān)閉連接,如果指定為0,表示關(guān)閉該功能
timeout 300
指定日志記錄級別,Redis總共支持四個級別:debug、verbose、notice、warning,默認為verbose
loglevel verbose
日志記錄方式,默認為標準輸出,如果配置Redis為守護進程方式運行,而這里又配置為日志記錄方式為標準輸出,則日志將會發(fā)送給/dev/null
logfile stdout
設(shè)置數(shù)據(jù)庫的數(shù)量,默認數(shù)據(jù)庫為0,可以使用SELECT <dbid>命令在連接上指定數(shù)據(jù)庫id
databases 16
指定在多長時間內(nèi),有多少次更新操作,就將數(shù)據(jù)同步到數(shù)據(jù)文件,可以多個條件配合
save <seconds> <changes>
Redis默認配置文件中提供了三個條件:
save 900 1
save 300 10
save 60 10000
分別表示900秒(15分鐘)內(nèi)有1個更改,300秒(5分鐘)內(nèi)有10個更改以及60秒內(nèi)有10000個更改。指定存儲至本地數(shù)據(jù)庫時是否壓縮數(shù)據(jù),默認為yes,Redis采用LZF壓縮,如果為了節(jié)省CPU時間,可以關(guān)閉該選項,但會導(dǎo)致數(shù)據(jù)庫文件變的巨大
rdbcompression yes
指定本地數(shù)據(jù)庫文件名,默認值為dump.rdb
dbfilename dump.rdb
指定本地數(shù)據(jù)庫存放目錄
dir ./
設(shè)置當本機為slav服務(wù)時,設(shè)置master服務(wù)的IP地址及端口,在Redis啟動時,它會自動從master進行數(shù)據(jù)同步
slaveof <masterip> <masterport>
當master服務(wù)設(shè)置了密碼保護時,slav服務(wù)連接master的密碼
masterauth <master-password>
設(shè)置Redis連接密碼,如果配置了連接密碼,客戶端在連接Redis時需要通過AUTH
<password>
命令提供密碼,默認關(guān)閉
requirepass foobared
設(shè)置同一時間最大客戶端連接數(shù),默認無限制,Redis可以同時打開的客戶端連接數(shù)為Redis進程可以打開的最大文件描述符數(shù),如果設(shè)置 maxclients 0,表示不作限制。當客戶端連接數(shù)到達限制時,Redis會關(guān)閉新的連接并向客戶端返回max number of clients reached錯誤信息
maxclients 128
指定Redis最大內(nèi)存限制,Redis在啟動時會把數(shù)據(jù)加載到內(nèi)存中,達到最大內(nèi)存后,Redis會先嘗試清除已到期或即將到期的Key,當此方法處理 后,仍然到達最大內(nèi)存設(shè)置,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放內(nèi)存,Value會存放在swap區(qū)
maxmemory <bytes>
指定是否在每次更新操作后進行日志記錄,Redis在默認情況下是異步的把數(shù)據(jù)寫入磁盤,如果不開啟,可能會在斷電時導(dǎo)致一段時間內(nèi)的數(shù)據(jù)丟失。因為 redis本身同步數(shù)據(jù)文件是按上面save條件來同步的,所以有的數(shù)據(jù)會在一段時間內(nèi)只存在于內(nèi)存中。默認為no
appendonly no
指定更新日志文件名,默認為appendonly.aof
appendfilename appendonly.aof
指定更新日志條件,共有3個可選值:
no:表示等操作系統(tǒng)進行數(shù)據(jù)緩存同步到磁盤(快)
always:表示每次更新操作后手動調(diào)用fsync()將數(shù)據(jù)寫到磁盤(慢,安全)
everysec:表示每秒同步一次(折衷,默認值)
appendfsync everysec指定是否啟用虛擬內(nèi)存機制,默認值為no,簡單的介紹一下,VM機制將數(shù)據(jù)分頁存放,由Redis將訪問量較少的頁即冷數(shù)據(jù)swap到磁盤上,訪問多的頁面由磁盤自動換出到內(nèi)存中(在后面的文章我會仔細分析Redis的VM機制)
vm-enabled no
虛擬內(nèi)存文件路徑,默認值為/tmp/redis.swap,不可多個Redis實例共享
vm-swap-file /tmp/redis.swap
將所有大于vm-max-memory的數(shù)據(jù)存入虛擬內(nèi)存,無論vm-max-memory設(shè)置多小,所有索引數(shù)據(jù)都是內(nèi)存存儲的(Redis的索引數(shù)據(jù) 就是keys),也就是說,當vm-max-memory設(shè)置為0的時候,其實是所有value都存在于磁盤。默認值為0
vm-max-memory 0
Redis swap文件分成了很多的page,一個對象可以保存在多個page上面,但一個page上不能被多個對象共享,vm-page-size是要根據(jù)存儲的 數(shù)據(jù)大小來設(shè)定的,作者建議如果存儲很多小對象,page大小最好設(shè)置為32或者64bytes;如果存儲很大大對象,則可以使用更大的page,如果不 確定,就使用默認值
vm-page-size 32
設(shè)置swap文件中的page數(shù)量,由于頁表(一種表示頁面空閑或使用的bitmap)是在放在內(nèi)存中的,,在磁盤上每8個pages將消耗1byte的內(nèi)存。
vm-pages 134217728
設(shè)置訪問swap文件的線程數(shù),最好不要超過機器的核數(shù),如果設(shè)置為0,那么所有對swap文件的操作都是串行的,可能會造成比較長時間的延遲。默認值為4
vm-max-threads 4
設(shè)置在向客戶端應(yīng)答時,是否把較小的包合并為一個包發(fā)送,默認為開啟
glueoutputbuf yes
指定在超過一定的數(shù)量或者最大的元素超過某一臨界值時,采用一種特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
指定是否激活重置哈希,默認為開啟(后面在介紹Redis的哈希算法時具體介紹)
activerehashing yes
指定包含其它的配置文件,可以在同一主機上多個Redis實例之間使用同一份配置文件,而同時各個實例又擁有自己的特定配置文件
include /path/to/local.conf
-
redis.conf 配置項說明如下: