redis 常見問題一

什么是Redis?

  • Redis 是一個開源(BSD許可)的,內存中的數據結構存儲系統,它可以用作數據庫、緩存和消息中間件。 它支持多種類型的數據結構。
  • 性能非常出色,每秒可以處理超過 10萬次讀寫操作,是已知性能最快的Key-Value DB。
  • 它支持多種類型的數據結構。 Redis 內置了 復制,LUA腳本, LRU驅動事件,事務 和磁盤持久化, 并提供高可用性能力。
  • 單個value的最大限制是1GB。
  • 對存入的Key-Value設置expire時間,因此也可以被當作一 個功能加強版的Memcached來用。
  • Redis的主要缺點是數據庫容量受到物理內存的限制,不能用作海量數據的高性能讀寫,因此Redis適合的場景主要局限在較小數據量的高性能操作和運算上。

Redis相比Memcached有哪些優勢?

1 網絡IO模型

Memcached是多線程非阻塞IO復用的網絡模型,多線程模型可以發揮多核作用,但是引入了cache coherency和鎖的問題。

redis使用單線程的IO復用模型,,但一些簡單的計算功能,比如排序、聚合等,單線程模型施加會嚴重影響整體吞吐量,CPU計算過程中,整個IO調度都是被阻塞的。 redis 利用隊列技術將并發訪問變為串行訪問, 消除了傳統數據庫串行控制的開銷。

2 數據類型支持不同

Memcached使用key-value形式存儲和訪問數據,在內存中維護一張巨大的HashTable,使得對數據查詢的時間復雜度降低到O(1),保證了對數據的高性能訪問。

redis支持的數據類型要豐富得多。最為常用的數據類型主要由五種:String、Hash、List、Set和Sorted Set。

3 內存管理機制不同

Memcached使用預分配的內存池的方式,使用slab和大小不同的chunk來管理內存,Item根據大小選擇合適的chunk存儲,內存池的方式可以省去申請/釋放內存的開銷,并且能減小內存碎片產生,但這種方式也會帶來一定程度上的空間浪費。

redis使用現場申請內存的方式來存儲數據,并且很少使用free-list等方式來優化內存分配,會在一定程度上存在內存碎片,Redis跟據存儲命令參數,會把帶過期時間的數據單獨存放在一起,并把它們稱為臨時數據,非臨時數據是永遠不會被剔除的。

4 數據持久化支持

Redis是基于內存的存儲系統,但是它支持內存數據的持久化的,而且提供兩種主要的持久化策略(RDB快照和AOF日志)。

Memcached是不支持數據持久化操作的。

數據一致性問題

Memcached提供了cas命令,可以保證多個并發訪問操作同一份數據的一致性問題。

redis沒有提供cas 命令,不過Redis提供了事務的功能。

集群管理方式不同

Memcached本身并不支持分布式,只能在客戶端通過像一致性哈希這樣的分布式算法來實現Memcached的分布式存儲。當客戶端向Memcached集群發送和獲取數據,都要自己計算出查詢數據所在的節點。

Redis已經支持了分布式存儲功能。Redis Cluster是一個實現了分布式且允許單點故障的Redis高級版本,它沒有中心節點,具有線性可伸縮的功能。節點與節點之間通過二進制協議進行通信,節點與客戶端之間通過ascii協議進行通信。當前Redis Cluster支持的最大節點數就是4096。Redis Cluster使用的分布式算法也很簡單:crc16( key ) % HASH_SLOTS_NUMBER。Redis Cluster引入了Master節點和Slave節點。


Redis支持哪幾種數據類型?

String、List、Set、Sorted Set、hashes

HyperLogLog、Geo、Pub/Sub

Redis Module,像 BloomFilter,RedisSearch,Redis-ML


Redis主要消耗什么物理資源?

redis是內存中的數據結構存儲系統,主要依賴于內存。


Redis的全稱是什么?

Remote Dictionary Server 遠程字典服務


Redis有哪幾種數據淘汰策略?

  • noeviction:返回錯誤當內存限制達到并且客戶端嘗試執行會讓更多內存被使用的命令(大部分的寫入指令,但DEL和幾個例外)
  • allkeys-lru: 嘗試回收最少使用的鍵(LRU),使得新添加的數據有空間存放。
  • volatile-lru: 嘗試回收最少使用的鍵(LRU),但僅限于在過期集合的鍵,使得新添加的數據有空間存放。
  • allkeys-random: 回收隨機的鍵使得新添加的數據有空間存放。
  • volatile-random: 回收隨機的鍵使得新添加的數據有空間存放,但僅限于在過期集合的鍵。
  • volatile-ttl: 回收在過期集合的鍵,并且優先回收存活時間(TTL)較短的鍵,使得新添加的數據有空間存放。

一個字符串類型的值能存儲最大容量是多少?

512M


為什么Redis需要把所有數據放到內存中?

為了達到最快的讀寫速度將數據都讀到內存中,并通過異步的方式將數據寫入磁盤。所以redis具有快速和數據持久化的特征。如果不將數據放在內存中,磁盤I/O速度為嚴重影響redis的性能。

Redis集群方案應該怎么做?都有哪些方案?

1.twemproxy,大概概念是,它類似于一個代理方式,使用方法和普通redis無任何區別,設置好它下屬的多個redis實例后,使用時在本需要連接redis的地方改為連接twemproxy,它會以一個代理的身份接收請求并使用一致性hash算法,將請求轉接到具體redis,將結果再返回twemproxy。使用方式簡便(相對redis只需修改連接端口),對舊項目擴展的首選。 問題:twemproxy自身單端口實例的壓力,使用一致性hash后,對redis節點數量改變時候的計算值的改變,數據無法自動移動到新的節點。

2.codis,目前用的最多的集群方案,基本和twemproxy一致的效果,但它支持在 節點數量改變情況下,舊節點數據可恢復到新hash節點。

3.redis cluster3.0自帶的集群,特點在于他的分布式算法不是一致性hash,而是hash槽的概念,以及自身支持節點設置從節點。

4.在業務代碼層實現。


Redis集群方案什么情況下會導致整個集群不可用?

有A,B,C三個節點的集群,在沒有復制模型的情況下,如果節點B失敗了,那么整個集群就會以為缺少5501-11000這個范圍的槽而不可用。


MySQL里有2000w數據,redis中只存20w的數據,如何保證redis中的數據都是熱點數據?

redis內存數據集大小上升到一定大小的時候,就會施行數據淘汰策略。


Redis有哪些適合的場景?

緩存

  • 原生字符串:簡單直觀。但占用過多的鍵,內存占用較大,信息內聚性比較差,數據塊大不推薦。
  • 序列化字符串:簡化編程,合理使用可以提高內存的使用效率。但序列化和反序列化有一定的開銷。
  • 哈希:簡單直觀,如果使用合理可以減少內存空間的使用。但要控制哈希在ziplist和hashtable兩種內部編碼的轉換,hashtable會消耗更多內存。

自增ID

用來處理相關的發號業務,例如分布式業務場景中的的自增ID,短鏈系統的id發號器等。

計數器

  • 動態計數:例如 點贊數,評論數,收藏數,瀏覽數 等。
  • 靜態計數: 多維度的數據統計,例如每月,每周,每時的一些動態數據。也可跨語言取數,例如c++語言通過自定義規則統計定點數據將結果存入redis,然后通過php去取數。如果你有elk等一些成熟且部門推薦的技術棧,那也是極好的的。

session共享

分布式結構下,將用戶的Session進行集中管理,每次用戶更新或查詢登陸信息都直接從Redis中獲取。

session集中式管理,不受應用數量影響。很容易實現單點登入登出。

限速或者頻率訪問限制

例如: set u100:code 123456 ex 600

驗證碼,郵件等接口訪問頻率限制指定描述,防止接口被頻繁訪問。

也可以用來做簡單的api限速(INCR + EXPIRE

分布式鎖

分布式環境,不同的系統或同一個系統的不同主機之間共享了資源時,就需要互斥來防止彼此干擾來保證一致性。

例如單機多進程消費task,布式多任務處理等。

消息隊列

redis實現消息隊列與專有的MQ消息中間件相比,沒有高級特性,ACK保證等。

但在日常的簡單業務中,異步處理,應用層解耦,消息通訊,redis都是可以滿足。

  • pub/sub,訂閱/發布模式
  • 基于stream類型的實現(redis 5.0+)
  • lpush+rpop / rpush+lpop / lpush + brpop = Message Queue(消息隊列)

當然list還提供其他的場景,自行選擇

  • lpush + lpop = Stack(棧)
  • lpush + rpop = Queue(隊列)
  • lpush + ltrim = Capped Collection(有限集合)

獨立數據統計

利用集合當中元素不唯一性,可以快速實時統計唯一性的數據。例如:統計網站的獨立IP。

SADD ip 192.168.1.100 
SADD ip 192.168.1.101
SADD ip 192.168.1.102
SADD ip 192.168.1.100
SADD ip 192.168.1.101


128.127.0.0.1:6379> SMEMBERS ip
1) "192.168.1.100"
2) "192.168.1.102"
3) "192.168.1.101"

交集數據統計

共同好友列表,共同愛好等。例如統計喜歡的編程語言。

sadd u:1 php java golang 
sadd u:2 java php golang
sadd u:3 java php node

127.0.0.1:6379> sinter u:1 u:3
1) "java"
2) "php"

權重排行

有序集合的元素都會關聯一個score,所以我們可以將其使用在一些權重場景。

例如排行榜,積分榜。甚至瀑布流,產品推薦,廣告排行等。

基數統計

這里的技術統計和上面的唯一性統計是有不同的。
這里的基數統計,是利用Redis 在 2.8.9 版本添加了 HyperLogLog 結構。

  • 消耗空間極小,支持海量的數據統計。
  • 統計的結果是一個帶有 0.81% 標準錯誤(standard error)的近似值。
  • 每個hyperloglog key占用了12K的內存用于標記基數
  • redis 對 HyperLogLog 的存儲進行了優化,在計數比較小時,它的存儲空間采用稀疏矩陣存儲,空間占用很小,僅僅在計數慢慢變大,稀疏矩陣占用空間漸漸超過了閾值時才會一次性轉變成稠密矩陣,才會占用 12k 的空間
pfadd access_ip '192.168.1.200' '192.168.1.201' '192.168.1.220' '192.168.1.203'

pfcount access_ip
(integer) 4

地理位置應用

Redis 在 3.2 版本實現了一個地理位置計算的特性。例如測量兩個城市的距離。

geoadd cn_city 116.405285 39.904989 beijing
geoadd cn_city 121.472644 31.231706 shanghai

geodist cn_city beijing shanghai km
"1067.5980"

發布/訂閱

pub/sub 是 Redis 內置的一個非常強大的特性。

發布訂閱模式。改變了以往的pull模型,改為服務端主動push,客戶端進行訂閱消費。

我們可根據這個特性,創建實時的聊天系統,系統通知。當然也可以做通訊模型,來規劃系統架構。


Redis如何設置密碼及驗證密碼?

設置密碼:config set requirepass 123456

授權密碼:auth 123456


Redis集群的主從復制模型是怎樣的?

為了使在部分節點失敗或者大部分節點無法通信的情況下集群仍然可用,所以集群使用了主從復制模型,每個節點都會有N-1個復制品.


Redis集群會有寫操作丟失嗎?為什么?

Redis并不能保證數據的強一致性,這意味這在實際中集群在特定的條件下可能會丟失寫操作。


Redis集群之間是如何復制的?

異步復制


Redis集群最大節點個數是多少?

16384個


Redis集群如何選擇數據庫?

Redis集群目前無法做數據庫選擇,默認在0數據庫。


怎么測試Redis的連通性?

ping


Redis中的管道有什么用?

一次請求/響應服務器能實現處理新的請求即使舊的請求還未被響應。這樣就可以將多個命令發送到服務器,而不用等待回復,最后在一個步驟中讀取該答復。


怎么理解Redis事務?

事務是一個單獨的隔離操作:事務中的所有命令都會序列化、按順序地執行。事務在執行的過程中,不會被其他客戶端發送來的命令請求所打斷。

事務是一個原子操作:事務中的命令要么全部被執行,要么全部都不執行。


Redis事務相關的命令有哪幾個?

MULTI、EXEC、DISCARD、WATCH


Redis key的過期時間和永久有效分別怎么設置?

EXPIRE和PERSIST命令。


Redis回收進程如何工作的?

客戶端運行了新的命令,添加了新的數據。Redi檢查內存使用情況,如果大于maxmemory的限制, 則根據設定好的策略進行回收。


Redis回收使用的是什么算法?

LRU算法


Redis如何做大量數據插入?

Redis2.6開始redis-cli支持一種新的被稱之為pipe mode的新模式用于執行大量數據插入工作。


為什么要做Redis分區?

分區可以讓Redis管理更大的內存,Redis將可以使用所有機器的內存。如果沒有分區,你最多只能使用一臺機器的內存。分區使Redis的計算能力通過簡單地增加計算機得到成倍提升,Redis的網絡帶寬也會隨著計算機和網卡的增加而成倍增長。


你知道有哪些Redis分區實現方案?

  • 客戶端分區:客戶端就決定數據會被存儲到哪個redis節點或者從哪個redis節點讀取。
  • 代理分區 :客戶端將請求發送給代理,然后代理決定去哪個節點寫數據或者讀數據。代理根據分區規則決定請求哪些Redis實例,然后根據Redis的響應結果返回給客戶端。redis和memcached的一種代理實現就是Twemproxy
  • 查詢路由(Query routing) 的意思是客戶端隨機地請求任意一個redis實例,然后由Redis將請求轉發給正確的Redis節點。Redis Cluster實現了一種混合形式的查詢路由。

Redis分區有什么缺點?

  • 涉及多個key的操作通常不會被支持。例如你不能對兩個集合求交集,因為他們可能被存儲到不同的Redis實例(實際上這種情況也有辦法,但是不能直接使用交集指令)。
  • 同時操作多個key,則不能使用Redis事務.
  • 分區使用的粒度是key,不能使用一個非常長的排序key存儲一個數據集
  • 當使用分區的時候,數據處理會非常復雜,例如為了備份你必須從不同的Redis實例和主機同時收集RDB / AOF文件。
  • 分區時動態擴容或縮容可能非常復雜。

Redis持久化數據和緩存怎么做擴容?

如果Redis被當做緩存使用,使用一致性哈希實現動態擴容縮容。

如果Redis被當做一個持久化存儲使用,必須使用固定的keys-to-nodes映射關系,節點的數量一旦確定不能變化。否則的話(即Redis節點需要動態變化的情況),必須使用可以在運行時進行數據再平衡的一套系統,而當前只有Redis集群可以做到這樣。


分布式Redis是前期做還是后期規模上來了再做好?為什么?

既然Redis是如此的輕量(單實例只使用1M內存),為防止以后的擴容,最好的辦法就是一開始就啟動較多實例。即便你只有一臺服務器,你也可以一開始就讓Redis以分布式的方式運行,使用分區,在同一臺服務器上啟動多個實例。

一開始就多設置幾個Redis實例,例如32或者64個實例,對大多數用戶來說這操作起來可能比較麻煩,但是從長久來看做這點犧牲是值得的。

這樣的話,當你的數據不斷增長,需要更多的Redis服務器時,你需要做的就是僅僅將Redis實例從一臺服務遷移到另外一臺服務器而已(而不用考慮重新分區的問題)。一旦你添加了另一臺服務器,你需要將你一半的Redis實例從第一臺機器遷移到第二臺機器。

主要還是要根據數量增長速度進行一個前期評估。


Twemproxy是什么?

  • Twemproxy是Twitter維護的(緩存)代理系統,代理Memcached的ASCII協議和Redis協議。
  • 它是單線程程序,使用c語言編寫,運行起來非常快。
  • 它是采用Apache 2.0 license的開源軟件。
  • Twemproxy支持自動分區,如果其代理的其中一個Redis節點不可用時,會自動將該節點排除
  • Twemproxy本身不存在單點問題,因為你可以啟動多個Twemproxy實例,然后讓你的客戶端去連接任意一個Twemproxy實例。
  • Twemproxy是Redis客戶端和服務器端的一個中間層。

支持一致性哈希的客戶端有哪些?

Redis-rb、Predis等。


Redis與其他key-value存儲有什么不同?

  • Redis有著更為復雜的數據結構并且提供對他們的原子性操作。
  • Redis運行在內存中但是可以持久化到磁盤,所以在對不同數據集進行高速讀寫時需要權衡內存,應為數據量不能大于硬件內存。
  • Redis在磁盤格式方面他們是緊湊的以追加的方式產生的,因為他們并不需要進行隨機訪問。

都有哪些辦法可以降低Redis的內存使用情況呢?

  • 采用ziplist壓縮列表(列表、散列、有續集和)
  • 進行分片,提高系統負載能力
  • 將信息打包轉換成字節存儲
  • 進行配置優化

查看Redis使用情況及狀態信息用什么命令?

info


Redis的內存用完了會發生什么?

如果達到設置的上限,Redis的寫命令會返回錯誤信息(但是讀命令還可以正常返回。)或者你可以將Redis當緩存來使用配置淘汰機制,當Redis達到內存上限時會沖刷掉舊的內容。


Redis是單線程的,如何提高多核CPU的利用率?

可以在同一個服務器部署多個Redis的實例,并把他們當作不同的服務器來使用,在某些時候,無論如何一個服務器是不夠的, 所以,如果你想使用多個CPU,你可以考慮一下分片(shard)。


一個Redis實例最多能存放多少的keys?List、Set、Sorted Set他們最多能存放多少元素?

理論上Redis可以處理多達232的keys,并且在實際中進行了測試,每個實例至少存放了2億5千萬的keys。我們正在測試一些較大的值。

任何list、set、和sorted set都可以放232個元素。

換句話說,Redis的存儲極限是系統中的可用內存值。


Redis常見性能問題和解決方案?

  • Master最好不要做任何持久化工作,如RDB內存快照和AOF日志文件
  • 如果數據比較重要,某個Slave開啟AOF備份數據,策略設置為每秒同步一次
  • 為了主從復制的速度和連接的穩定性,Master和Slave最好在同一個局域網內
  • 盡量避免在壓力很大的主庫上增加從庫
  • 主從復制不要用圖狀結構,用單向鏈表結構更為穩定,即:Master <- Slave1 <- Slave2 <- Slave3...

這樣的結構方便解決單點故障問題,實現Slave對Master的替換。如果Master掛了,可以立刻啟用Slave1做Master,其他不變。


Redis提供了哪幾種持久化方式?

Redis 提供兩種持久化機制 RDB 和 AOF 機制:

持久化之 RDB (Redis Database)

在指定的時間間隔內生成數據集的時間點快照(point-in-time snapshot)

優點

  • 體積小:RDB 是一個非常緊湊(compact)的文件,它保存了 Redis 在某個時間點上的數據集。適合備份。
  • 災難恢復(disaster recovery)快:它只有一個文件,內容都非常緊湊,可以(在加密后)將它傳送到別的數據中心。RDB 在恢復大數據集時的速度比 AOF 的恢復速度要快。
  • 性能高:父進程在保存rdb時候只需要fork一個子進程,無需父進程的進行其他io操作,也保證了服務器的性能。

缺點

  • 數據安全性低。RDB 是間隔一段時間進行持久化,如果持久化之間 redis 發生故障, 會發生數據丟失。
  • 每次保存 RDB 的時候,Redis 都要 fork() 出一個子進程,并由子進程來進行實際的持久化工作。 在數據集比較龐大時, fork() 可能會非常耗時,造成服務器在某某毫秒內停止處理客戶端。

AOF (Append-only file)

所有的命令行記錄以 redis 命令請求協議的格式完全持久化存儲)保存為 aof 文件。 fsync 策略,AOF 的速度可能會慢于 RDB

優點:

1、數據安全, aof 持久化可以配置 appendfsync 屬性, 有 always, 每進行一次命令操作就記錄到 aof 文件中一次。

2、通過 append 模式寫文件, 即使中途服務器宕機, 可以通過 redis-check-aof 工具解決數據一致性問題。

3、AOF 機制的 rewrite 模式。AOF 文件沒被 rewrite 之前( 文件過大時會對命令進行合并重寫), 可以刪除其中的某些命令( 比如誤操作的 flushall))

缺點:

1、AOF 文件比 RDB 文件大, 且恢復速度慢。

2、數據集大的時候, 比 rdb 啟動效率低。


如何選擇合適的持久化方式?

一般來說, 如果想達到足以媲美PostgreSQL的數據安全性, 你應該同時使用兩種持久化功能。如果你非常關心你的數據, 但仍然可以承受數分鐘以內的數據丟失,那么你可以只使用RDB持久化。

有很多用戶都只使用AOF持久化,但并不推薦這種方式:因為定時生成RDB快照(snapshot)非常便于進行數據庫備份, 并且 RDB 恢復數據集的速度也要比AOF恢復的速度要快,除此之外, 使用RDB還可以避免之前提到的AOF程序的bug。


修改配置不重啟Redis會實時生效嗎?

針對運行實例,有許多配置選項可以通過 CONFIG SET 命令進行修改,而無需執行任何形式的重啟。 從 Redis 2.2 開始,可以從 AOF 切換到 RDB 的快照持久性或其他方式而不需要重啟 Redis。檢索 CONFIG GET *命令獲取更多信息。

但偶爾重新啟動是必須的,如為升級 Redis 程序到新的版本,或者當你需要修改某些目前 CONFIG 命令還不支持的配置參數的時候。

參考

降低Redis內存占用
https://www.cnblogs.com/Infernal/p/11231966.html
REDIS持久化之RDB和AOF的區別
http://www.lxweimin.com/p/1d9ab6bc0835
50道Redis面試題
https://juejin.im/post/5c9b344c51882530c6308b32

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容