一篇带你了解Redis删除策略

作者：果树芽 2021-08-02 06:34:55开发 前端 Redis 篇带Redis是一个开源的使用ANSI C语言编写、支持网络、删除可基于内存亦可持久化的策略日志型、Key-Value数据库，篇带并提供多种语言的删除API。

Redis删除策略

过期数据在Redis中所有设置了TTL的策略数据可能不会立即删除，Redis会将该键带上过期时间存放到内存中的篇带一个Expires字典中。

当执行TTL命令后会返回其状态

redis 127.0.0.1:6379> TTL key 
 
-2: Key已经过期、删除被删除、策略未定义 
 
-1: 永久有效 
 
XX: XX为 key 的篇带剩余生存时间，以秒为单位 

这里的删除已过期数据，真的策略删除了吗?

数据删除策略

前面说到当存储一个key之后，这个key连同有效期被存储到Expires字典中，篇带具体什么时候删除的删除呢?

通常删除某个key，我们有如下三种处理方式：

• 定时删除
• 惰性删除
• 定期删除

1. 定时删除

创建一个定时器，策略当key设置有过期时间，且过期时间到达时，由定时器任务立即执行对键的删除操作

优点：节省内存，到时就删除，快速释放掉不必要的内存空间

缺点：CPU压力大，无论此时CPU过载有多高，都会占用CPU，会影响Redis服务器的响应时间和吞吐量

总结：用处理器性能换取内存空间(时间换空间)

2. 惰性删除

数据到达过期时间后，不做处理。等下次访问时，

• 如果未过期，返回数据
• 如果已过期，删除并返回不存在

优点：节约CPU性能，发现必须删除时才删除

缺点：内存压力大，出现长期占用内存空间的数据

总结：用内存空间换取CPU处理性能(空间换时间)

3. 定期删除

定时删除和惰性删除都太极端了，定期删除就是一个比较好的折中方案

周期性的轮询Redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度

特点：

• CPU占用设置有峰值，检测频度可以自定义
• 内存压力不是很大，长期占用内存的冷数据会被持续清理

总结：周期性抽查存储空间(随机抽查，重点抽查)

定期删除，Redis服务器启动初始化时，读取配置server.hz的值，默认为10

每秒执行server.hz次serverCorn()->databaseCorn()->activeExpireCycle()

其中activeExpireCycle()对每个Expires[*]逐一检测，每次执行时间为250ms/server.hz

对某个Expires[*]检测时，随机挑选几个key检测：

• 如果key超时，删除key
• 如果一轮中删除key的数量>W*25%，循环该过程(重点抽查)
• 如果一轮中删除key的数量
• 其中W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP的属性值

4. 删除策略对比

逐出算法

1. 新数据进入检测

当新数据进入Redis时，内存不足怎么办?

Redis使用内存存储数据，在执行每一个命令前，会调用freeMermoryIfNeeded()检测内存是否充足。如果内存不满足新加入的数据的最低存储要求，Redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略成为逐出算法(内存淘汰策略)

注意：逐出数据的过程不是100%能够清理出足够的可使用的内存空间，如果不成功会反复执行。当前所有数据尝试执行完毕后，如果不能达到内存清理的要求，将出现错误信息。

(error) OOM command not allowed when used memory >'maxmemory' 

2. 逐出算法配置

• 最大可用内存

maxmermory 
 说明：占用物理内存的比例。默认值是0，标识不限制。生产上根据需要设置，一般在50%以上 

• 每次选取待删除的个数

maxmermroy-samples 
 说明：选取待删除的数据时，如果扫描全库，会严重消耗性能，降低读写性能。因为采用随机获取数据的方式作为待检测删除数据 

• 删除策略

maxmermory-policy 
 说明：达到最大内存后，对被挑选出来的数据进行删除的策略 

3. 逐出算法

如果Redis配置了maxmemory和maxmemory-policy策略，则当Redis内存数据达到maxmemory时，会根据maxmemory-policy配置来淘汰内存数据，以避免OOM。

根据maxmemory-policy的配置项，执行删除策略时分为两大类：易失数据(设置过期时间的数据)、永久数据。Redis默认值为volatile-lru.

检测易失数据(会过期的数据集server.db[i].expries)

• volatile-lru：挑选最近最少使用的数据淘汰
• volatile-lfu：挑选最近使用次数最少的数据淘汰
• volatile-random：任意选择数据淘汰
• volatile-ttl：挑选即将过期的数据淘汰

检测全库数据(所有数据集server.db[i].dict)

• allkeys-lru：挑选最近最少使用的数据淘汰
• allkeys-lfu：挑选最近使用次数最少的数据淘汰
• allkeys-random：任意选择数据淘汰

放弃数据淘汰

• no-enviction：禁止数据淘汰，会引发OOM(Out Of Memroy)。Redis4.0默认策略

 

LRU和LFU算法示例

4. 数据逐出策略配置依据

使用info命令数据监控信息，查询缓存hit和miss次数，根据业务需要配置逐出算法。

本文转载自微信公众号「Java养基场」，可以通过以下二维码关注。转载本文请联系Java养基场公众号。

 

责任编辑：姜华 来源： Java养基场 Redis删除策略开源

(责任编辑：探索)