当前位置:首页 >探索 >你管这破玩意叫缓存穿透?还是缓存击穿? 将一些数据先存储到Redis中

你管这破玩意叫缓存穿透?还是缓存击穿? 将一些数据先存储到Redis中

2024-07-01 09:19:58 [百科] 来源:避面尹邢网

你管这破玩意叫缓存穿透?还是管破缓存击穿?

作者:哪吒 数据库 Redis Redis缓存预热是指在服务器启动或应用程序启动之前,将一些数据先存储到Redis中,玩意以提高Redis的叫缓击穿性能和数据一致性。这可以减少服务器在启动或应用程序启动时的存穿数据传输量和延迟,从而提高应用程序的透还性能和可靠性。

大家好,缓存我是管破哪吒。

你管这破玩意叫缓存穿透?还是缓存击穿? 将一些数据先存储到Redis中

今天分享一下Redis布隆过滤器的玩意原理和应用场景,解决缓存穿透,叫缓击穿实现快速入门,存穿丰富个人简历,透还提高面试level,缓存给自己增加一点谈资,管破秒变面试小达人,玩意BAT不是叫缓击穿梦。

你管这破玩意叫缓存穿透?还是缓存击穿? 将一些数据先存储到Redis中

一、缓存预热

Redis缓存预热是指在服务器启动或应用程序启动之前,将一些数据先存储到Redis中,以提高Redis的性能和数据一致性。这可以减少服务器在启动或应用程序启动时的数据传输量和延迟,从而提高应用程序的性能和可靠性。

你管这破玩意叫缓存穿透?还是缓存击穿? 将一些数据先存储到Redis中

1、缓存预热常见步骤

(1)数据准备

在应用程序启动或服务器启动之前,准备一些数据,这些数据可以是静态数据、缓存数据或其他需要预热的数据。

(2)数据存储

将数据存储到Redis中,可以使用Redis的列表(List)数据类型或集合(Set)数据类型。

(3)数据预热

在服务器启动或应用程序启动之前,将数据存储到Redis中。可以使用Redis的客户端工具或命令行工具来执行此操作。

(4)数据清洗

在服务器启动或应用程序启动之后,可能会对存储在Redis中的数据进行清洗和处理。例如,可以删除过期的数据、修改错误的数据等。

需要注意的是,Redis缓存预热可能会增加服务器的开销,因此应该在必要时进行。同时,为了减少预热的次数,可以考虑使用Redis的其他数据类型,如哈希表(Hash)或有序集合(Sorted Set)。此外,为了提高数据一致性和性能,可以使用Redis的持久化功能,将数据存储到Redis中,并在服务器重启后自动恢复数据。

2、代码实现

@Component@Slf4jpublic class BloomFilterInit{     @Resource    private RedisTemplate redisTemplate;    //初始化白名单数据    @PostConstruct    public void init() {         //1 白名单客户加载到布隆过滤器        String key = "customer:1";        //2 计算hashValue,由于存在计算出来负数的可能,我们取绝对值        int hashValue = Math.abs(key.hashCode());        //3 通过hashValue和2的32次方后取余,获得对应的下标坑位        long index = (long)(hashValue % Math.pow(2,32));        log.info(key+" 对应的坑位index:{ }",index);        //4 设置redis里面的bitmap对应类型白名单:whitelistCustomer的坑位,将该值设置为1        redisTemplate.opsForValue().setBit("whitelistCustomer",index,true);    }}

二、缓存雪崩

Redis缓存雪崩是指在缓存系统中,由于某些原因,缓存的数据突然大量地被删除或修改,导致缓存系统的性能下降,甚至无法正常工作。

1、什么情况会发生缓存雪崩?

(1)误删除

由于误操作或故障,缓存系统可能会误删除一些正常的数据。这种情况通常会在数据库中发生。

(2)误修改

由于误操作或故障,缓存系统可能会误修改一些正常的数据。这种情况通常会在数据库中发生。

(3)负载波动

缓存系统通常会承受一定的负载波动,例如,在高峰期间,数据量可能会大幅增加,从而导致缓存系统的性能下降。

(4)数据变化频繁

如果缓存系统中的数据变化频繁,例如,每秒钟都会有大量的数据插入或删除,那么缓存系统可能会因为响应过慢而导致雪崩。

2、Redis缓存集群实现高可用

  • 主从 + 哨兵
  • Redis集群
  • 开启Redis持久化机制aof/rdb,尽快恢复缓存集群。

3、如何避免Redis缓存雪崩?

(1)数据备份

定期备份数据,以防止误删除或误修改。

(2)数据同步

定期同步数据,以防止数据不一致。

(3)负载均衡

使用负载均衡器将请求分配到多个Redis实例上,以减轻单个实例的负载。

(4)数据优化

优化数据库结构,减少数据变化频繁的情况。

(5)监控与告警

监控Redis实例的性能指标,及时发现缓存系统的异常,并发出告警。

三、缓存穿透

Redis缓存穿透是指在Redis缓存系统中,由于某些原因,缓存的数据无法被正常访问或处理,导致缓存失去了它的作用。

1、什么情况会发生缓存穿透?

(1)数据量过大

当缓存中存储的数据量过大时,缓存的数据量可能会超过Redis的数据存储限制,从而导致缓存失去了它的作用。

(2)数据更新频繁

当缓存中存储的数据更新频繁时,缓存的数据可能会出现异步的变化,导致缓存无法被正常访问。

(3)数据过期

当缓存中存储的数据过期时,缓存的数据可能会失去它的作用,因为Redis会在一定时间后自动将过期的数据删除。

(4)数据权限限制

当缓存中存储的数据受到权限限制时,只有拥有足够权限的用户才能访问和处理这些数据,从而导致缓存失去了它的作用。

(5)Redis性能瓶颈

当Redis服务器的性能达到极限时,Redis缓存可能会因为响应过慢而导致穿透。

2、如何避免Redis缓存穿透?

(1)设置合理的缓存大小

根据实际需求设置合理的缓存大小,以避免缓存穿透。

(2)优化数据结构

根据实际需求优化数据结构,以减少数据的大小和更新频率。

(3)设置合理的过期时间

设置合理的过期时间,以避免缓存失去它的作用。

(4)增加Redis的并发处理能力

通过增加Redis的并发处理能力,以提高缓存的处理能力和响应速度。

(5)优化Redis服务器的硬件和软件配置

通过优化Redis服务器的硬件和软件配置,以提高Redis的性能和处理能力。

图片

Redis缓存穿透

四、通过空对象缓存解决缓存穿透

如果发生了缓存穿透,可以针对要查询的数据,在Redis中插入一条数据,添加一个约定好的默认值,比如defaultNull。

比如你想通过某个id查询某某订单,Redis中没有,MySQL中也没有,此时,就可以在Redis中插入一条,存为defaultNull,下次再查询就有了,因为是提前约定好的,前端也明白是啥意思,一切OK,岁月静好。

这种方式只能解决key相同的情况,如果key都不同,则完蛋。

五、Google布隆过滤器Guava解决缓存穿透

图片

1、引入pom

<!--guava Google 开源的 Guava 中自带的布隆过滤器--><dependency>    <groupId>com.google.guava</groupId>    <artifactId>guava</artifactId>    <version>23.0</version></dependency>

2、创建布隆过滤器

BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), 100);

布隆过滤器中添加元素。

bloomFilter.mightContain(1)

判断布隆过滤器中是否存在。

bloomFilter.mightContain(1)

3、fpp误判率

@Service@Slf4jpublic class GuavaBloomFilterService {     public static final int SIZE = 1000000;    //误判率    public static double fpp = 0.01;    //创建guava布隆过滤器    private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), SIZE, fpp);        public void guavaBloomFilter() {         for (int i = 1; i <= SIZE; i++) {             bloomFilter.put(i);        }        ArrayList<Integer> list = new ArrayList<>(10000);        for (int i = SIZE + 1; i <= SIZE + (10000); i++) {             if (bloomFilter.mightContain(i)) {                 log.info("被误判了:{ }", i);                list.add(i);            }        }        log.info("误判总数量:{ }", list.size());    }}

六、Redis缓存击穿

Redis缓存击穿是指在Redis缓存系统中,由于某些原因,缓存的数据无法被正常访问或处理,导致缓存失去了它的作用。

1、什么情况会发生缓存击穿?

根本原因:热点Key失效。

(1)数据量过大

当缓存中存储的数据量过大时,缓存的数据量可能会超过Redis的数据存储限制,从而导致缓存失去了它的作用。

(2)数据更新频繁

当缓存中存储的数据更新频繁时,缓存的数据可能会出现异步的变化,导致缓存无法被正常访问。

(3)数据过期

当缓存中存储的数据过期时,缓存的数据可能会失去它的作用,因为Redis会在一定时间后自动将过期的数据删除。

(4)数据权限限制

当缓存中存储的数据受到权限限制时,只有拥有足够权限的用户才能访问和处理这些数据,从而导致缓存失去了它的作用。

(5)Redis性能瓶颈

当Redis服务器的性能达到极限时,Redis缓存可能会因为响应过慢而导致击穿。

2、如何避免Redis缓存击穿?

(1)设置合理的缓存大小

根据实际需求设置合理的缓存大小,以避免缓存穿透。

(2)优化数据结构

根据实际需求优化数据结构,以减少数据的大小和更新频率。

(3)设置合理的过期时间

设置合理的过期时间,以避免缓存失去它的作用。

(4)增加Redis的并发处理能力

通过增加Redis的并发处理能力,以提高缓存的处理能力和响应速度。

(5)优化Redis服务器的硬件和软件配置

通过优化Redis服务器的硬件和软件配置,以提高Redis的性能和处理能力。

七、Redis缓存击穿解决方案

1、互斥更新

通过双检加锁机制。

2、差异失效时间

图片

先更新从缓存B,再更新主缓存A,而且让从缓存B的缓存失效时间长于A,保证A失效时,B还在。

本文转载自微信公众号「哪吒编程」,可以通过以下二维码关注。转载本文请联系哪吒编程公众号。

责任编辑:姜华 来源: 哪吒编程 Redis缓存穿透

(责任编辑:娱乐)

    推荐文章
    热点阅读