【Redis7】Redis持久化机制之RDB
Redis持久化机制中的RDB(Redis Database)是一种将Redis在某个时间点的数据以快照形式保存到磁盘上的方法。原理:RDB通过创建一个包含Redis数据库所有键值对的快照文件(通常以.rdb作为文件后缀)来实现持久化。这个过程将内存中的数据以二进制格式转储到磁盘上,形成一个紧凑的文件,便于备份和迁移。三种触发方式配置触发,手动触发和后台触发手动触发:通过执行SAVE命令可以立即执
1.RDB简介
Redis持久化机制中的RDB(Redis Database)是一种将Redis在某个时间点的数据以快照形式保存到磁盘上的方法。
原理:RDB通过创建一个包含Redis数据库所有键值对的快照文件(通常以.rdb
作为文件后缀)来实现持久化。这个过程将内存中的数据以二进制格式转储到磁盘上,形成一个紧凑的文件,便于备份和迁移。
三种触发方式:配置触发,手动触发和后台触发
- 手动触发:通过执行
SAVE
命令可以立即执行一次快照生成,但需要注意,该命令会阻塞Redis服务器,直到RDB文件创建完毕,因此在生产环境中不推荐直接使用。 - 后台触发:使用
BGSAVE
命令可以在后台异步执行快照生成,不会阻塞服务器处理客户端请求。 - 配置触发:Redis服务器可以根据配置文件中的策略自动执行快照,如设置
save
指令来定义在一定时间内发生指定数量的写操作后自动执行BGSAVE。
2.RDB配置触发设置
配置触发:Redis服务器可以根据配置文件中的策略自动执行快照,如设置
save
指令来定义在一定时间内发生指定数量的写操作后自动执行BGSAVE。
RDB的配置通常在Redis的配置文件redis.conf
中进行,包括RDB文件的保存路径、自动保存的规则等。
Redis6.2之前,RDB的配置如下:
在 Redis.conf 配置文件中的 SNAPSHOTTING 下配置 save 参数,来触发 Redis 的 RDB 持久化条件,比如“save m n”:表示 m 秒内数据集存在 n次修改时,自动触发 bgsave
- save 900 1:每隔 900s(15min),如果有超过 1 个 key 发生了变化,就写一份新的 RDB 文件
- save 300 10:每隔 300s(5min),如果有超过 10 个 key 发生了变化,就写一份新的 RDB 文件
- save 60 10000:每隔 60s(1min),如果有超过 10000 个 key 发生了变化,就写一份新的 RDB 文件
以下是Redis7中对RDB的配置内容:
- save 3600 1:每隔 3600s(60min),如果有超过 1 个 key 发生了变化,就写一份新的 RDB 文件
- save 300 100:每隔 300s(5min),如果有超过 100 个 key 发生了变化,就写一份新的 RDB 文件
- save 60 10000:每隔 60s(1min),如果有超过 10000 个 key 发生了变化,就写一份新的 RDB 文件
接下来通过修改配置文件,才修改自动保存规则,步骤如下:
1.修改自动保存规则,10秒内2个key发生变化
2.创建rdb文件存放的文件夹
3.修改redis配置文件, 505行左右
4.修改rdb文件的名字,默认是dump.rdb
我这里修改成了dump+端口号的形式,也可以不修改
改完配置文件要重启redis服务
5.连接redis,进行测试
使用命令config get dir
,测试配置是否生效
127.0.0.1:6379> config get dir
1) "dir"
2) "/redis-config/rdbfiles"
127.0.0.1:6379>
这里会显示修改rdb文件存放的文件夹,我这里是没问题的
只需要在redis中让key10秒内修改两次即可,修改完成之后查看文件夹,可以看到多了一个.rdb文件
示例:
修改原本生成的.rdb文件名称
清空所有的key
可以看到又生成了一个.rdb文件
flushdb这种命令也会生成.rdb文件,但是这个文件毫无意义
使用原来的.rdb文件,观察是否能恢复数据
首先先将原来的.rdb文件删除.然后重启虚拟机,重启虚拟机之后,会再生成一个.rdb文件 在将这个.rdb文件删除,将原来有数据的.rdb文件名改回去
重连redis服务,可以看到数据恢复了
3.RDB的优缺点
- 优点:RDB文件紧凑,恢复速度比AOF快;适合做灾难恢复;对数据完整性要求不高的场景下非常有用。
- 缺点:
- 数据恢复点取决于最后一次快照,如果服务器故障发生在两次快照之间(也就是一次快照之后,又修改了数据,但是还没触发快照),这段时间的数据会丢失;频繁执行快照可能会影响性能。
- 内存数据的全量同步,如果数据量太大会导致I/0严重影响服务器性能
- RDB依赖于主进程的fork,在更大的数据集中,这可能会导致服务请求的瞬间延迟fork的时候内存中的数据被克隆了一份,大致2倍的膨胀性,需要考虑
4.如何检查修复RDB文件
RDB在备份的时候,是有可能出现文件破损的.例如:RDB在进行文件写入的时候,写了一半,服务器突然宕机了,那么这条数据就有问题,从而到底整个文件都读不出来.
那么如何检查修复RDB文件呢?
1.其实在/usr/local/bin/
目录下有一个redis-check-rdb
2.因此在任何地方使用redis-check-rdb
命令即可完成检查修复
5.如何禁用RDB
方法有两种:
- 动态所有停止RDB保存规则的方法:
redis-cli config set save ""
- 修改配置文件,禁用快照
6.RDB参数优化
1.stop-writes-on-bgsave-error
:控制当Redis在执行后台保存(background save,简称bgsave)操作生成RDB快照文件时的行为。
默认yes.意思是那么当Redis在创建RDB快照过程中遇到错误(例如磁盘空间不足、权限问题等),Redis将停止接受任何可能修改数据集的命令,以防止数据不一致的情况发生。
如果配置成no,表示你不在乎数据不一致或者有其他的手段发现和控制这种不一致,那么在快照写入失败时也能确保redis继续接受新的写请求
2.rdbcompression
:用于控制Redis在生成RDB(Redis Database)快照文件时是否对数据进行压缩。
默认是yes,意思是Redis会在保存数据到RDB文件之前对其进行压缩。这样做的主要目的是减少RDB文件的体积,从而节省存储空间并可能加快备份和恢复过程中的传输速度。
压缩过程通常使用LZF算法,这是一种相对快速且高效的压缩算法,能够在压缩数据大小与CPU消耗之间取得一个平衡。尽管压缩会增加一定的CPU使用率,但对于大多数场景来说,这一开销相对于节约的存储空间和提高的I/O效率来说是可接受的。
3.rdbchecksum
:用于控制Redis在载入RDB(Redis Database)快照文件时是否进行数据校验。
默认是yes,意思是Redis在从RDB文件恢复数据到内存之前,会计算快照文件内的数据校验和(checksum),然后与RDB文件末尾存储的校验和进行对比,以确保数据的完整性。
4.rdb-del-sync-files
:控制着在主从复制(replication)场景下,从节点(slave)对于用于同步的RDB文件的处理方式。
默认是no,意思是即使从节点没有开启任何持久化(既没有启用RDB持久化也没有启用AOF持久化),在主从全量同步过程中使用的RDB文件也不会被自动删除。
7.总结
-
RDB是一种将Redis在某个时间点的数据以快照形式保存到磁盘上的方法,主要是依靠rdb文件。
-
触发RDB情况: 达到配置的频率和时间,save, bgsave, shutdown , flushall/flushdb
- save不建议使用
- flushall/flushdb:产生的rdb文件没有意义
-
使用
redis-check-rdb
命令即可完成检查修复rdb文件 -
禁用RDB:
- 使用命令
redis-cli config set save ""
- 修改配置文件
- 使用命令
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)