【Redis7学习日记】—— Redis持久化

这篇具有很好参考价值的文章主要介绍了【Redis7学习日记】—— Redis持久化。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  • Redis 的持久化是它的一大特性,可以将内存中的数据写入到硬盘中
    • 主要分为 RDBAOF 两种,接下来我们将展开叙述
      • RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储
      • AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据

【Redis7学习日记】—— Redis持久化

一、RDB

  • RDB持久性以 指定的时间间隔,执行数据集时间点快照
    • 在指定的时间间隔内将内存中的数据集快照写入磁盘,恢复时将硬盘快照文件读回到内存里
    • 保存备份时执行的是全量快照 【所有数据】
    • RDB 保存的是 dump.rdb 文件
      【Redis7学习日记】—— Redis持久化

🌔 1、配置文件的版本区别

(1)Redis 6.0.16 以下

【Redis7学习日记】—— Redis持久化
(2)Redis6.2 以及 Redis 7.0.0
【Redis7学习日记】—— Redis持久化

  • 那么我们如何使用 RDB 呢?

1.1 自动触发

🌔 1、进行配置

  • 我们可以通过设置配置文件自动触发 RDB 的功能

  • 首先,我们通过 vim /myredis/redisconfig7.conf 编辑我们拷贝的 redis 配置文件

  • 对于 Redis7 中配置RDB触发机制的代码是这样的 save <seconds> <changes>

    • 此处就设置为 5s内有2次写操作就触发 save 5 2
      【Redis7学习日记】—— Redis持久化
  • 之后我们需要修改 rdb 文件的保存位置,通过 dir /myredis/dumpfiles 指令完成
    【Redis7学习日记】—— Redis持久化

  • 之后在配置文件中修改我们 rdb 文件的名字 dbfilename dump6379.rdb
    【Redis7学习日记】—— Redis持久化> 那么我们如何触发备份呢?

  • 第一种情况就是达到我们设置的要求,五秒内写入两条
    【Redis7学习日记】—— Redis持久化

  • 第二种情况:
    【Redis7学习日记】—— Redis持久化

🌔 2、如何恢复呢?

  • 在我们重启 Redis 服务器登录客户端之后,就会去寻找我们的RDB备份文件
  • 但是,我们需要知道我们通过 flushdb 清空模拟异常时
    • 执行flushdb、flushall命令也会产生 dump.rdb 文件,这样重启后数据集还是空的,所以没有任何意义
    • 所以我们需要在模拟前将之前的 rdb 文件改名【防止被覆盖为空,导致测试失败】
    • 然后执行完 flushdb 命令后,将有数据的rdb文件改回原名,这样重启Redis就会自动加载这个文件
      【Redis7学习日记】—— Redis持久化
  • 我们要注意:物理恢复一定要把服务和备份分机隔离
    • 不可以把备份文件dump.rdb和生产redis服务器放在同一台机器,必须分开各自存储,以防生产机物理损坏后备份文件也挂了
      【Redis7学习日记】—— Redis持久化

1.2 手动触发

  • Redis 提供了save、basave 两个命令来生成 RDB 文件
  • 那么这两种方式有什么区别呢?

🌔 1、save

  • 对于 save 命令,在主程序中执行会阻塞当前 redis 服务器,直到持久化工作完成
    • 就是在执行 save 命令期间,Redis 不能处理其他命令 【线上禁止使用】
      【Redis7学习日记】—— Redis持久化
      【Redis7学习日记】—— Redis持久化

🌔 2、bgsave

  • 对于 bgsave 命令,是Redis默认的手动触发RDB功能的指令
    • Redis 会在后台异步执行快照操作,不阻塞快照的同时还可以响应客户端请求。该触发方式会 fork 一个子进程,由子进程复制持久化过程
    • Redis会使用bgsave对当前内存中的所有数据做快照,这个操作是子进程在后台完成的,这就允许主进程同时可以修改数据

那么 fork 是什么呢?

【Redis7学习日记】—— Redis持久化
在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,尽量避免膨胀。

【Redis7学习日记】—— Redis持久化
【Redis7学习日记】—— Redis持久化

  • 我们通过 lastsave 命令可以获取最后一次成功执行快照的时间
    【Redis7学习日记】—— Redis持久化

1.3 优缺点

🌔 优势
【Redis7学习日记】—— Redis持久化

  • 适合大规模的数据恢复
  • 按照业务定时备份
  • 对数据完整性和一致性要求不高
  • RDB 文件在内存中的加载速度要比 AOF 快得多

🌔 劣势

【Redis7学习日记】—— Redis持久化

  • 在一定间隔时间做一次备份,可能造成快照之间的数据丢失
  • 内存数据的全量同步,如果数据量太大会导致 I/O 严重影响服务器性能
  • RDB 依赖于主进程的 fork,数据集很大的情况下可能导致服务请求的瞬间延迟
  • fork 的时候内存中的数据被克隆了一份,大致2倍的膨胀性,需要考虑

模拟数据丢失:

  • 正常录入数据:
    【Redis7学习日记】—— Redis持久化
  • 使用 kill 命令杀死进程
    【Redis7学习日记】—— Redis持久化
  • 重启服务器查看结果
    【Redis7学习日记】—— Redis持久化

1.4 其他配置信息

🌔 1、如果我们生成的 dump.rdb 文件出现了问题怎么办?

  • Redis 为我们提供了 redis-check-rdb 文件名 指令可以修复我们的 RDB 文件
    【Redis7学习日记】—— Redis持久化

🌔 2、哪些情况下会触发 RDB 快照? 【全局快照写入硬盘】

  • 当前操作满足了我们在配置文件中默认的快照配置
  • 手动执行了 save 或 bgsave 命令
  • 执行了 flushdb 或 flushall 命令 【产生的 dump.rdb 文件里面是空的】
  • 主从复制时,主节点自动触发

🌔 3、如果我们不想使用 RDB 的快照功能怎么办?

  • 方式一:在命令行通过 redis-cli config set save "" 指令禁用
  • 方式二:通过修改配置文件禁用

【Redis7学习日记】—— Redis持久化
🌔 4、RBD优化配置项详解? 【在配置文件中 snapshotting 相关模块】

  • save <seconds> <changes> 设置RDB配置文件触发规则
  • dbfilename 设置生成的RDB文件名
  • dir 设置生成的RBD文件存储路径
  • stop-writes-on-bgsave-error 用于保证数据一致性
    • 默认yes;如果配置成no,表示你不在乎数据不一致或者有其他的手段发现和控制这种不一致,那么在快照写入失败时,也能确保redis继续接受新的写请求
      【Redis7学习日记】—— Redis持久化
  • rdbcompression 用于压缩我们的RDB文件
    • 默认yes;对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩。如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能
      【Redis7学习日记】—— Redis持久化
  • rdbchecksum 用于检验数据
    • 默认yes;在存储快照后,还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能
      【Redis7学习日记】—— Redis持久化
  • rdb-del-sync-files 用于Redis主从全量同步时,通过RDB文件传输实现
    • 在没有持久性的情况下删除复制中使用的RDB文件启用。默认情况下no,此选项是禁用的 【没开启持久化设置为yes,会移除主从同步的RDB文件】

1.5 总结

【Redis7学习日记】—— Redis持久化

二、AOF

  • 是Redis提供的另一种持久化机制
  • 以日志的形式记录每个写操作,将Redis执行过的所有写指令记录下来,只许追加文件但不可以改写文件,Redis 启动之初会读取该文件重新构建数据
    • Redis 重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
  • 默认情况下,Redis 是没有开启 AOF 的,需要在Redis的核心配置文件中进行配置
  • 生成的是 appendonly.aof 文件
    【Redis7学习日记】—— Redis持久化

2.1 持久化流程

  • Client作为命令的来源,会有多个源头以及源源不断的请求命令
  • 在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中进行保存。这里的AOF缓冲区实际上是内存中的一片区域,存在的目的是当这些命令达到一定量以后再写入磁盘,避免频繁的磁盘IO操作
  • AOF缓冲会根据AOF缓冲区同步文件的三种写回策略将命令写入磁盘上的AOF文件
  • 随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(又称AOF重写),从而起到AOF文件压缩的目的
  • Redis Server 服务器重启的时候会从AOF文件载入数据。

【Redis7学习日记】—— Redis持久化

2.2 缓冲区写回策略

  • Always:同步写回,每个写命令执行完立刻同步地将日志写回磁盘
  • no:操作系统控制写回,只是把日志写道 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘
  • everysec:每秒写回,每个写命令执行完,只是先把日志写道 AOF 文件的缓冲区,每隔1s把缓冲区中的内容写入磁盘

【Redis7学习日记】—— Redis持久化

2.3 配置与使用

🌔 配置文件说明

  • 如何开启 AOF?

    • 只需修改我们的配置文件,将 appendonly 属性设置为 yes
      【Redis7学习日记】—— Redis持久化
  • 使用默认回写策略,即 appendfsync everysec 数据先至于 AOF 缓冲区,每隔1s写入磁盘

  • AOF 文件保存路径:

    • Redis6 中,与 RDB配置的路径一致,都是通过 dir 字段设置
    • Redis7 中, 会在我们 dir 指定的路径后添加一个 appenddirname 属性值的目录
      【Redis7学习日记】—— Redis持久化
  • AOF文件保存名称:

    • 在 Redis6 中,使用配置文件中的 appendfilename 指定文件名 【Redis7学习日记】—— Redis持久化

    • 在 Redis7 中,使用了 Multi Part AOF 的设计

      • base 基本文件 【在我们增量文件达到一定程度,就会重写到基本文件中】
      • incr 增量文件 【实际记录我们每次写操作的文件(增、删、改)】
      • manifest 清单文件 【Redis7学习日记】—— Redis持久化

    【Redis7学习日记】—— Redis持久化
    【Redis7学习日记】—— Redis持久化

🌔 正常恢复

  • 启动:修改默认的 appendonly no 为 yes 【开启AOF功能】
  • 写操作继续,生成 AOF 文件到我们指定的目录中
    • 恢复1:重启 Redis 然后重新加载并执行我们 AOF 文件中的写操作
    • 恢复2:【是因为我们通过 flushdb + shutdown 的方式退出(重新执行aof后还是为空)】
      • 写入数据进 Redis,然后执行 flushdb + shutdown 命令

      • 生成了 dump.rdb 和 appenddirname.aof 文件

      • 备份新生成的 aof.bak,然后删除 dump/aof,尝试恢复
        【Redis7学习日记】—— Redis持久化

      • 重启 Redis 查看结果
        【Redis7学习日记】—— Redis持久化

      • 停止服务器,然后将我们有数据的 aof 文件改回原名,再次重启 Redis 查看结果
        【Redis7学习日记】—— Redis持久化
        【Redis7学习日记】—— Redis持久化

🌔 异常恢复

  • 就是我们生成的 AOF 文件存在问题,我们改如何恢复我们的数据?
    • 此处通过修改 AOF 文件模拟错误指令vim /myredis/appendonlydir/appendonly.aof.1.incr.aof
      【Redis7学习日记】—— Redis持久化
  • 保存后我们尝试重启 Redis,发现无法连接到客户端
    【Redis7学习日记】—— Redis持久化
  • 我们可以采用 Redis 为我们提供的 AOF 文件修复命令 【重点:不要忘记 --fix 选项】
    【Redis7学习日记】—— Redis持久化
  • 再次重启 Redis 并连接客户端,发现数据恢复成功
    【Redis7学习日记】—— Redis持久化

2.4 优缺点

📖 优势

  • 可以更好的保护数据不丢失、性能高、可做紧急恢复

📖 劣势

  • 针对相同大小的数据集,AOF文件的体积要大于RDB文件,恢复速度也更慢一些
  • AOF 运行效率慢于 RDB,每秒同步策略较好,不同步效率和RDB一样

2.5 重写机制

  • 为什么会产生重写机制?

    • 由于AOF持久化是Redis不断将写命令记录到 AOF 文件中,随着Redis不断的进行,AOF 的文件会越来越大,文件越大,占用服务器内存越大以及 AOF 恢复要求时间越长
    • 为了解决这个问题,Redis新增了重写机制,当AOF文件的大小超过所设定的峰值时,Redis就会自动启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集或者可以手动使用命令 bgrewriteaof 来重新
  • 什么是重写机制?

    • 启动 AOF 文件的内容压缩,只保留恢复数据的最小指令集
  • 官网给出的相关默认配置:【同时满足设定的多个规则才会重写】

    • 我们当前 AOF 文件是上一个 AOF 文件大小的一倍
    • 我们当前的 AOF 文件大小已经达到了 64MB
      【Redis7学习日记】—— Redis持久化
  • 当然,我们也可以使用 bgrewriteaof 命令手动触发重写功能

接下来我们通过一个案例来演示:

1️⃣ 需求:

【Redis7学习日记】—— Redis持久化
2️⃣ 准备工作:

  • 删除之前的 aof、rdb 文件,清除干扰项

  • 开启 AOF 功能 【配置文件 appendonly yes

  • 关闭 AOFRDB 的混合功能,因为此处我们就是要演示 AOF 重写功能
    【Redis7学习日记】—— Redis持久化

  • 修改重写峰值【因为只是为了要是效果,文件内容没必要达到64MB】
    【Redis7学习日记】—— Redis持久化

3️⃣ 两种方式触发重写:

(1)自动触发案例

  • 在上述配置完成后,重启 Redis 服务器,使用 set 指令查看是否可以正常生成我们的三个 AOF 文件
    【Redis7学习日记】—— Redis持久化

  • 查看我们的三大文件
    【Redis7学习日记】—— Redis持久化

  • 不断覆盖我们 k1 键对应的 value,使我们的 appendonly.aof.1.incr.aof 文件大小达到触发重写大小
    【Redis7学习日记】—— Redis持久化

  • 触发重写后我们重新查看增量文件内容 >> 只保存了 k1 最后对应的 value
    【Redis7学习日记】—— Redis持久化
    (2)手动触发案例

  • 在客户端向服务器发送 barewriteaof 命令

  • 通过我们增量文件大小的改变,我们知道重写功能成功触发了
    【Redis7学习日记】—— Redis持久化

4️⃣ 案例总结
【Redis7学习日记】—— Redis持久化

重写原理总结:

  • 在重写开始前,redis会创建一个“重写子进程”,这个子进程会读取现有的AOF文件,并将其包含的指令进行分析压缩并写入到一个临时文件中
  • 与此同时,主进程会将新接收到的写指令一边累积到内存缓冲区中,一边继续写入到原有的AOF文件中,这样做是保证原有的AOF文件的可用性,避免在重写过程中出现意外
  • 当“重写子进程”完成重写工作后,它会给父进程发一个信号,父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中
  • 当追加结束后,redis就会用新AOF文件来代替旧AOF文件,之后再有新的写指令,就都会追加到新的AOF文件中
  • 重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似

配置文件项说明:

【Redis7学习日记】—— Redis持久化
【Redis7学习日记】—— Redis持久化

三、混合持久化

  • 就是开启 AOFRDB 混合功能实现持久化
    • RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储
    • AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.
      【Redis7学习日记】—— Redis持久化
  • 那么我们开启两种功能,数据恢复和加载流程是怎样的呢?
    • 实际重启的时候只会加载 AOF 文件,不会加载 RDB 文件
      • 因为 AOF 文件可以保证数据更完整
      • 而 RDB 文件更适合用于做备份
        【Redis7学习日记】—— Redis持久化

❤️ 总结:

  • 结合了RDBAOF 的优点,既能快速加载又能避免丢失过多的数据

  • 如何开启混合功能呢?

    • 在配置文件中,做如下设置 `aof-use-rdb-preamble yes
  • RDB 镜像做全量持久化, AOF 做增量持久化

    • 先使用RDB进行快照存储,然后使用AOF持久化记录所有的写操作,当重写策略满足或手动触发重写的时候,将最新的数据存储为新的RDB记录
    • 重启服务的时候会从RDBAOF两部分恢复数据,既保证了数据完整性,又提高了恢复数据的性能
    • 混合持久化方式产生的文件一部分是RDB格式,一部分是AOF格式 【AOF包括了RDB头部+AOF混写】
      【Redis7学习日记】—— Redis持久化

四、纯缓存模式

  • 什么是纯缓存模式呢?

    • 就是关闭 RDBAOF 的功能,Redis 只用来做缓存,无需实现持久化
  • 那么我们如何关闭 RDBAOF 功能呢?

    • 都可以在配置文件中设置
      • save "" 就可以关闭 RDB 的功能
      • appendonly no 就可以关闭 AOF 的功能
  • 尽管我们关闭了持久化的功能(通过配置文件的方式),但是我们还可以生成RDBAOF文件:文章来源地址https://www.toymoban.com/news/detail-407368.html

    • 我们可以通过 save、bgsave 指令生成 RDB 文件
    • 我们可以通过 bgrewriteaof 指令生成 AOF 文件

到了这里,关于【Redis7学习日记】—— Redis持久化的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Redis学习(三)持久化机制、分布式缓存、多级缓存、Redis实战经验

    单节点Redis存在着: 数据丢失问题:单节点宕机,数据就丢失了。 并发能力和存储能力问题:单节点能够满足的并发量、能够存储的数据量有限。 故障恢复问题:如果Redis宕机,服务不可用,需要一种自动的故障恢复手段。 RDB持久化 RDB(Redis database backup file,Redis数据库备份

    2024年02月16日
    浏览(55)
  • Redis两种持久化方案RDB持久化和AOF持久化

    Redis持久化 Redis有两种持久化方案: RDB持久化 AOF持久化 1.1.RDB持久化 RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。快照文件称为RDB文件

    2024年02月14日
    浏览(53)
  • redis持久化【RDB+AOF】持久化双雄

    这是redis系列文章之《redis持久化【RDB+AOF】持久化双雄》,上一篇文章【redis基础】redis的十大数据类型_努力努力再努力mlx的博客-CSDN博客 感谢大家的支持~ 目录 RDB 什么是RDB RDB的作用 配置文件关于RDB部分  6vs7 操作步骤 修改配置文件(本案例设置5s修改2次) 修改dump文件的保

    2024年02月08日
    浏览(74)
  • 全面解析 Redis 持久化:RDB、AOF与混合持久化

    前言: 每次你在游戏中看到玩家排行榜,或者在音乐应用中浏览热门歌单,有没有想过这个排行榜是如何做到实时更新的?当然,依靠 Redis 即可做到。 在技术领域,我们经常听到 「键值存储」 这个词。但在 Redis 的世界里,这只是冰山一角。Redis 的对象,不仅仅是简单的数据

    2024年03月10日
    浏览(63)
  • 【Redis】Redis 持久化

    Redis有两种持久化方案: RDB持久化 AOF持久化 RDB 全称 Redis Database Backup file(Redis数据备份文件),也被叫做 Redis 数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当 Redis 实例故障重启后,从磁盘读取快照文件,恢复数据。快照文件称为 RDB文件,默认是保存在当

    2024年02月05日
    浏览(98)
  • 【Redis】Redis持久化方式

    Redis 中有两种持久化方式,分别为 RDB 和 AOF 。 RDB 全称 Redis Database Backup file ,也叫做 Redis 数据快照。简单来说就是把 Redis 中的数据记录到磁盘中。当 Redis 实例故障重启后,从磁盘读取快照文件,恢复数据。 RDB有两种备份方式,一种是主动备份,一种是Redis 内部执行备份 主

    2024年02月02日
    浏览(38)
  • Redis进阶 - Redis持久化

    原文首更地址,阅读效果更佳! Redis进阶 - Redis持久化 | CoderMast编程桅杆 https://www.codermast.com/database/redis/redis-advance-persistence.html 单点Redis的问题 数据丢失问题:Redis 是内存存储,服务重启可能会丢失数据。通过 实现 Redis 数据持久化解决。 并发能力问题:单节点 Redis 并发能力

    2024年02月10日
    浏览(46)
  • Redis系列--redis持久化

    redis本身运行时数据保存在内存中,如果不进行持久化,那么在redis出现非正常原因宕机或者关闭redis的进程或者关闭计算机后数据肯定被会操作系统从内存中清掉。当然,redis本身默认采用了一种持久化方式,即RDB (Redis DataBase),可以在redis的目录中找到dump.rdb文件,这就是

    2024年02月05日
    浏览(47)
  • 【Redis】Redis持久化机制

    Redis是基于内存存储的数据库,如果遇到服务重启或者崩溃,内存中的数据将会被清空。所以为了确保数据安全性和可靠性,我们需要将内存中的数据持久化到磁盘上。 持久化不仅可以防止由于系统故障、重启或者其他原因导致的数据丢失。还可以用于备份、数据恢复和迁移

    2023年04月20日
    浏览(65)
  • Redis 持久化-RDB和 持久化-AOF 的详细介绍以及区别

    在线文档: https://redis.io/topics/persistence RDB(Redis DataBase) AOF(Append Of File) 在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就Snapshot 快照,恢复时将快照文件读到内存 RDB 及其执行流程 对上图的解读 具体流程如下: redis 客户端执行bgsave 命令或者自动触发bgsave 命令;

    2024年02月09日
    浏览(71)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包