【征服redis8】Redis的AOF持久化

这篇具有很好参考价值的文章主要介绍了【征服redis8】Redis的AOF持久化。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Redis 支持多种持久化方式来保证数据的可靠性和持久性。前面我们介绍了RDB方式。我们我们介绍第二种方式——AOF(Append Only File)机制是一种常用的持久化方式,它记录了所有对 Redis 数据库进行修改的命令,在 Redis 重启时可以使用这些命令来重构数据库状态。 

目录

1.AOF的基本原理

1.1 如何启动AOF

1.2 AOF 文件的创建

1.3. AOF 文件的写入

1.4. AOF 文件的重写

1.5. AOF 文件的恢复

1.6. 小结

2. RDB和AOF混合方式

3 .AOF 持久化实践


【征服redis8】Redis的AOF持久化,精通redis,一个项目征服Java,redis,mybatis,数据库

1.AOF的基本原理

1.1 如何启动AOF

在 Redis 的配置文件中,可以通过以下配置项来设置 AOF 持久化相关的参数:

1. appendonly:设置是否开启 AOF 持久化,默认为 no(关闭状态)。

2. appendfilename:设置 AOF 文件名,默认为 appendonly.aof。

3. appendfsync:设置 AOF 文件同步策略,有以下三种可选值:

- always:每次写入都会同步到磁盘,最安全但性能最差;
- everysec:每秒同步一次到磁盘,安全性和性能的折中方案;
- no:由操作系统决定何时同步,最不安全但性能最好。

4. auto-aof-rewrite-percentage:设置 AOF 重写触发的条件之一,即 AOF 文件大小增长率达到该值时触发 AOF 重写,默认为 100。

5. auto-aof-rewrite-min-size:设置 AOF 重写触发的条件之一,即 AOF 文件大小达到该值时触发 AOF 重写,默认为 64MB。

6. aof-load-truncated:设置当 Redis 以 AOF 模式启动时,是否自动修复截断的 AOF 文件,默认为 yes。

7. aof-use-rdb-preamble:设置是否在 AOF 文件中使用 RDB 文件的前缀,默认为 yes。

修改 Redis 配置文件后,需要重启 Redis 才能使配置生效。同时,对于 AOF文件同步策略的选择,需要根据实际情况进行权衡和选择。如果对数据的安全性要求非常高,可以选择 always
策略;如果对性能的要求比较高,可以选择 everysec 策略。

1.2 AOF 文件的创建

当启用 AOF 持久化机制时,Redis 会在启动时创建一个 AOF 文件,用于记录所有写命令。AOF 文件的默认文件名为 appendonly.aof,可以通过配置文件中的 appendfilename 参数进行修改。如果 AOF 文件已经存在,则 Redis 会在启动时读取文件中的内容,并将其加载到内存中。

1.3. AOF 文件的写入

当 Redis 执行写命令时,会将命令追加到 AOF 文件的末尾。如果 AOF 文件不存在,则 Redis 会自动创建一个新的 AOF 文件。如果 AOF 文件已经存在,则 Redis 会将命令追加到文件的末尾。

Redis 为了提高写入性能,通常会将多个命令缓存到内存中,然后在满足一定条件时批量写入到 AOF 文件中。具体来说,Redis 会维护一个 AOF 缓冲区,将每个写命令追加到缓冲区的末尾。当缓冲区的大小超过一定阈值时,或者缓冲区中的命令已经等待了一定时间后,Redis 会将缓冲区中的命令批量写入到 AOF 文件中。
 

【征服redis8】Redis的AOF持久化,精通redis,一个项目征服Java,redis,mybatis,数据库

1.3. AOF 文件的同步
为了保证写命令的可靠性和持久性,Redis 会在写入 AOF 文件后进行同步操作,将数据从内存中刷到磁盘中。这就是我通常所说的刷盘操作。刷盘操作可以分为两种方式:

  • 同步磁盘上的所有数据,每次写入 AOF 文件时,Redis 会调用 fsync 系统调用将数据从内存刷到磁盘中。这种方式可以保证数据的可靠性,但是会带来较大的性能损耗。
  • 定期同步磁盘上的数据,Redis 也可以通过配置文件中的 appendfsync 参数来控制 AOF 文件的同步方式。其中,有三种常用的方式:
  1. always:每次写入 AOF 文件时都进行同步操作,可以保证数据的可靠性,但是会带来较大的性能损耗。
  2. everysec:每秒钟对 AOF 文件进行一次同步操作,可以在一定程度上平衡数据安全和性能需求。
  3. no:不进行同步操作,只在 Redis 进程退出时进行一次同步操作,可以提高性能,但是会带来一定的数据风险。

这三种方式的对比,我们可以通过下面的表来判断:

【征服redis8】Redis的AOF持久化,精通redis,一个项目征服Java,redis,mybatis,数据库

总结来说,就是:

  1. 如果要高性能,就选择 No 策略;
  2. 如果要高可靠,就选择 Always 策略;
  3. 如果允许数据丢失一点,但又想性能高,就选择 Everysec策略。

1.4. AOF 文件的重写

Redis AOF 文件在长时间运行后可能会变得非常大,不仅占用磁盘空间,还会影响 Redis 的性能。为了解决这个问题,Redis 提供了 AOF 文件重写机制,可以将 AOF 文件中的写命令进行压缩,生成一条等效的命令序列,从而减少 AOF 文件的大小。
【征服redis8】Redis的AOF持久化,精通redis,一个项目征服Java,redis,mybatis,数据库

AOF 文件重写机制的实现原理如下:

(1)Redis 会启动一个新的子进程,用于执行 AOF 文件重写操作。

(2)Redis 主进程会将所有写命令发送到子进程中,子进程会执行这些命令,并生成一条等效的命令序列。

(3)子进程会将等效命令序列写入到一个新的 AOF 文件中,同时在写入过程中进行同步操作,保证数据的可靠性。

(4)当子进程完成 AOF 文件的重写操作后,Redis 主进程会将新的 AOF 文件重命名为原来的 AOF 文件,并删除旧的 AOF 文件。

需要注意的是,AOF 文件重写操作只会对已经执行过的写命令进行压缩,新的写命令仍然会被追加到 AOF 文件的末尾。Redis 会周期性地检查 AOF 文件的大小,并在满足一定条件时触发 AOF 文件重写操作。

1.5. AOF 文件的恢复

AOF 的数据恢复过程设计很巧妙,它模拟一个 Redis 的服务过程。Redis 首先虚拟一个客户端,读取 AOF 文件恢复 Redis 命令和参数;接着过程就和服务客户端一样执行命令相应的函数,从而恢复数据,这样做的目的无非是提高代码的复用率。这些过程主要在 loadAppendOnlyFile() 中实现。我们可以理解为假的重放。

真实的过程当 Redis 重启时,会根据 AOF 文件中记录的命令重构数据库状态。具体来说,Redis 会按照 AOF 文件中记录的命令顺序,逐个执行命令,并在执行过程中重建数据库状态。需要注意的是,AOF 文件的恢复过程可能会比较耗时,因此需要在 Redis 配置文件中设置 AOF 文件的恢复方式,可以选择同步方式(always、everysec)或异步方式(no)。

所以,Redis AOF 持久化机制,其实说白了就是redis启动的时候创建一个server.aof_buf的文件,通过一个文件,实现了将写命令追加到 AOF 文件中,并在需要时同步到磁盘中,从而保证了数据的可靠性和持久性。 当异常宕机需要恢复数据的时候又通过读取文件,回放之前的命令,进行数据还原。
由此大家也可以推断出它存在的弊端。

1.6. 小结

对于相同的数据集来说,AOF 文件的体积通常要大于 RDB 文件的体积。

根据所使用的 fsync 策略,AOF 的速度可能会慢于 RDB 。

在一般情况下, 每秒 fsync 的性能依然非常高, 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快, 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时,RDB 可以提供更有保证的最大延迟时间(latency)

到此我们学完了 Redis 的持久化方式 RDB 和AOF 。那么我们对比一下。整理出如下表格:

RDB AOF
启动优先级
体积 比 AOF 小 比 RDB 大
恢复速度 比 AOF 快 比 RDB 慢
数据安全性 在定时备份时可能会丢失一定量的数据 根据同步策略决定,相对更安全
数据一致性 RDB 持久化的数据可能不是最新的,但数据一致性较高 AOF 持久化的数据较新,但数据一致性较低
运维复杂度 相对简单,只需要定期备份 RDB 文件即可 相对复杂,需要配置 AOF 缓冲区大小、同步策略等参数
写入性能 相对较高,因为 RDB 只需要生成一次快照文件即可完成持久化操作 相对较低,因为 AOF 需要将每一次写操作都写入到 AOF 文件中
读取性能 相对较高,因为 RDB 文件读取速度快 相对较低,因为需要将 AOF 文件中的所有写操作都执行一遍才能恢复
文件格式 二进制格式,比较紧凑 文本格式,可读性好
恢复方式 通过加载 RDB 文件来恢复数据库 通过加载 AOF 文件并执行其中的写操作来恢复数据库
文件重写方式 通过 BGSAVE 命令生成新的 RDB 文件来实现文件重写 通过执行 BGREWRITEAOF 命令来生成新的 AOF 文件实现文件重写

2. RDB和AOF混合方式

Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说,内存快照以一定的频率执行,在两次快照之间,使用 AOF 日志记录这期间的所有命令操作。

混合方式可以同时利用 RDB 的快速恢复和 AOF 的数据安全性。在这种混合方式下,Redis 会同时生成 RDB 文件和 AOF 文件,来保证数据的安全性和可靠性。

具体来说,可以采用如下的持久化配置:

将 AOF 模式设置为 always,并设置合适的同步策略,以确保 Redis 在执行写操作时,都将对应的操作写入 AOF 文件中。

在 Redis 中启用 RDB 持久化,并设置一个合适的持久化间隔,以确保 Redis 在每隔一定时间内,执行一次 RDB 文件的快照生成操作。

将 Redis 配置为在启动时,先尝试使用 AOF 文件进行恢复,如果 AOF 文件不存在或损坏,则使用 RDB 文件进行恢复。
【征服redis8】Redis的AOF持久化,精通redis,一个项目征服Java,redis,mybatis,数据库

通过这种方式,可以将 RDB 和 AOF 的优点结合起来,从而达到更加全面的数据保护和恢复能力。同时也需要注意,这种方式会带来一定的存储和性能开销,需要根据实际情况进行权衡和优化。

参考 AOF

3 .AOF 持久化实践

这个和上一篇一样,后面研究一下如何在本地能启动多个redis然后再补充如何实战文章来源地址https://www.toymoban.com/news/detail-803995.html

到了这里,关于【征服redis8】Redis的AOF持久化的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Redis 持久化——AOF

    使用 RDB 持久化有一个风险,它可能会造成最新数据丢失的风险。因为 RDB 的持久化有一定的时间间隔,在这个时间段内如果 Redis 服务意外终止的话,就会造成最新的数据全部丢失。 可能会操作 Redis 服务意外终止的条件: 安装 Redis 的机器停止运行,蓝屏或者系统崩溃; 安装

    2024年01月22日
    浏览(43)
  • Redis两种持久化方案RDB持久化和AOF持久化

    Redis持久化 Redis有两种持久化方案: RDB持久化 AOF持久化 1.1.RDB持久化 RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。快照文件称为RDB文件

    2024年02月14日
    浏览(53)
  • 全面解析 Redis 持久化:RDB、AOF与混合持久化

    前言: 每次你在游戏中看到玩家排行榜,或者在音乐应用中浏览热门歌单,有没有想过这个排行榜是如何做到实时更新的?当然,依靠 Redis 即可做到。 在技术领域,我们经常听到 「键值存储」 这个词。但在 Redis 的世界里,这只是冰山一角。Redis 的对象,不仅仅是简单的数据

    2024年03月10日
    浏览(63)
  • redis 持久化 RDB + AOF

    RDB(Redis DataBase)和AOF(Append Only File) RDB,简而言之,就是在不同的时间点,将redis存储的数据生成快照并存储到磁盘等介质上 AOF,那就是将redis执行过的所有写指令记录下来,在下次redis重新启动时,只要把这些写指令从前到后再重复执行一遍,就可以实现数据恢复了。

    2024年02月03日
    浏览(58)
  • 【Redis】Redis持久化机制RDB与AOF

    目录 一、RDB 1、概念 2、RDB文件保存 3、执行RDB 4、触发RDB 5、fork原理 6、RDB的缺点 二、AOF 1、概念 2、开启AOF 3、触发AOF 4、触发重写AOF 三、区别 RDB全称为Redis Database Backup File(Redis数据备份文件),也叫做Redis数据快照。简单的来说就是把某一时刻Redis内存里的数据都记录到磁

    2024年02月08日
    浏览(54)
  • 【Redis】Redis持久化之AOF详解(Redis专栏启动)

    📫作者简介:小明java问道之路, 2022年度博客之星全国TOP3 ,专注于后端、中间件、计算机底层、架构设计演进与稳定性建工设优化。文章内容兼具广度深度、大厂技术方案,对待技术喜欢推理加验证,就职于知名金融公司后端高级工程师。          📫 热衷分享,喜欢原

    2024年02月02日
    浏览(36)
  • Redis优化 RDB AOF持久化

    ---------------------- Redis 高可用 ---------------------------------------- 在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)。 但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主

    2024年02月09日
    浏览(55)
  • Redis 持久化RDB和AOF

    Redis 有两种持久化方案,RDB (Redis DataBase)和 AOF (Append Only File)。如果你想快速了解和使用RDB和AOF,可以直接跳到文章底部看总结。本章节通过配置文件,触发快照的方式,恢复数据的操作,命令操作演示,优缺点来学习 Redis 的重点知识 持久化 。 RDB 是 Redis 默认的持久化

    2024年02月14日
    浏览(46)
  • Redis持久化(RDB和AOF)

    目录 方式一:RDB 方式二:AOF AOF重写可能出现的问题及解决方案 方式三:RDB-AOF混合持久化 Redis持久化 :Redis是基于内存数据库,宕机后和数据会消失,当Redis用作DB 时,DB数据要完整,所以一定要有一个完整的数据源文件,在系统启动时,从这个完整的数据源中将数据load到

    2024年02月16日
    浏览(41)
  • Redis_持久化(AOF、RDB)

    目前,redis的持久化主要应用AOF(Append Only File)和RDF两大机制,AOF以日志的形式来记录每个写操作(增量保存),将redis执行过的所有指令全部安全记录下来(读操作不记录)。只许追加文件,但不可以改写文件,redis启动之初,会读取该文件,重新构建数据。 AOF默认不开启

    2024年02月13日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包