AOF日志:宕机了,Redis如何避免数据丢失

这篇具有很好参考价值的文章主要介绍了AOF日志:宕机了,Redis如何避免数据丢失。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

当服务器宕机后,数据全部丢失:我们很容易想到的一个解决方案是从后端数据库恢复这些数据,但这种方式存在两个问题:一是,需要频繁访问数据库,会给数据库带来巨大的压力;二是,这些数据是从慢速数据库中读取出来的,性能肯定比不上从 Redis 中读取,导致使用这些数据的应用程序响应变慢。所以,对 Redis 来说,实现数据的持久化,避免从后端数据库中进行恢复,是至
关重要的。

目前,Redis 的持久化主要有两大机制,即 AOF 日志和 RDB 快照。

AOF 日志是如何实现的?

说到日志,我们比较熟悉的是数据库的写前日志(Write Ahead Log, WAL),也就是
说,在实际写数据前,先把修改的数据记到日志文件中,以便故障时进行恢复。不过,
AOF 日志正好相反,它是写后日志,“写后”的意思是 Redis 是先执行命令,把数据写入
内存,然后才记录日志,如下图所示:

AOF日志:宕机了,Redis如何避免数据丢失,redis,redis,数据库,缓存

 那 AOF 为什么要先执行命令再记日志呢?要回答这个问题,我们要先知道 AOF 里记录了
什么内容?

传统数据库的日志,例如 redo log(重做日志),记录的是修改后的数据,而 AOF 里记
录的是 Redis 收到的每一条命令,这些命令是以文本形式保存的。

我们以 Redis 收到“set testkey testvalue”命令后记录的日志为例,看看 AOF 日志的内
容。其中,“*3”表示当前命令有三个部分,每部分都是由“$+数字”开头,后面紧跟着
具体的命令、键或值。这里,“数字”表示这部分中的命令、键或值一共有多少字节。例
如,“$3 set”表示这部分有 3 个字节,也就是“set”命令。

AOF日志:宕机了,Redis如何避免数据丢失,redis,redis,数据库,缓存

         但是,为了避免额外的检查开销,Redis 在向 AOF 里面记录日志的时候,并不会先去对这
些命令进行语法检查。所以,如果先记日志再执行命令的话,日志中就有可能记录了错误
的命令,Redis 在使用日志恢复数据时,就可能会出错。

        而写后日志这种方式,就是先让系统执行命令,只有命令能执行成功,才会被记录到日志
中,否则,系统就会直接向客户端报错。所以,Redis 使用写后日志这一方式的一大好处
是,可以避免出现记录错误命令的情况。

        除此之外,AOF 还有一个好处:它是在命令执行后才记录日志,所以不会阻塞当前的写操
作。

        不过,AOF 也有两个潜在的风险 :

        首先,如果刚执行完一个命令,还没有来得及记日志就宕机了,那么这个命令和相应的数
据就有丢失的风险。如果此时 Redis 是用作缓存,还可以从后端数据库重新读入数据进行恢复,但是,如果 Redis 是直接用作数据库的话,此时,因为命令没有记入日志,所以就无法用日志进行恢复了。

        其次,AOF 虽然避免了对当前命令的阻塞,但可能会给下一个操作带来阻塞风险。这是因
为,AOF 日志也是在主线程中执行的,如果在把日志文件写入磁盘时,磁盘写压力大,就
会导致写盘很慢,进而导致后续的操作也无法执行了

        其次,AOF 虽然避免了对当前命令的阻塞,但可能会给下一个操作带来阻塞风险。这是因
为,AOF 日志也是在主线程中执行的,如果在把日志文件写入磁盘时,磁盘写压力大,就
会导致写盘很慢,进而导致后续的操作也无法执行了


三种写回策略

其实,对于这个问题,AOF 机制给我们提供了三个选择,也就是 AOF 配置项
appendfsync 的三个可选值。

        Always,同步写回:每个写命令执行完,立马同步地将日志写回磁盘;
        Everysec,每秒写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲
        区,每隔一秒把缓冲区中的内容写入磁盘;
        No,操作系统控制的写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓
        冲区,由操作系统决定何时将缓冲区内容写回磁盘

        针对避免主线程阻塞和减少数据丢失问题,这三种写回策略都无法做到两全其美。我们来
分析下其中的原因:

        “同步写回”可以做到基本不丢数据,但是它在每一个写命令后都有一个慢速的落盘操
作,不可避免地会影响主线程性能;

        虽然“操作系统控制的写回”在写完缓冲区后,就可以继续执行后续的命令,但是落盘
的时机已经不在 Redis 手中了,只要 AOF 记录没有写回磁盘,一旦宕机对应的数据就
丢失了;                

        每秒写回”采用一秒写回一次的频率,避免了“同步写回”的性能开销,虽然减少了
对系统性能的影响,但是如果发生宕机,上一秒内未落盘的命令操作仍然会丢失。所
以,这只能算是,在避免影响主线程性能和避免数据丢失两者间取了个折中。

三种写回策略的优缺点:

AOF日志:宕机了,Redis如何避免数据丢失,redis,redis,数据库,缓存

我们就可以根据系统对高性能和高可靠性的要求,来选择使用哪种写回策略

 

        但是,按照系统的性能需求选定了写回策略,并不是“高枕无忧”了。毕竟,AOF 是以文
件的形式在记录接收到的所有写命令。随着接收的写命令越来越多,AOF 文件会越来越
大。这也就意味着,我们一定要小心 AOF 文件过大带来的性能问题。 

        这里的“性能问题”,主要在于以下三个方面:一是,文件系统本身对文件大小有限制,
无法保存过大的文件
;二是,如果文件太大,之后再往里面追加命令记录的话,效率也会
变低
;三是,如果发生宕机,AOF 中记录的命令要一个个被重新执行,用于故障恢复,如
果日志文件太大,整个恢复过程就会非常缓慢
,这就会影响到 Redis 的正常使用。

        所以,我们就要采取一定的控制手段,这个时候,AOF 重写机制就登场了。

日志文件太大了怎么办?

        简单来说,AOF 重写机制就是在重写时,Redis 根据数据库的现状创建一个新的 AOF 文
件,也就是说,读取数据库中的所有键值对,然后对每一个键值对用一条命令记录它的写
入。比如说,当读取了键值对“testkey”: “testvalue”之后,重写机制会记录 set
testkey testvalue 这条命令。这样,当需要恢复时,可以重新执行该命令,实
现“testkey”: “testvalue”的写入。

        为什么重写机制可以把日志文件变小呢? 实际上,重写机制具有“多变一”功能。所谓
的“多变一”,也就是说,旧日志文件中的多条命令,在重写后的新日志中变成了一条命
令。 

        我们知道,AOF 文件是以追加的方式,逐一记录接收到的写命令的。当一个键值对被多条
写命令反复修改时,AOF 文件会记录相应的多条命令。但是,在重写的时候,是根据这个
键值对当前的最新状态,为它生成对应的写入命令。这样一来,一个键值对在重写日志中
只用一条命令就行了,而且,在日志恢复时,只用执行这条命令,就可以直接完成这个键
值对的写入了。       

        下面这张图就是一个例子:

AOF日志:宕机了,Redis如何避免数据丢失,redis,redis,数据库,缓存

         当我们对一个列表先后做了 6 次修改操作后,列表的最后状态是[“D”, “C”, “N”],
此时,只用 LPUSH u:list “N”, “C”, "D"这一条命令就能实现该数据的恢复,这就节省
了五条命令的空间。对于被修改过成百上千次的键值对来说,重写能节省的空间当然就更
大了。

        不过,虽然 AOF 重写后,日志文件会缩小,但是,要把整个数据库的最新数据的操作日志
都写回磁盘,仍然是一个非常耗时的过程。这时,我们就要继续关注另一个问题了:重写
会不会阻塞主线程?

AOF 重写会阻塞吗?

        和 AOF 日志由主线程写回不同,重写过程是由后台线程 bgrewriteaof 来完成的,这也是
为了避免阻塞主线程,导致数据库性能下降。

        我把重写的过程总结为“一个拷贝,两处日志”

        一个拷贝”就是指,每次执行重写时,主线程 fork 出后台的 bgrewriteaof 子进程。此
时,fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程,这里面就包含了数据库的
最新数据。然后,bgrewriteaof 子进程就可以在不影响主线程的情况下,逐一把拷贝的数
据写成操作,记入重写日志。

        “两处日志”又是什么呢?

        因为主线程未阻塞,仍然可以处理新来的操作。此时,如果有写操作,第一处日志就是指
正在使用的 AOF 日志,Redis 会把这个操作写到它的缓冲区。这样一来,即使宕机了,这
个 AOF 日志的操作仍然是齐全的,可以用于恢复。

        而第二处日志,就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这
样,重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后,重写日
志记录的这些最新操作也会写入新的 AOF 文件,以保证数据库最新状态的记录。此时,我
们就可以用新的 AOF 文件替代旧文件了。

AOF日志:宕机了,Redis如何避免数据丢失,redis,redis,数据库,缓存

 总结来说,每次 AOF 重写时,Redis 会先执行一个内存拷贝,用于重写;然后,使用两个
日志保证在重写过程中,新写入的数据不会丢失。而且,因为 Redis 采用额外的线程进行
数据重写,所以,这个过程并不会阻塞主线程。

问题的提出

        不过,你可能也注意到了,落盘时机和重写机制都是在“记日志”这一过程中发挥作用
的。例如,落盘时机的选择可以避免记日志时阻塞主线程,重写可以避免日志文件过大。
但是,在“用日志”的过程中,也就是使用 AOF 进行故障恢复时,我们仍然需要把所有的
操作记录都运行一遍。再加上 Redis 的单线程设计,这些命令操作只能一条一条按顺序执
行,这个“重放”的过程就会很慢了。
        那么,有没有既能避免数据丢失,又能更快地恢复的方法呢?当然有,那就是 RDB 快照
了。

        AOF 日志重写的时候,是由 bgrewriteaof 子进程来完成的,不用主线程参与,我们今
天说的非阻塞也是指子进程的执行不阻塞主线程。但是,你觉得,这个重写过程有没有
其他潜在的阻塞风险呢?如果有的话,会在哪里阻塞?

        AOF 重写也有一个重写日志,为什么它不共享使用 AOF 本身的日志呢?

        学习就是这样你会发现,你学着学着就会发现很多问题文章来源地址https://www.toymoban.com/news/detail-630073.html

到了这里,关于AOF日志:宕机了,Redis如何避免数据丢失的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Redis 重写 AOF 日志期间,主进程可以正常处理命令吗?

    重写 AOF 日志的过程是怎样的? Redis 的重写 AOF 过程是由后台子进程 bgrewriteaof 来完成的,这么做有以下两个好处。 子进程进行 AOF 重写期间,主进程可以继续处理命令请求,从而避免阻塞主进程 子进程带有主进程的数据副本。这里使用子进程而不是线程,是因为如果使用线

    2024年02月11日
    浏览(31)
  • RabbitMQ如何避免丢失消息

    消息从生产到消费,要经历三个阶段,分别是生产、队列转发与消费,每个环节都可能丢失消息。 以下以RabbitMQ为例,来说明各个阶段会产生的问题以及解决方式。在说明之前,先回顾一下RabbitMQ的一个基本架构图 1. 网络问题 外界环境问题导致:发生网络丢包、网络故障等造

    2024年02月10日
    浏览(31)
  • Kafka如何避免消息丢失?

    为了避免出现消息丢失从而造成巨大的损失,有如下方法可以最大限度避免消息的丢失 在避免出现消息丢失情况出现之前,首先要知道kafka消息发送和接受过程,才能更加清楚的知道消息丢失的原因,从而避免 1、kafka 在producer 端产生消息,调用kafka producer client send方法发送消

    2024年02月03日
    浏览(33)
  • redis数据安全(三)数据持久化 AOF

    接上一篇RDB,本篇看下Redis数据持久化的第二种方式AOF。 目录 一、AOF原理 1、写入机制: 2、缓冲机制: 3、重写机制 : 4、运行流程 二、AOF文件配置 1、开启AOF: 2、自动触发AOF重写  3、重写规则: 三、AOF的备份恢复: 1、正常恢复: 2、异常恢复: 四、重写流程: 五、

    2024年01月19日
    浏览(34)
  • Redis---数据持久化之RDB与AOF

    Redis 数据库文件,全称 Redis DataBase,数据持久化方式之一,数据持久化 默认方式 ,按照指定时间间隔,将内存中的数据及快照写入硬盘 定义RDB文件名 dbfilename \\\"dump.rdb\\\" RDB指dump.rdb文件; redis数据每次存盘,如果不指定持久化的方式,数据就会默认存入dump.rdb文件中 数据从内存

    2023年04月19日
    浏览(34)
  • Redis - redis.windows.conf配置文件及RDB和AOF数据持久化方案

    Redis的高性能是由于其将所有数据都存储在了内存中,为了使Redis在重启之后仍能保证数据不丢失,需要将数据从内存中同步到硬盘中,这一过程就是持久化。 Redis支持两种方式的持久化,一种是RDB方式,一种是AOF方式。可以单独使用其中一种或将二者结合使用。 该机制是指

    2024年01月24日
    浏览(44)
  • 【Redis】AOF 源码

    在上篇, 我们已经从使用 / 机制 / AOF 过程中涉及的辅助功能等方面简单了解了 Redis AOF。 这篇将从源码的形式, 进行深入的了解。 Redis 的 AOF 功能概括起来就 2 个功能 AOF 同步: 将客户端发送的变更命令, 保存到 AOF 文件中 AOF 重写: 随着 Redis 的运行, AOF 文件会不断变大, 在文件达

    2024年01月19日
    浏览(25)
  • 【Redis】——AOF持久化

    AOF日志是redis为数据的持久化提供了的一个技术,日志里面记录着执行redis写命令。 每当r edis执行一条写命令的时候,就会将该命令记录 到AOF日志当中 。 当redis启动的时候,可以加载AOF日志中的所有指令,并执行这些指令恢复所有的数据。 在 Redis 中 AOF 持久化功能默认是不开

    2024年02月13日
    浏览(35)
  • Redis- AOF刷盘策略

    在Redis中, appendfsync everysec 是一个与持久化相关的配置选项,它属于 Redis 的 AOF(Append Only File)持久化策略的一部分。 Redis支持两种主要的数据持久化方式:RDB(快照)和AOF(追加只文件)。AOF持久化通过记录每个写操作到一个日志文件来工作,以此在Redis重启后重放这些操

    2024年01月21日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包