Kafka入门到起飞系列 - 副本机制,什么是副本因子呢?

这篇具有很好参考价值的文章主要介绍了Kafka入门到起飞系列 - 副本机制,什么是副本因子呢?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

我们一直在讲一个主题会有多个分区,这多个分区可以分布在一台服务器上,也可以分布在多台服务器上,还可以增加分区(Kafka目前只支持分区),这是Kafka提供的一种横向扩展的手段
比如我们创建了一个主题,给主题分配50个分区(这个数不大,_consumer_offset主题默认就50个分区),每个分区放在不同的broker上,那么我们要保证这50台服务器都不能宕机,一旦服务器宕机,分区数据就丢失了,保障服务不宕机这是很难的,所以Kafka给我们提供了副本机制

副本机制

  • 在Kafka中,将主题分成多个分区
  • 分区有两个角色,Leader分区和Follower分区
  • Kafka对外提供读写服务的是Leader分区
  • Follower分区负责从Leader分区同步消息,与Leader分区保持一致
  • Follower分区一定和Leader分区放在不同的服务器(broker)上,否则就没有意义了,一宕全宕
  • 当Leader分区宕机,会从Follower分区(ISR同步副本)选出一个转换成Leader分区继续对外提供服务

我们举个🌰,如下图;
Kafka入门到起飞系列 - 副本机制,什么是副本因子呢?,kafka,kafka,副本机制,副本因子文章来源地址https://www.toymoban.com/news/detail-610829.html

  • Kafka 集群有三个节点(3个broker)
  • 主题Topic有3个分区Partition_0、Partition_1 、Partition_2,三个分区分别放在不同的broker上
  • 粉色为Leader分区,灰色为Follower分区
  • 每个分区有一个副本,也分别放在不同分区上,并且与其Leader分区放在不同的broker上
  • 上图灰色分区就是粉色分区的副本分区
  • Kafka 通过副本分区实现高可用
  • replication-factor 副本因子 = leader + follower replication-factor=3,则leader+2follower
  • Follower 分区像普通的Kafka消费者一样,消费来自Leader分区的消息,并将其持久化到自己的日志中,
  • Kafka允许Follower对日志数据拉取进行批处理

ISR - 同步副本

  • 节点与zookeeper保持通信,通过zookeeper的心跳机制,与zookeeper要保持一个长连接
  • 允许副本分区与Leader分区有一定消息的偏移

到了这里,关于Kafka入门到起飞系列 - 副本机制,什么是副本因子呢?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka 入门到起飞系列 - 生产者发送消息流程解析

    生产者通过 producerRecord 对象封装消息主题、消息的value(内容)、timestamp(时间戳)等 生产者通过 send() 方法发送消息,send()方法会经过如下几步 1. 首先将消息交给 拦截器(Interceptor) 处理, 拦截器对生产者而言,对所有消息都是生效的,拦截器也支持链式编程(责任器链)的

    2024年02月16日
    浏览(48)
  • Kafka 入门到起飞 - Kafka怎么做到保障消息不会重复消费的? 消费者组是什么?

    消费者 : 1、订阅Topic(主题) 2、从订阅的Topic消费(pull)消息, 3、将消费消息的offset(偏移量)保存在Kafka内置的一Topic名字是_consumer_offsets的主题中,在Kafka的logs文件下能看到这👟文件,存放的是消息的偏移量数据 消费者组 : 1、订阅同一个Topic的消费者可以加入到一个

    2024年02月15日
    浏览(42)
  • Kafka 入门到起飞 - 什么是 HW 和 LEO?何时更新HW和LEO呢?

    上文我们已经学到, 一个Topic(主题)会有多个Partition(分区) 为了保证高可用,每个分区有多个Replication(副本) 副本分为Leader 和 Follower 两个角色,Leader副本对外提供读写服务,Follower 从Leader同步数据 当Leader副本挂掉,从ISR中选举一个Follower副本成为新的Leader对外继续提

    2024年02月10日
    浏览(43)
  • Kafka-服务端-副本机制

    Kafka从0.8版本开始引入副本(Replica)的机制,其目的是为了增加Kafka集群的高可用性。 Kafka实现副本机制之后,每个分区可以有多个副本,并且会从其副本集合(Assigned Replica,AR)中选出一个副本作为Leader副本,所有的读写请求都由选举出的Leader副本处理。 剩余的其他副本都作为F

    2024年01月24日
    浏览(46)
  • Kafka架构篇 - 多副本机制

    副本是分布式系统中对 数据 和 服务 提供的一种冗余方式。为了对外提供可用的服务,往往会对 数据 和 服务 进行副本处理。 数据副本:在不同的节点持久化同一份数据,当某个节点存储的数据丢失时,可以从副本中读取数据,这是分布式系统解决数据丢失问题的最有效的

    2024年02月08日
    浏览(50)
  • Kafka的分区和副本机制

    Kafka的分区和副本机制是分布式消息系统中的重要概念,它们在数据一致性和容错方面起到了关键作用。下面我将详细介绍这两个机制的工作原理和底层实现思路,并通过Java源码示例和分析来加深理解。 Kafka分区机制 Kafka的分区机制是按照一定规则将主题(Topic)中的消息分

    2024年02月01日
    浏览(53)
  • kafka入门,Kafka 副本(十三)

    1)Kafka副本作用,提高数据可靠性 2)Kafka默认副本1个,生产环境一般配置2个,保证数据可靠性,太多副本会增加磁盘存储空间,增加网络上数据传输,降低效率 3)Kafka中副本份为:Leader和Follower,kafka生产者只会把数据发往Leader,然后Follower找Leader进行同步数据 4)Kafka分区中

    2024年02月14日
    浏览(38)
  • Kafka 入门到起飞 - Kafka是怎么保证可靠性的呢

    什么是消息的可靠性呢,就是Kafka作为消息中间件,可以保证生产者发送过来的消息,即使在Kafka集群有节点出现宕机的情况下,也不会丢失 Kafka 是通过 消息确认机制 和 副本复制机制 来保证消息可靠性的 创建topic时,可以指定 副本因子 repilication-factor = 3 ,默认是3 表示分区

    2024年02月12日
    浏览(35)
  • Kafka 入门到起飞 - 核心概念(术语解释)

    在kafka之旅,我们会大量讨论Kafka中的术语,那么就让我们先来了解一下这些核心概念 消息(Message): kafka的数据单元称为消息,相当于DB里的 一行数据 或 一条记录 消息由 字节数组 组成 批次: 生产者组一批数据再向kafka推送,批次大小可以通过参数配置 把消息分成批次传输

    2024年02月17日
    浏览(59)
  • kafka入门(八):副本

    副本 副本(Replica),指的是分布式系统对数据和服务提供的一种冗余方式。 Kafka通过多副本机制实现故障自动转移,在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。 kafka 副本之间是 一主多从的关系。 其中 leader 副本负责处理读写请求,follower 副本只负责与 leader

    2024年01月25日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包