Kafka 入门到起飞 - 生产者参数详解 ,什么是生产者确认机制? 什么是ISR? 什么是 OSR?

这篇具有很好参考价值的文章主要介绍了Kafka 入门到起飞 - 生产者参数详解 ,什么是生产者确认机制? 什么是ISR? 什么是 OSR?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

上回书我们讲了,生产者发送消息流程解析传送门

那么这篇我们来看下,生产者发送消息时几个重要的参数详解 ,什么是生产者确认机制? 什么是ISR? 什么是 OSR?

参数:

bootstrap.servers : Kafka 集群地址 host1:port1,host2:port2,host3:port3
不需要写Kafka集群中全部的broker地址,但是也不要写一个,2-3个即可,防止节点宕机时集群不可用
key.serializer: key 的序列化器 ,指定key怎么转换成字节数组

value.serializer: value的序列化器 ,指定value怎么转换成字节数组

compression type: 默认值:none,对批次消息进行压缩的方式,gzip,snappy、lz4等

retries : 设置重试次数,消息重试存在乱序的可能
max.in.flight.requests.per.connection = 1 可以解决乱序问题,对于当前连接,有一个等待确认的消息,不会再发送后面消息,即确认一个发送一个,保证消息的有序性

什么是生产者确认机制?

我们在生产者发送消息时可以指定acks参数值,来决定收到消息发送后什么样的确认即可继续发送后面的消息

acks : 生产者发送消息确认机制
acks = 0 : 生产者不等broker确认,不断发送消息,发送消息快,允许丢消息,只要将消息放到了socket的缓冲区,就认为消息已发送成功
acks = 1: 默认值,允许少量消息丢失,broker上leader分区写入消息即返回生产者消息确认,不等待follower副本分区的确认,这种情况下,存在消息丢失的风险
acks = all : 确保消息不丢失,最强可用性,保证所有(ISR)同步副本分区都同步成功消息才返回生产者确认消息

什么是ISR? 什么是 OSR?

ISR (In-Sync Replicas): 同步副本

在一定时间内和leader保持数据同步的副本列表,这句话可以看到副本保持在ISR集合中需要两个条件,一定时间内 和 与leader副本保持数据同步
1、rerplica.lag.time.max.ms=10000 参数设置follower副本向ISR发送心跳的最大延迟时间,默认10s 也就是说10s内follower还没有向leader去同步数据,就会认为这个副本不行了,将它踢出ISR
2、rerplica.lag.max.messages=4000 参数设置消息的最大延迟条数,就是如果follower比leader消息数少4000条以上,就认为这个副本不行了,将它踢出ISR
在Kafka高版本中,取消了条件2的限制

OSR (Out-of-Sync Replicas): 非同步副本

从上面ISR中剔除的副本将会被放到OSR中,当OSR中副本满足ISR的条件,会重新加入到ISR中

值得注意的是,上面生产者确认机制中说到的副本同步,指的是ISR中的副本,并不包括OSR中的副本文章来源地址https://www.toymoban.com/news/detail-618099.html

到了这里,关于Kafka 入门到起飞 - 生产者参数详解 ,什么是生产者确认机制? 什么是ISR? 什么是 OSR?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka生产者原理 kafka生产者发送流程 kafka消息发送到集群步骤 kafka如何发送消息 kafka详解

    kafka尚硅谷视频: 10_尚硅谷_Kafka_生产者_原理_哔哩哔哩_bilibili ​      1. producer初始化:加载默认配置,以及配置的参数,开启网络线程      2. 拦截器拦截      3. 序列化器进行消息key, value序列化      4. 进行分区      5. kafka broker集群 获取metaData      6. 消息缓存到

    2024年02月11日
    浏览(48)
  • 多图详解 kafka 生产者消息发送过程

    生产者客户端代码 KafkaProducer 通过解析 producer.propeties 文件里面的属性来构造自己。例如 :分区器、Key 和 Value 序列化器、拦截器、 RecordAccumulator消息累加器 、 元信息更新器 、启动发送请求的后台线程 生产者元信息更新器 我们之前有讲过. 客户端都会保存集群的元信息,例如

    2023年04月09日
    浏览(41)
  • kafka入门,提高生产者吞吐量练习(七)

    batch.size 批次大小,默认16k linger,ms 等待时间,修改为5-100ms compression.type 压缩snappy RecordAccmulator 缓冲区大小,修改为64m

    2024年02月12日
    浏览(37)
  • 大数据开发之Kafka(概述、快速入门、生产者)

    Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 发布/订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。 目前企业中比较常见的消息队列产品主要有Kafka、ActiveM

    2024年01月19日
    浏览(59)
  • java:Kafka生产者推送数据与消费者接收数据(参数配置以及案例)

    bootstrap.servers :Kafka集群中的Broker列表,格式为host1:port1,host2:port2,…。生产者会从这些Broker中选择一个可用的Broker作为消息发送的目标Broker。 acks :Broker对消息的确认模式。可选值为0、1、all。0表示生产者不会等待Broker的任何确认消息;1表示生产者会等待Broker的Leader副本确认

    2024年02月16日
    浏览(47)
  • kafka入门,生产者异步发送、回调函数,同步发送(四)

    引入依赖 回调函数会在producer收到ack时调用,该方法有两个参数,分别是元数据信息(RecordMetadata)和异常信息(Exception),如果Exception为null,说明信息发送失败 注意:消息发送失败会自动重试,不需要我们在回调函数中手动重试。 只需在异步发送的基础上,再调用一下 get(

    2024年02月11日
    浏览(48)
  • kafka生产者异步发送、同步发送、回调异步发送,是什么情况?

    Kafka是一种分布式流处理平台 ,它是一种高吞吐量、可扩展、可持久化的消息队列系统,用于处理和存储实时流式数据。 Kafka基于发布-订阅模式,采用了分布式、多副本、分区的架构。它允许生产者将数据以消息的形式发送到Kafka集群的一个或多个主题(topic)中,而消费者可以

    2024年02月15日
    浏览(39)
  • 消息队列Pulsar入门(一) 生产者/消费者/Topic详解,附源码演示

    部署问题 连接Pulsar 创建方式 简单方法创建 loadConf自定义配置创建 Pulsar官网 发送模式 同步发送 异步发送 访问方式/发送方式 Share模式(默认情况) 请注意: Exclusive WaitForExclusive 创建方式 简单方法创建 监听器方法创建 loadConf自定义配置创建 多主题订阅 传入List数组的多主题订阅

    2024年02月08日
    浏览(44)
  • 三、Kafka生产者1---Kafka生产者初始化-new KafkaProducer

    概述 本文主要是分享Kafka初始化生产者的 大体过程 初始化过程中会新建很多对象,本文暂先分享部分对象 1.分区器---Partitioner partitioner 2.重试时间---long retryBackoffMs 3.序列化器---SerializerK keySerializer,SerializerV valueSerializer 4.拦截器--- ListProducerInterceptorK, V interceptorList 5.累加器-

    2024年03月14日
    浏览(63)
  • (三)Kafka 生产者

    创建一个 ProducerRecord 对象,需要包含目标主题和要发送的内容,还可以指定键、分区、时间戳或标头。 在发送 ProducerRecord 对象时,生产者需要先把键和值对象序列化成字节数组,这样才能在网络上传输。 如果没有显式地指定分区,那么数据将被传给分区器。分区器通常会基

    2024年02月09日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包