彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

这篇具有很好参考价值的文章主要介绍了彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Docker部署的设置

部署背景:
在DockerHub拉取的bitnami/kafka:3.4.1 镜像,如果要部署在Docker-Swarm集群或者单Docker部署,对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES,如果设置为其他不符合规范的参数格式,会导致容器一直启动不了。

PS:KAFKA_CFG_MESSAGE_MAX_BYTES 是针对Broker级别消息大小限制的配置

彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

可以通过kafka管控平台查看相关参数可得,消息体大小设置已重启生效
当然如果大多数Topic对于消息的大小需求都在默认的1MB以内,小部分Topic有需求的话,可以单独调整单个Topic的设置
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

Kraft模式Kafka集群部署的设置

部署背景:
在通过Kafka官网下载的V3.5.1 Binary Download包部署的三节点Kraft模式kafka集群下,设置参数
接下来从消息流方向进行解析
(1)生产者限制
max.request.size
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

batch.size
batch.size默认16KB,那么每个Batch需要凑满16KB才会一次性推送到Kafka集群,提高此参数可以允许更多的数据缓冲到batch,吞吐量会有所提高,如果设置得过大但流量较小导致数据一直缓冲在batch无法推出就会导致延迟很高

(2)Kafka Topic限制
max.request.size
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

(3)Kafka Broker限制:
message.max.bytes
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

(4)消费者限制
max.partition.fetch.bytes
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置文章来源地址https://www.toymoban.com/news/detail-710832.html

到了这里,关于彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • (二十六)大数据实战——kafka集群之Kraft模式安装与部署

    本节内容主要介绍kafka3.0版本以后,一种新的kafka集群搭建模式看kraft,在该模式下,kafka高可用不在依赖于zookeeper,用 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进 行 Kafka 集群管理。 ①解压kafka安装包到/opt/module/kafka-kraft目录下 - 命令: ②修改k

    2024年02月08日
    浏览(33)
  • kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

    1、 本次实验,采用kafka版本为 3.4.0 2、我们首先需要了解一下,一个 Kafka 集群是由下列几种类型的节点构成的,它们充当着不同的作用: Broker 节点 :即 代理节点 ,是 Kafka 中的工作节点,充当消息队列的角色, 负责储存和处理消息 ,每个 Broker 都是一个独立的 Kafka 服务器

    2024年02月10日
    浏览(32)
  • Kafka 3.4.0 kraft 集群搭建

    Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用 KRaft(Kafka Raft)共识协议的版本。在几年的开发过程中,它先是在 Kafka 2.8 早期访问版本中发布,然后又在 Kafka 3.0 预览版本中发布。 KRaft 是一种共识协议,可以直接在 Kafk

    2024年02月13日
    浏览(33)
  • 【Kafka】Kafka3.1.1集群搭建指南KRaft版本

    目录 一、背景和描述 二、资源情况 三、技术选型 四、部署Kraft版本集群 五、配置SSL模式 六、Springboot使用SSL集成 参考资料 考虑资源安全性,需要搭建不依赖Zookeeper的kafka集群环境,并且配置SSL访问控制 Apache Kafka Raft 是一种共识协议,它的引入是为了消除 Kafka 对 ZooKeeper 的

    2024年02月03日
    浏览(23)
  • 【Kafka】Kafka3.3.1集群搭建指南KRaft版本

    目录 一、背景和描述 二、资源情况 三、技术选型 四、部署Kraft版本集群 五、配置SSL模式 六、Springboot使用SSL集成 参考资料 考虑资源安全性,需要搭建不依赖Zookeeper的kafka集群环境,并且配置SSL访问控制 Apache Kafka Raft 是一种共识协议,它的引入是为了消除 Kafka 对 ZooKeeper 的

    2024年02月05日
    浏览(39)
  • Kafka KRaft模式探索

    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer,以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。 目前,Kafka在使用的过程当中,会出现一些

    2024年02月05日
    浏览(26)
  • Kafka系列之:Kraft模式

    Kafka元数据存储在zookeeper中,运行时动态选举controller,由controller进行Kafka集群管理。 Kraft模式不再依赖zookeeper集群,用三台controller节点代替zookeeper,元数据保存在controller中,由controller直接进行Kafka集群管理。 Kraft的好处有以下几个: Kafka不再依赖外部框架,而是能够独立运

    2024年02月12日
    浏览(28)
  • docker容器单机部署zookeeper+kafka集群

    KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 其中zookeeper会转化成zookeeper的ip kafka1: 10.21.214.66 其中10.21.214.66 填写宿主机ip

    2024年02月19日
    浏览(29)
  • 【运维】Kafka高可用: KRaft(不依赖zookeeper)集群搭建

    本文主要介绍了 kafka raft集群架构: 与旧架构的不同点,有哪些优势,哪些问题 架构成员有哪些,怎么规划。 三节点集群安装、启动与测试 在旧的架构中 Kafka集群包含 多个broker节点和一个ZooKeeper 集群 。如上图集群结构:4个broker节点和3个ZooKeeper节点。Kafka 集群的controller在

    2024年02月03日
    浏览(27)
  • 20,000+ 字,彻底搞懂 Kafka!

    1、解耦合 2、异步处理 例如电商平台,秒杀活动。 一般流程会分为: 风险控制 库存锁定 生成订单 短信通知 更新数据 通过消息系统将秒杀活动业务拆分开,将不急需处理的业务放在后面慢慢处理; 流程改为: 风险控制 库存锁定 消息系统 生成订单 短信通知 更新数据 3、

    2024年02月11日
    浏览(21)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包