彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

这篇具有很好参考价值的文章主要介绍了彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Docker部署的设置

部署背景:
在DockerHub拉取的bitnami/kafka:3.4.1 镜像,如果要部署在Docker-Swarm集群或者单Docker部署,对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES,如果设置为其他不符合规范的参数格式,会导致容器一直启动不了。

PS:KAFKA_CFG_MESSAGE_MAX_BYTES 是针对Broker级别消息大小限制的配置

彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

可以通过kafka管控平台查看相关参数可得,消息体大小设置已重启生效
当然如果大多数Topic对于消息的大小需求都在默认的1MB以内,小部分Topic有需求的话,可以单独调整单个Topic的设置
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

Kraft模式Kafka集群部署的设置

部署背景:
在通过Kafka官网下载的V3.5.1 Binary Download包部署的三节点Kraft模式kafka集群下,设置参数
接下来从消息流方向进行解析
(1)生产者限制
max.request.size
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

batch.size
batch.size默认16KB,那么每个Batch需要凑满16KB才会一次性推送到Kafka集群,提高此参数可以允许更多的数据缓冲到batch,吞吐量会有所提高,如果设置得过大但流量较小导致数据一直缓冲在batch无法推出就会导致延迟很高

(2)Kafka Topic限制
max.request.size
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

(3)Kafka Broker限制:
message.max.bytes
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

(4)消费者限制
max.partition.fetch.bytes
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置文章来源地址https://www.toymoban.com/news/detail-710832.html

到了这里,关于彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • (二十六)大数据实战——kafka集群之Kraft模式安装与部署

    (二十六)大数据实战——kafka集群之Kraft模式安装与部署

    本节内容主要介绍kafka3.0版本以后,一种新的kafka集群搭建模式看kraft,在该模式下,kafka高可用不在依赖于zookeeper,用 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进 行 Kafka 集群管理。 ①解压kafka安装包到/opt/module/kafka-kraft目录下 - 命令: ②修改k

    2024年02月08日
    浏览(9)
  • kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

    kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

    1、 本次实验,采用kafka版本为 3.4.0 2、我们首先需要了解一下,一个 Kafka 集群是由下列几种类型的节点构成的,它们充当着不同的作用: Broker 节点 :即 代理节点 ,是 Kafka 中的工作节点,充当消息队列的角色, 负责储存和处理消息 ,每个 Broker 都是一个独立的 Kafka 服务器

    2024年02月10日
    浏览(10)
  • Kafka 3.4.0 kraft 集群搭建

    Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用 KRaft(Kafka Raft)共识协议的版本。在几年的开发过程中,它先是在 Kafka 2.8 早期访问版本中发布,然后又在 Kafka 3.0 预览版本中发布。 KRaft 是一种共识协议,可以直接在 Kafk

    2024年02月13日
    浏览(13)
  • 【Kafka】Kafka3.1.1集群搭建指南KRaft版本

    目录 一、背景和描述 二、资源情况 三、技术选型 四、部署Kraft版本集群 五、配置SSL模式 六、Springboot使用SSL集成 参考资料 考虑资源安全性,需要搭建不依赖Zookeeper的kafka集群环境,并且配置SSL访问控制 Apache Kafka Raft 是一种共识协议,它的引入是为了消除 Kafka 对 ZooKeeper 的

    2024年02月03日
    浏览(9)
  • 【Kafka】Kafka3.3.1集群搭建指南KRaft版本

    目录 一、背景和描述 二、资源情况 三、技术选型 四、部署Kraft版本集群 五、配置SSL模式 六、Springboot使用SSL集成 参考资料 考虑资源安全性,需要搭建不依赖Zookeeper的kafka集群环境,并且配置SSL访问控制 Apache Kafka Raft 是一种共识协议,它的引入是为了消除 Kafka 对 ZooKeeper 的

    2024年02月05日
    浏览(11)
  • Kafka KRaft模式探索

    Kafka KRaft模式探索

    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer,以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。 目前,Kafka在使用的过程当中,会出现一些

    2024年02月05日
    浏览(11)
  • Kafka系列之:Kraft模式

    Kafka元数据存储在zookeeper中,运行时动态选举controller,由controller进行Kafka集群管理。 Kraft模式不再依赖zookeeper集群,用三台controller节点代替zookeeper,元数据保存在controller中,由controller直接进行Kafka集群管理。 Kraft的好处有以下几个: Kafka不再依赖外部框架,而是能够独立运

    2024年02月12日
    浏览(9)
  • docker容器单机部署zookeeper+kafka集群

    KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 其中zookeeper会转化成zookeeper的ip kafka1: 10.21.214.66 其中10.21.214.66 填写宿主机ip

    2024年02月19日
    浏览(12)
  • 【运维】Kafka高可用: KRaft(不依赖zookeeper)集群搭建

    【运维】Kafka高可用: KRaft(不依赖zookeeper)集群搭建

    本文主要介绍了 kafka raft集群架构: 与旧架构的不同点,有哪些优势,哪些问题 架构成员有哪些,怎么规划。 三节点集群安装、启动与测试 在旧的架构中 Kafka集群包含 多个broker节点和一个ZooKeeper 集群 。如上图集群结构:4个broker节点和3个ZooKeeper节点。Kafka 集群的controller在

    2024年02月03日
    浏览(10)
  • 七、Kafka-Kraft 模式

    七、Kafka-Kraft 模式

    左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理 右图为 kraft 模式架构(实验性),不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。 这样做的

    2024年02月11日
    浏览(8)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包