Kafka3.0.0版本——Leader Partition自动平衡

9月前作者：小志的博客分类：Toy博客阅读(47) 违法举报

这篇具有很好参考价值的文章主要介绍了Kafka3.0.0版本——Leader Partition自动平衡。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、Leader Partition自动平衡的概述

正常情况下，Kafka本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某些broker宕机，会导致Leader Partition过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的broker重启之后都是follower partition，读写请求很低，造成集群负载不均衡。

二、Leader Partition自动平衡的相关配置参数

配置参数文章来源地址https://www.toymoban.com/news/detail-680914.html

参数名称	描述
auto.leader.rebalance.enable	默认是 true，自动 Leader Partition 平衡。生产环境中，leader 重选举的代价比较大，可能会带来性能影响，建议设置为 false 关闭。
leader.imbalance.per.broker.percentage	默认是 10%。每个 broker 允许的不平衡的 leader的比率。如果每个 broker 超过了这个值，控制器会触发 leader的平衡。
leader.imbalance.check.interval.seconds	默认值 300 秒。检查 leader 负载是否平衡的间隔时间

三、Leader Partition自动平衡的示例

假设集群只有一个onetopic主题。如下图所示
如下图所示：针对第一个节点，分区的AR优先副本是3节点，但是3节点却不是Leader节点，所以不平衡数加1，AR副本总数是4。所以broker0节点不平衡率为1/4>10%，需要再平衡。
如下图所示：第三个节点和第四个节点节点与第一个节点不平衡率一样，需要再平衡。第二个节点的不平衡数为1，不需要再平衡。

到了这里，关于Kafka3.0.0版本——Leader Partition自动平衡的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Kafka3.0.0版本——消费者（自动提交 offset）

官网文档参数解释参数描述 enable.auto.commi 默认值为 true，消费者会自动周期性地向服务器提交偏移量。 auto.commit.interval.ms 如果设置了 enable.auto.commit 的值为 true，则该值定义了消费者偏移量向 Kafka 提交的频率，默认 5s。图解分析消费者自动提交 offset代码消费者自动提交

2024年02月09日
浏览(38)
Kafka3.0.0版本——文件清理策略

1.1、文件清理策略的概述 Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。参数解释 log.retention.hours 小时，最低优先级（默认 7天） log.retention.minutes 分钟 log.retention.ms 毫秒，最高优先级 log.retention.check.interval.ms 负责设置检查周期（默认 5 分钟） 1

2024年02月09日
浏览(46)
Kafka3.0.0版本——增加副本因子

四台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 centos7虚拟机4 192.168.136.30 broker3 2.1、先启动zookeeper集群启动zookeeper集群 2.2、再启动kafka集群启动kafka集群 3.1、增加副本因子的概述在

2024年02月09日
浏览(35)
Kafka3.0.0版本——文件存储机制

1.1、Topic 数据的存储机制的概述 Topic是逻辑上的概念，而partition是物理上的概念。每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。 Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下， Kafka采取了分片和索引

2024年02月09日
浏览(40)
Kafka3.0.0版本——手动调整分区副本示例

四台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 centos7虚拟机4 192.168.136.30 broker3 2.1、先启动zookeeper集群启动zookeeper集群 2.2、再启动kafka集群启动kafka集群 3.1、手动调整分区副本的前提

2024年02月11日
浏览(56)
Kafka3.0.0版本——生产者数据去重

1.1、至少一次至少一次（At Least Once ）的含义生产者发送数据到kafka集群，kafka集群至少接收到一次数据。至少一次的条件： ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2 1.2、最多一次最多一次（At Most Once ）的含义生产者发送数据到kafka集群，

2024年02月01日
浏览(41)
Kafka3.0.0版本——Follower故障处理细节原理

三台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 2.1、服务器基本信息首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到

2024年02月10日
浏览(47)
Kafka3.0.0版本——Broker（退役旧节点）示例

三台服务器原始服务器名称原始服务器ip centos7虚拟机1 192.168.136.27 centos7虚拟机2 192.168.136.28 centos7虚拟机3 192.168.136.29 centos7虚拟机4 192.168.136.30 分别启动4台zookeeper 再分别启动4台kafka brokers中的ids=0、1、2、3都存在，说明4台kafka启动正常，如下图：查看kafka中的创建过的名称为

2024年02月13日
浏览(36)
Kafka3.0.0版本——Broker（Zookeeper服务端存储的Kafka相关信息）

1.1、先启动三台zookeeper集群服务，再启动三台kafka集群服务启动三台zookeeper集群服务启动三台kafka集群服务 1.2、使用PrettyZoo连接zookeeper客户端工具 PrettyZoo视化工具下载、安装、使用参考如下 Zookeeper可视化工具PrettyZoo的下载、安装链接：https://wwwxz.blog.csdn.net/article/details/1303

2024年02月14日
浏览(40)
Kafka3.0.0版本——消费者（手动提交offset）

1.1、手动提交offset的两种方式 commitSync（同步提交）：必须等待offset提交完毕，再去消费下一批数据。 commitAsync（异步提交）：发送完提交offset请求后，就开始消费下一批数据了。 1.2、手动提交offset两种方式的区别相同点：都会将本次提交的一批数据最高的偏移量提交。不

2024年02月09日
浏览(47)