Kafka3.0.0版本——Leader Partition自动平衡

9月前作者：小志的博客分类：Toy博客阅读(42) 违法举报

这篇具有很好参考价值的文章主要介绍了Kafka3.0.0版本——Leader Partition自动平衡。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、Leader Partition自动平衡的概述

正常情况下，Kafka本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某些broker宕机，会导致Leader Partition过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的broker重启之后都是follower partition，读写请求很低，造成集群负载不均衡。

二、Leader Partition自动平衡的相关配置参数

配置参数文章来源地址https://www.toymoban.com/news/detail-680914.html

参数名称	描述
auto.leader.rebalance.enable	默认是 true，自动 Leader Partition 平衡。生产环境中，leader 重选举的代价比较大，可能会带来性能影响，建议设置为 false 关闭。
leader.imbalance.per.broker.percentage	默认是 10%。每个 broker 允许的不平衡的 leader的比率。如果每个 broker 超过了这个值，控制器会触发 leader的平衡。
leader.imbalance.check.interval.seconds	默认值 300 秒。检查 leader 负载是否平衡的间隔时间

三、Leader Partition自动平衡的示例

假设集群只有一个onetopic主题。如下图所示
如下图所示：针对第一个节点，分区的AR优先副本是3节点，但是3节点却不是Leader节点，所以不平衡数加1，AR副本总数是4。所以broker0节点不平衡率为1/4>10%，需要再平衡。
如下图所示：第三个节点和第四个节点节点与第一个节点不平衡率一样，需要再平衡。第二个节点的不平衡数为1，不需要再平衡。

到了这里，关于Kafka3.0.0版本——Leader Partition自动平衡的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Kafka3.0.0版本——消费者（自动提交 offset）

官网文档参数解释参数描述 enable.auto.commi 默认值为 true，消费者会自动周期性地向服务器提交偏移量。 auto.commit.interval.ms 如果设置了 enable.auto.commit 的值为 true，则该值定义了消费者偏移量向 Kafka 提交的频率，默认 5s。图解分析消费者自动提交 offset代码消费者自动提交

2024年02月09日
浏览(37)
Kafka3.0.0版本——文件清理策略

1.1、文件清理策略的概述 Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。参数解释 log.retention.hours 小时，最低优先级（默认 7天） log.retention.minutes 分钟 log.retention.ms 毫秒，最高优先级 log.retention.check.interval.ms 负责设置检查周期（默认 5 分钟） 1

2024年02月09日
浏览(44)
Kafka3.0.0版本——文件存储机制

1.1、Topic 数据的存储机制的概述 Topic是逻辑上的概念，而partition是物理上的概念。每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。 Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下， Kafka采取了分片和索引

2024年02月09日
浏览(38)
Kafka3.0.0版本——增加副本因子

四台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 centos7虚拟机4 192.168.136.30 broker3 2.1、先启动zookeeper集群启动zookeeper集群 2.2、再启动kafka集群启动kafka集群 3.1、增加副本因子的概述在

2024年02月09日
浏览(33)
Kafka3.0.0版本——手动调整分区副本示例

四台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 centos7虚拟机4 192.168.136.30 broker3 2.1、先启动zookeeper集群启动zookeeper集群 2.2、再启动kafka集群启动kafka集群 3.1、手动调整分区副本的前提

2024年02月11日
浏览(55)
Kafka3.0.0版本——Follower故障处理细节原理

三台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 2.1、服务器基本信息首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到

2024年02月10日
浏览(39)
Kafka3.0.0版本——生产者数据去重

1.1、至少一次至少一次（At Least Once ）的含义生产者发送数据到kafka集群，kafka集群至少接收到一次数据。至少一次的条件： ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2 1.2、最多一次最多一次（At Most Once ）的含义生产者发送数据到kafka集群，

2024年02月01日
浏览(38)
Kafka3.0.0版本——Broker（退役旧节点）示例

三台服务器原始服务器名称原始服务器ip centos7虚拟机1 192.168.136.27 centos7虚拟机2 192.168.136.28 centos7虚拟机3 192.168.136.29 centos7虚拟机4 192.168.136.30 分别启动4台zookeeper 再分别启动4台kafka brokers中的ids=0、1、2、3都存在，说明4台kafka启动正常，如下图：查看kafka中的创建过的名称为

2024年02月13日
浏览(33)
Kafka3.0.0版本——Broker（Zookeeper服务端存储的Kafka相关信息）

1.1、先启动三台zookeeper集群服务，再启动三台kafka集群服务启动三台zookeeper集群服务启动三台kafka集群服务 1.2、使用PrettyZoo连接zookeeper客户端工具 PrettyZoo视化工具下载、安装、使用参考如下 Zookeeper可视化工具PrettyZoo的下载、安装链接：https://wwwxz.blog.csdn.net/article/details/1303

2024年02月14日
浏览(37)
Kafka3.0.0版本——消费者（手动提交offset）

1.1、手动提交offset的两种方式 commitSync（同步提交）：必须等待offset提交完毕，再去消费下一批数据。 commitAsync（异步提交）：发送完提交offset请求后，就开始消费下一批数据了。 1.2、手动提交offset两种方式的区别相同点：都会将本次提交的一批数据最高的偏移量提交。不

2024年02月09日
浏览(44)