Kafka3.0.0版本——消费者（消费者组原理）

1年前作者：小志的博客分类：Toy博客阅读(11)违法举报

这篇具有很好参考价值的文章主要介绍了Kafka3.0.0版本——消费者（消费者组原理）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、消费者组原理

1.1、消费者组概述

Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。
注意：
（1）、消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。
（2）、消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

1.2、消费者组图解示例

示例一
示例二
示例三
文章来源地址https://www.toymoban.com/news/detail-700998.html

1.3、消费者组注意事项

如果向消费组中添加更多的消费者，超过主题分区数量，则有一部分消费者就会闲置，不会接收任何消息。
消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

到了这里，关于Kafka3.0.0版本——消费者（消费者组原理）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Kafka3.0.0版本——消费者（消费者组详细消费流程图解及消费者重要参数）
创建一个消费者网络连接客户端，主要用于与kafka集群进行交互，如下图所示：调用sendFetches发送消费请求，如下图所示： (1)、Fetch.min.bytes每批次最小抓取大小，默认1字节 (2)、fetch.max.wait.ms一批数据最小值未达到的超时时间，默认500ms (3)、Fetch.max.bytes每批次最大抓取大小，默
2024年02月09日
浏览(7)
Kafka3.0.0版本——消费者（分区的分配以及再平衡）
1.1、消费者分区及消费者组的概述一个consumer group中有多个consumer组成，一个 topic有多个partition组成。 1.2、如何确定哪个consumer来消费哪个partition的数据 Kafka有四种主流的分区分配策略： Range、RoundRobin、Sticky、CooperativeSticky。可以通过配置参数 partition.assignment.strategy ，修改分
2024年02月07日
浏览(6)
Kafka3.0.0版本——消费者（独立消费者消费某一个主题数据案例__订阅主题）
1.1、案例需求创建一个独立消费者，消费firstTopic主题中数据，所下图所示：注意：在消费者 API 代码中必须配置消费者组 id。命令行启动消费者不填写消费者组id 会被自动填写随机的消费者组 id。 1.2、案例代码代码 1.3、测试在 Kafka 集群控制台，创建firstTopic主题在 IDEA中
2024年02月09日
浏览(10)
Kafka3.0.0版本——消费者（Sticky分区分配策略以及再平衡）
粘性分区定义：可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前，考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。粘性分区是 Kafka 从 0.11.x 版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消
2024年02月09日
浏览(14)
Kafka3.0.0版本——消费者（RoundRobin分区分配策略以及再平衡）
RoundRobin 针对集群中所有Topic而言。 RoundRobin 轮询分区策略，是把所有的 partition 和所有的consumer 都列出来，然后按照 hashcode 进行排序，最后通过轮询算法来分配 partition 给到各个消费者。 2.1、创建带有7个分区的sixTopic主题在 Kafka 集群控制台，创建带有7个分区的sixTopi
2024年02月07日
浏览(5)
Kafka3.0.0版本——消费者（独立消费者消费某一个主题中某个分区数据案例__订阅分区）
1.1、案例需求创建一个独立消费者，消费firstTopic主题 0 号分区的数据，所下图所示： 1.2、案例代码生产者往firstTopic主题 0 号分区发送数据代码消费者消费firstTopic主题 0 分区数据代码 1.3、测试在 IDEA 中执行消费者程序，如下图：在 IDEA 中执行生产者程序，在控制台观察
2024年02月09日
浏览(11)
Kafka进阶篇-消费者详解&Flume消费Kafka原理
由于挺多时候如果不太熟系kafka消费者详细的话，很容易产生问题，所有剖析一定的原理很重要。消费方式消费者总体工作流程消费者组初始化流程消费者详细消费流程消费者重要参数 bootstrap.servers 向 Kafka 集群建立初始连接用到的 host/port 列表。 key.deserializervalu
2024年02月15日
浏览(6)
Kafka原理之消费者
1、pull(拉)模式(kafka采用这种方式) consumer采用从broker中主动拉取数据。存在问题：如果kafka中没有数据，消费者可能会陷入循环中，一直返回空数据 2、push(推)模式由broker决定消息发送频率，很难适应所有消费者的消费速率。案例一：单独消费者，并订阅主题控制台输出案
2024年02月09日
浏览(9)
Kafka3.0.0版本——Follower故障处理细节原理
三台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 2.1、服务器基本信息首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到
2024年02月10日
浏览(10)
Kafka3.0.0版本——Leader故障处理细节原理
三台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 2.1、服务器基本信息首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到
2024年02月11日
浏览(7)