Kafka中Zookeeper的作用

这篇具有很好参考价值的文章主要介绍了Kafka中Zookeeper的作用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、Kafka架构图

上篇博客主要讲了Kafka的基本概念,这里不做过多介绍。可以参考 Kafka入门学习
Kafka中Zookeeper的作用

那么Zookeeper在其中主要起到什么作用呢?


二、 Zookeeper 在 kafka 中的具体作用

它是一个分布式协调框架。很好的将消息生产、消息存储、消息消费的过程结合在一起。在典型的Kafka集群中, Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Consumer使用pull模式从broker订阅并消费消息.

2.1 Broker注册

Broker是分布式部署并且相互之间相互独立,但是需要有一个注册中心对整个集群的Broker进行管理,此时就使用了Zookeeper。在Zookeeper上会有一个专门用来记录Broker服务器列表的节点:/brokers/ids

每个Broker在启动时,都会在Zookeeper上进行注册,即到/brokers/ids下创建属于自己的节点,如/brokers/ids/[0…N]。

Kafka使用了全局唯一的数字来指代每个Broker服务器,不同的Broker必须使用不同的Broker ID进行注册,创建完节点后,每个Broker就会将自己的IP地址和端口信息记录到该节点中去。其中,Broker创建的节点类型是临时节点,一旦Broker宕机,则对应的临时节点也会被自动删除。这样,我们就可以很方便的监控到Broker节点的变化,及时调整负载均衡等。

2.2 Topic注册

在kafka中,用户可以自定义多个topic,每个topic又被划分为多个分区,每个分区存储在一个独立的broker上。这些分区信息及与Broker的对应关系都是由Zookeeper进行维护

在zookeeper中,建立专门的节点来记录这些信息,其节点路径为/brokers/topics/{topic_name}。并且topic创建的节点类型也是临时节点

2.3 生产者负载均衡

同一个Topic消息会被分区并将其分布在多个Broker上。由于每个Broker启动时,都会在Zookeeper上进行注册,生产者会通过该节点的变化来动态地感知到Broker服务器列表的变更,这样就可以实现动态的负载均衡。

2.4 消费者负载均衡

与生产者类似,Kafka中的消费者同样需要进行负载均衡来实现多个消费者合理地从对应的Broker服务器上接收消息,每个消费者分组包含若干消费者,每条消息都只会发送给分组中的一个消费者,不同的消费者分组消费自己特定的Topic下面的消息,互不干扰。
每个消费者都需要关注所属消费者分组中其他消费者服务器的变化情况,即对/consumers/[group_id]/ids节点注册子节点变化的Watcher监听,一旦发现消费者新增或减少,就触发消费者的负载均衡。还对Broker服务器变化注册监听。消费者需要对/broker/ids/[0-N]中的节点进行监听,如果发现Broker服务器列表发生变化,那么就根据具体情况来决定是否需要进行消费者负载均衡。

2.5 分区与消费者的关系

消费者组 Consumer group 下有多个 Consumer(消费者)。
对于每个消费者组 (Consumer Group),Kafka都会为其分配一个全局唯一的Group ID,Group 内部的所有消费者共享该 ID。订阅的topic下的每个分区只能分配给某个 group 下的一个consumer(当然该分区还可以被分配给其他group)。同时,Kafka为每个消费者分配一个Consumer ID。
在Kafka中,规定了每个消息分区 只能被同组的一个消费者进行消费,因此,需要在 Zookeeper 上记录 消息分区 与 Consumer 之间的关系,每个消费者一旦确定了对一个消息分区的消费权力,需要将其Consumer ID 写入到 Zookeeper 对应消息分区的临时节点上,例如:
/consumers/[group_id]/owners/[topic]/[broker_id-partition_id]
其中,[broker_id-partition_id]就是一个 消息分区 的标识,节点内容就是该消息分区上消费者的Consumer ID。

2.6 记录消息消费的进度Offset

在消费者对指定消息分区进行消息消费的过程中,需要定时地将分区消息的消费进度Offset记录到Zookeeper上,以便在该消费者进行重启或者其他消费者重新接管该消息分区的消息消费后,能够从之前的进度开始继续进行消息消费。Offset在Zookeeper中由一个专门节点进行记录,其节点路径为:

/consumers/[group_id]/offsets/[topic]/[broker_id-partition_id]

节点内容就是Offset的值。

2.7 消费者注册

注册新的消费者分组

当新的消费者组注册到zookeeper中时,zookeeper会创建专用的节点来保存相关信息,其节点路径为 /consumers/{group_id},其节点下有三个子节点,分别为[ids, owners, offsets]。

ids节点:记录该消费组中当前正在消费的消费者;

owners节点:记录该消费组消费的topic信息;

offsets节点:记录每个topic的每个分区的offset;

注册新的消费者

当新的消费者注册到zookeeper中时,会在/consumers/{group_id}/ids节点下创建临时子节点,并记录相关信息文章来源地址https://www.toymoban.com/news/detail-403854.html

到了这里,关于Kafka中Zookeeper的作用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 电阻的主要作用及应用电路

    目录 一、分压作用 二、限流作用 三、分流作用 四、上拉下拉作用 五、滤波作用 六、假负载作用 七、跳线作用 八、将电能转换成热能的作用 上个视频我们讲解了电阻的主要参数,今天主要讲解下电阻的主要作用。 分压是电路中常用的功能,就是 通过电阻的串联得到我们

    2024年02月06日
    浏览(39)
  • 什么是API接口?主要作用是什么?

    API英文全称为:Application Programming Interface,中文意思是应用程序编程接口,它是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力。 主要作用: API之主要目的是提供应用程序与开发人员以访问一组例程的能力,而又无需访问源

    2024年02月13日
    浏览(36)
  • 贴片电容材质的区别与电容的主要作用

    主要是介质材料不同,不同介质种类由于它的主要极化类型不一样,其对电场变化的响应速度和极化率也不一样。在相同的体积下的容量就不同,随之带来的电容器介质的损耗、容量的稳定性也就不同。 介质材料划分按容量的温度稳定性可分为三类: 超稳定级(工类)的介

    2024年02月07日
    浏览(50)
  • OA系统的主要功能和作用是什么

    OA是将现代化办公和计算机网络功能结合起来的一种新型的办公方式。办公自动化没有统一的定义,凡是在传统的办公室中采用各种新技术、新机器、新设备从事办公业务,都属于办公自动化的领域。在行政机关中,大都把办公自动化叫做电子政务,企事业单位就大都叫OA,即办公自

    2024年02月06日
    浏览(46)
  • 说一下JVM的主要组成部分及其作用?

    类加载器:根据给定的全限定名类名(如:java.lang.Object)来装载class文件到Runtime data area中的method area 执行引擎:执行classes中的指令 运行时数据区:这就是我们常说的JVM的内存 本地接口:与native libraries交互,是其它编程语言交互的接口 首先通过编译器把 Java 代码转换成字节码

    2024年02月22日
    浏览(43)
  • Vue中$nextTick主要作用、原理及使用方法

    查看本专栏目录 关于作者 还是大剑师兰特 :曾是美国某知名大学计算机专业研究生,现为航空航海领域高级前端工程师;CSDN知名博主,GIS领域优质创作者,深耕openlayers、leaflet、mapbox、cesium,canvas,webgl,echarts等技术开发,欢迎加底部微信,一起交流。 热门推荐 内容链接

    2024年02月21日
    浏览(40)
  • 重装系统发现有bitlocker(BitLocker的主要作用)

    这是一个悲伤的故事,发生在2023-05-17的晚上,由于自己更改了笔记本电脑联想小新Air14(2020锐龙版 R5-4600U 16G 512G)的BOIS主板设置,Secure Boot回车设置成Disabled登一系列操作,测试成功进入U盘的PE系统后。 再加上自己之前开启了磁盘BitLocker加密,而且只把密钥保存再本地,没有

    2024年02月09日
    浏览(32)
  • Kafka主要可调参数简介

            kafka的参数有很多,下面我们根据kafka消息投递到消费的顺序来看下有哪些参数可调,每个参数具体是什么意思?   网络传输相关参数           socket.receive.buffer.bytes: 102400(默认值) ,socket接受缓冲区的大小,提高这个值可以提高消息的发送速度。这个是kafka给

    2024年02月11日
    浏览(35)
  • 请简单介绍一下Shiro框架是什么?Shiro在Java安全领域的主要作用是什么?Shiro主要提供了哪些安全功能

    会话管理(Session Management):Shiro能够管理用户的会话状态,包括会话的创建、维护和销毁。它支持多种会话存储方式(如内存、数据库等),并提供了会话超时、会话失效等机制,以确保会话的安全性。 跨平台集成:Shiro不仅适用于Web应用程序,还可以轻松集成到桌面应用

    2024年04月13日
    浏览(60)
  • 请简单介绍一下Shiro框架是什么?Shiro在Java安全领域的主要作用是什么?Shiro主要提供了哪些安全功能?

    请简单介绍一下Shiro框架是什么? Shiro框架是一个强大且灵活的开源安全框架,为Java应用程序提供了全面的安全解决方案。它主要用于身份验证、授权、加密和会话管理等功能,可以轻松地集成到任何Java Web应用程序中,并提供了易于理解和使用的API,使开发人员能够快速实

    2024年04月11日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包