Kafka系列之broker-list,bootstrap-server以及zookeeper

这篇具有很好参考价值的文章主要介绍了Kafka系列之broker-list,bootstrap-server以及zookeeper。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

broker-list

broker:kafka服务端,可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。

broker-list:指定集群中的一个或多个服务器,一般在使用kafka-console-producer.sh的时候,这个参数是必备参数,另外一个必备的参数是topic。

bootstrap-servers vs zookeeper

bootstrap-servers指的是目标集群的服务器地址,这和broker-list功能一样,不过在console producer要求用broker-list。

1、以前用console consumer测试消息收发时会这样写:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic wsq

2、现在也可以这样写:

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic wsq

前者是老版本的用法,0.9以前的kafka,消费的进度(offset)是写在zk中的,所以consumer需要知道zk的地址。后来的版本都统一由broker管理,所以就用bootstrap-server。文章来源地址https://www.toymoban.com/news/detail-703200.html

到了这里,关于Kafka系列之broker-list,bootstrap-server以及zookeeper的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka入门,Kafka Broker工作流程、Broker重要参数(十一)

    在zookeeper的服务端存储的Kafka相关信息 1)/kafka/brokers/ids [0,1,2] 记录有哪些服务器 2)/kafka/brokers/topics/first/partitions/0/state 记录谁是leader,有哪些服务器可用 3)/kafka/controller 辅助选举leader 1)broker启动后在zk中注册 2)controller谁先注册,谁说了算 3)由选举出来的Controller监听bro

    2024年02月11日
    浏览(45)
  • Kafka 实战 - Kafka Broker工作流程

    Apache Kafka Broker 在 Kafka 集群中扮演着核心角色,负责接收、存储、复制及分发消息。以下是 Kafka Broker 的工作流程概览: 1. 启动与初始化 加载配置 :Kafka Broker 从 server.properties 文件加载配置参数,包括 Broker ID、监听地址、日志目录、ZooKeeper 连接信息等。 注册到 ZooKeeper :

    2024年04月15日
    浏览(40)
  • 「Kafka」Broker篇

    主要讲解的是在 Kafka 中是怎么存储数据的,以及 Kafka 和 Zookeeper 之间如何进行数据沟通的。 Zookeeper 存储的 Kafka 信息 启动 Zookeeper 客户端: 通过 ls 命令可以查看 kafka 相关信息: Kafka Broker 总体工作流程 模拟 Kafka 上下线,Zookeeper 中数据变化: 查看 /kafka/brokers/ids 路径上的节

    2024年01月18日
    浏览(35)
  • Kafka - Broker 详解

    目录 零、前置 一、Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 2.Kafka Broker 总体工作流程 模拟 Kafka 上下线,Zookeeper 中数据变化 3.Broker 重要参数 二、生产经验 节点服役和退役 1.服役新节点 新节点准备 执行负载均衡操作 生成负载均衡的计划 执行副本存储计划 验证副本存

    2024年01月24日
    浏览(35)
  • 深入Kafka broker

    颗粒度, PRODUCE和FETCH中支持topic,partion等层级的颗粒度; 测试友好, 基于session_id和epoch确定一条拉取链路的fetch session; 全量增量结合, FetchRequest中的全量拉取和增量拉取; 基本结构: header+body。 常见header: api_key, api_version, corelation_id, client_id。与网络协议类似, Kafka本身的协议也是分

    2024年01月22日
    浏览(72)
  • 【kafka】——Broker

    1 /kafka/brokers/dis 存储broker的id,记录有哪些服务器 2 /kafka/brokers/topics 存储topic 相关信息 3 /kafka/consumers Kafka 0.9 版本之前 用于保存offset信息 Kafka 0.9 版本之后offser存储在Kafka主题中 4 /kafka/controller 辅助选举Leader 1 Broker 启动后在Zookeeper中注册 2 每个节点中的Contoller 抢先在Zookeepe

    2024年02月09日
    浏览(34)
  • 四、Kafka Broker

    4.1.1 Zookeeper 存储的 Kafka 信息 4.1.2 Kafka Broker 总体工作流程 自己的理解:其实就是将kafka的分区,负载到集群中的各个节点上。 1、服役新节点 2、退役旧节点 1、副本的作用 2、Leader的选举流程 选举规则:在isr中存活为前提,按照AR中排在前面的优先。例如ar[1,0,2], isr [1,0,

    2024年02月11日
    浏览(31)
  • Kafka-Broker工作流程

     kafka集群在启动时,会将每个broker节点注册到zookeeper中,每个broker节点都有一个controller,哪个controller先在zookeeper中注册,哪个controller就负责监听brokers节点变化,当有分区的leader挂掉时,controller会监听到节点变化,然后去zookeeper中获取isr,选举新的leader,选举的规则是:在

    2024年02月14日
    浏览(42)
  • KafKa 3.x(二、Broker,消费者)

    4.1.1 Zoopkeeper存储的Kafka信息 启动Zookeeper客户端 通过ls命令查看kafka相关信息 在Zookeeper的服务端存储的Kafka相关信息 /kafka/brokers/ids [0,1,2] 记录那些服务器 /kafka/brokers/topics/first/partitions/0/state {“leader”:1,“isr”:[1,0,2]} 记录谁是leader,有哪些服务器可用 /kafka/controller {“brokerid”

    2024年02月12日
    浏览(34)
  • kafka的broker和replica和文件存储

    /brokers/ids,记录存在的服务器id /brokers/topics/test/partitions/0/state,记录leader和可用副本服务器 /comsumers,0.9版本之前存储消费者的offset信息,但是会产生zookeeper和broker的跨节点通信 /controller 辅助选举leader。每个broker上都会有一个controller模块,controller在zookeeper注册信息,先注册

    2024年02月13日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包