【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected

这篇具有很好参考价值的文章主要介绍了【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题复现

近日针对某一客户需求开发了一个需要使用Kafka的功能,功能是什么暂且不论,在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功能,以下是监听topic成功和警告报错:

2023-05-09 10:22:23 [localhost-startStop-1] INFO  org.apache.kafka.clients.consumer.ConsumerConfig - ConsumerConfig values: 
	allow.auto.create.topics = true
	auto.commit.interval.ms = 5000
	auto.offset.reset = earliest
	bootstrap.servers = [10.39.48.113:9092]
	check.crcs = true
	client.dns.lookup = use_all_dns_ips
	client.id = consumer-enn-jiuqi-1
	client.rack = 
	connections.max.idle.ms = 540000
	default.api.timeout.ms = 60000
	enable.auto.commit = false
	exclude.internal.topics = true
	fetch.max.bytes = 52428800
	fetch.max.wait.ms = 500
	fetch.min.bytes = 1
	group.id = enn-jiuqi
	group.instance.id = null
	heartbeat.interval.ms = 3000
	interceptor.classes = []
	internal.leave.group.on.close = true
	internal.throw.on.fetch.stable.offset.unsupported = false
	isolation.level = read_uncommitted
	key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
	max.partition.fetch.bytes = 1048576
	max.poll.interval.ms = 300000
	max.poll.records = 500
	metadata.max.age.ms = 300000
	metric.reporters = []
	metrics.num.samples = 2
	metrics.recording.level = INFO
	metrics.sample.window.ms = 30000
	partition.assignment.strategy = [class org.apache.kafka.clients.consumer.RangeAssignor, class org.apache.kafka.clients.consumer.CooperativeStickyAssignor]
	receive.buffer.bytes = 65536
	reconnect.backoff.max.ms = 1000
	reconnect.backoff.ms = 50
	request.timeout.ms = 30000
	retry.backoff.ms = 100
	sasl.client.callback.handler.class = null
	sasl.jaas.config = null
	sasl.kerberos.kinit.cmd = /usr/bin/kinit
	sasl.kerberos.min.time.before.relogin = 60000
	sasl.kerberos.service.name = null
	sasl.kerberos.ticket.renew.jitter = 0.05
	sasl.kerberos.ticket.renew.window.factor = 0.8
	sasl.login.callback.handler.class = null
	sasl.login.class = null
	sasl.login.refresh.buffer.seconds = 300
	sasl.login.refresh.min.period.seconds = 60
	sasl.login.refresh.window.factor = 0.8
	sasl.login.refresh.window.jitter = 0.05
	sasl.mechanism = GSSAPI
	security.protocol = PLAINTEXT
	security.providers = null
	send.buffer.bytes = 131072
	session.timeout.ms = 45000
	socket.connection.setup.timeout.max.ms = 30000
	socket.connection.setup.timeout.ms = 10000
	ssl.cipher.suites = null
	ssl.enabled.protocols = [TLSv1.2]
	ssl.endpoint.identification.algorithm = https
	ssl.engine.factory.class = null
	ssl.key.password = null
	ssl.keymanager.algorithm = SunX509
	ssl.keystore.certificate.chain = null
	ssl.keystore.key = null
	ssl.keystore.location = null
	ssl.keystore.password = null
	ssl.keystore.type = JKS
	ssl.protocol = TLSv1.2
	ssl.provider = null
	ssl.secure.random.implementation = null
	ssl.trustmanager.algorithm = PKIX
	ssl.truststore.certificates = null
	ssl.truststore.location = null
	ssl.truststore.password = null
	ssl.truststore.type = JKS
	value.deserializer = class org.apache.kafka.common.serialization.StringDeserializer

2023-05-09 10:22:23 [localhost-startStop-1] INFO  org.apache.kafka.common.utils.AppInfoParser - Kafka version: 3.0.1
2023-05-09 10:22:23 [localhost-startStop-1] INFO  org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 8e30984f43e64d8b
2023-05-09 10:22:23 [localhost-startStop-1] INFO  org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1683598943212
2023-05-09 10:22:23 [localhost-startStop-1] INFO  org.apache.kafka.clients.consumer.KafkaConsumer - [Consumer clientId=consumer-test-1, groupId=test-group] Subscribed to topic(s): sync_user


2023-05-09 10:23:50 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] WARN  org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-1, groupId=test-group] Bootstrap broker 10.39.48.113:9092 (id: -1 rack: null) disconnected

可以注意到日志最后有1条警告,其实我只放了一条,这个信息在日志里多滴很。

分析问题

客户对接方发送了一条消息问我们消费到没,我一查日志,满屏是WARN提示 Bootstrap broker 10.39.48.113:9092 (id: -1 rack: null) disconnected,真是小刀拉屁股——开了眼。

打开Google Bard机器人问问这是啥原因导致的:

broker disconnected,kafka,bootstrap,分布式

可能是网络原因导致的,查了下其他博客说也有可能是开启了某种认证机制导致的。

通过ping发现能ping通broker,但是通过telnet却无法连接了,也就是说:这台测试服务器与kafka broker间的网络被限制为可以ping但不能访问broker的端口号!

解决办法

查看了下测试服务器的iptables链没发现问题,自己通过tcpdump抓包用wireshark分析发现只有SYN包没响应,找到客户网络工程师定位到是公司的网络策略限制了。至此问题解决,希望能给读者一个思路。文章来源地址https://www.toymoban.com/news/detail-598484.html

到了这里,关于【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka发送数据报错: Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio

    报错内容: warn报错:  [kafka-producer-network-thread | producer-1] WARN  org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Error connecting to node xxxxx:9092 (id: 1 rack: null) java.net.UnknownHostException: xxxxx     at java.base/java.net.InetAddress$CachedAddresses.get(InetAddress.java:797)     at java.base/java.net.

    2024年02月08日
    浏览(28)
  • Kafka系列之broker-list,bootstrap-server以及zookeeper

    broker:kafka服务端,可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。 broker-list:指定集群中的一个或多个服务器,一般在使用kafka-console-producer.sh的时候,这个参数是必备参数,另外一个必备的参数是topic。 bootstrap-servers指的是目标集群的服

    2024年02月09日
    浏览(30)
  • Kafka Group coordinator xxx:9092 (id: xxx rack: null) is unavailable or invalid

    Kafka本身启动和相互通信没有问题,但是在使用Java API 模拟消费者连接到Kafka的时候出现报错 我们可以注意一下控制台给出的域名地址,这个域名可能是因为解析问题或者限于远程服务器的安全策略做了转换 验证这个问题的办法,在windows开启telnet命令,在cmd中 发现是无法连

    2024年02月16日
    浏览(26)
  • 解决远程连接MySQL报错:2003 - Can‘t connect to MySQL server on ‘X.X.X.X‘ (10060 “Unknown error“)问题

    问题 先看报错: 2003 - Can’t connect to MySQL server on ‘X.X.X’ (10060 “Unknown error”)。 意思是服务器远程连接出错:未知错误。 解决方案: 遇到这个问题,首先想到的是权限不够。那咱就给它赋权。 首先登录MySQL数据库:mysql -u用户名 -p密码; 然后:use mysql; 进入数据库后我们先看看

    2024年02月07日
    浏览(62)
  • Connection to node -1 (/127.0.0.1:9092) could not be established. Broker may not be available.

    #spring.kafka.listener.type=single spring.kafka.bootstrap-servers : 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 spring.kafka.producer.retries = 1 spring.kafka.producer.acks = all spring.kafka.producer.batch-size = 16384 spring.kafka.producer.buffer-memory = 33554432 #spring.kafka.producer.client-id=hello-kafka spring.kafka.producer.key-serializer = org.apac

    2023年04月12日
    浏览(30)
  • ERROR Shutdown broker because all log dirs in ... have failed Windows下kafka报错

    Windows下kafka存在个别bug,比如在删除某topic后再次启动kafka可能会失败  之前遇到这个问题删除掉指定目录中日志重启即可,但这次还需要删掉zookeeper的dataDir目录里面的内容,zoo.cfg里面的指定的dataDir目录(数据请提前备份 重启zookeeper和kafka成功

    2024年02月05日
    浏览(36)
  • 《Kafka系列》Offset Explorer连接Kafka问题集合,Timeout expired while.. topic metadata,Uable to find any brokers

    1.创建语句如下所示,按照习惯在添加zookeeper参数的时候,指定了 zxy:2181/kafka ,但是却创建失败, Error while executing topic command : Replication factor: 1 larger than available brokers: 0. 2.检查各个broker的server.properties文件 发现在配置参数的时候, zookeeper.connect 指定的是 zxy:2181,zxy:2182,zxy:21

    2024年02月06日
    浏览(50)
  • 命令消费kafka报错(id: -1 rack: null) disconnected

    CDP 717环境使用 kafka-console-consumer 命令消费kafka报错如下 是因为kafka开启了kerberos 具体检查可见 1、In Cloudera Manager, navigate to Kafka Configuration . 2、Set SSL Client Authentication to none . 3、Set Inter Broker Protocol to SASL_PLAINTEXT . 1、创建文件 jaas.conf 注意:这里 principal 不清楚的话可以先执行

    2024年02月05日
    浏览(33)
  • Kafka 学习:默认端口号 9092

    Apache Kafka 是一个分布式流处理平台,它具有高吞吐量、可扩展性和容错性。在 Kafka 中,消息被组织成一个或多个主题(Topics),并通过生产者(Producers)发布到主题,然后由消费者(Consumers)订阅并处理这些消息。Kafka 的默认端口号是 9092,本文将介绍如何使用 Kafka,并提供

    2024年02月03日
    浏览(20)
  • 阿里云服务器frp内网穿透搭建的超时报错问题(login to server failed: dial tcp x.x.x.x:7000: i/o timeout)

    最近在刚租的阿里云服务器上搭建frp玩,想把本地的机顶盒(黑豹X2)上跑的程序扔到公网上去玩,顺便跑个游戏服务器什么的,具体教程的话可以搜一搜,网上有不少,这里不过多赘述,顺便附赠一下frp官网,其中有中文文档(frp (gofrp.org)frp (gofrp.org)frp (gofrp.org)) 现在要解

    2024年04月26日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包