1.问题原因
org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException:
Topic device-state-in-topic not present in metadata after 60000 ms.
翻译过来就是:因为Kafka生产者在发送消息时,无法在指定的时间内获取到topic的元数据信息。
2.问题排查
1. Kafka集群中的某个broker宕机或不可用,导致无法获取到topic的元数据信息。
查看集群监控,每个节点都能ping通所以这个没问题。
2. 网络连接不稳定或延迟过高,导致无法及时获取到topic的元数据信息。
相同节点的topic都在正常生产和消费也不是这个问题
3.Kafka版本不兼容,导致无法获取到topic的元数据信息。
这个也不是,版本之前都核对过了
4.项目配置或者业务问题
我们生产到这个topic是一天发一次,在项目里面的其他topic几分钟一次或者实时的都没有问题,那怀疑是不是发送间隔时间太长了,导致的这个问题,我开始写了一个定时任务5分钟往这个topic发一条空数据,观察一天后,果然是这个原因。
我查看了一些kafka的生产者配置 看到下面的配置:
kafka:
#连接地址
bootstrap-servers: 127.0.0.1:9092
producer:
properties:
metadata:
max:
age:
ms: 300000
这个参数意思是:
metadata.max.age.ms是Kafka配置中的一个参数,用于指定元数据的最大生存时间(以毫秒为单位)。
元数据是Kafka中存储有关topic、partition、broker等信息的数据结构。当客户端连接到Kafka集群时,它会向集群的每个broker发送请求以获取元数据。如果元数据在一定时间内没有被更新,那么它将过期并需要重新获取。文章来源:https://www.toymoban.com/news/detail-665187.html
我设置成5分钟,元数据在 metadata.max.age.ms 所限定的时间范围内没有进行更新,则会被强制更新,就解决了这个问题。文章来源地址https://www.toymoban.com/news/detail-665187.html
到了这里,关于【Kafka】TimeoutException: Topic device-state-in-topic not present in metadata after 60000 ms.的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!