【异常解决】The coordinator is not available

这篇具有很好参考价值的文章主要介绍了【异常解决】The coordinator is not available。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题

最近上线跑了一个flink任务,运行不久,就会挂掉,初步查看日志报错如下

WARN  org.apache.flink.connector.kafka.source.reader.KafkaSourceReader [] - Failed to commit consumer offsets for checkpoint 1
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing the latest consumed offsets.
Caused by: org.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.

报错原因为The coordinator is not available.
报错在网上搜了一下,根据网友的经验,是消费组协调leader不存在导致
查看kafka __consumer_offsets topic
【异常解决】The coordinator is not available

kafka-topics.sh -bootstrap-server node1:9092,node2:9092,node3:9092,node4:9092,node5:9092 --topic __consumer_offsets --describe

【异常解决】The coordinator is not available
发现确实有Leader:none的

可能原因是 __consumer_offset topic的默认分区是50,但是备份只有1份; kafka集群部署了5台,也就是5个brokers
消费者组连接kafka,并会请求某一台来查找Coordinator(协调者),如果连接的机器上没有备份就不会有Leader,就会出现
找不到Coordinator(协调者)
查看offsets.topic.replication.factor默认配置

cat kafak/config/server.properties | grep offsets.topic.replication.factor

默认值果然只是1;文章来源地址https://www.toymoban.com/news/detail-483981.html

解决方式

  • 1、停止kafka, 修改kafka配置 config/server.properties添加
    修改成broker的数量
offsets.topic.replication.factor=3
  • 2、删除zookeeper配置信息
./bin/zkCli.sh -server 127.0.0.1:2181
  • 删除/config/topics/__consumer_offsets
delete /config/topics/__consumer_offsets
  • 删除/brokers/topics/__consumer_offsets
deleteall /brokers/topics/__consumer_offsets
  • 3、重启kafka

到了这里,关于【异常解决】The coordinator is not available的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 解决报错:Can‘t connect to HTTPS URL because the SSL module is not available.

    本人今天准备打开Pycharm安装一个label-studio包,试了很多次,接连报如下错误,因此我就去找了一些解决方案,现在总结如下: github上有对应的解决方案,链接:https://github.com/conda/conda/issues/8273 说的是D:Anaconda3DLLs ssl.pyd search for the OpenSSL DLLs but in the wrong/current location,也就是

    2024年02月15日
    浏览(40)
  • 解决错误:pip is configured with locations that require TLS/SSL,the ssl module in Python is not available

    解决错误:pip is configured with locations that require TLS/SSL,the ssl module in Python is not available。 pip安装包出现错误类似如下: WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Collecting protobuf=4.25.2 (fr

    2024年02月19日
    浏览(46)
  • maven打包失败:the pom for XXX is missing, no dependency information available 问题解决

    问题描述:springcloud项目,idea打包pacake、compile时报错,THE POM for ... is missing,no dependency information available,此时清理缓存,和clean之后还是会报这个错。 查询报错信息是因为pom文件丢失才会报这个错,但是项目中pom文件是存在的,并非丢失。 由于是多项目管理,项目是有相互依

    2024年02月11日
    浏览(52)
  • Flink CDC报The connector is trying to read binlog starting at xxx but this is no longer available问题解决

    问题是笔者最近在使用FlinkCDC 2.3.0 捕获MySQL binlog日志时遇到的,MySQL使用的阿里云的RDS, MysqlCDC 使用读账号以 Initinal 模式,任务已经运行了一段时间突然报的错,之前在使用FlinkCDC时也曾遇到过,设置了一些参数后没有再出现过,一直比较忙没有来得及总结下来。但是今天同

    2024年02月07日
    浏览(47)
  • 解决启用proc_open时提示The Process class relies on proc_open, which is not available on your PHP i nstall.

    有时候在Ubuntu部署laravel项目的时候安装composer install会提示The Process class relies on proc_open, which is not available on your PHP installation.这种问题有两种解决方: 第一种就是网上说的删除php.ini文件里的disable_functions选项中的proc_open 详细命令如下: 每个人安装的PHP版本都不同,安装的路

    2024年02月04日
    浏览(59)
  • Visual studio community 2013过期,登录账号显示The online service is not available.

    community 2013 with update 5 社区版本的是免费版,只需要登录账号就能继续使用,但是点击登录账号时总是跳出 The online service is not available. 在任务栏上的搜索框中,键入 regedit ,然后选择\\\"注册表编辑器 打开注册表编辑器找到如下路径 HKEY_LOCAL_MACHINESOFTWAREWOW6432NodeMicrosoft.NETFra

    2024年02月07日
    浏览(53)
  • 解决Ubuntu中“is not in the sudoers file“问题

    在Ubuntu中,使用sudo命令可以以超级用户的权限执行特权操作。然而,有时在运行sudo命令时,可能会遇到类似于\\\"username is not in the sudoers file\\\"的错误消息,这意味着当前用户没有被授权执行sudo命令。 这个问题通常可以通过以下步骤解决: 步骤 1: 切换到具有管理员权限的用户

    2024年02月05日
    浏览(39)
  • pip安装成功,但下载依赖时报错the ssl module in Python is not available

    执行命令,能够正确得展示pip当前版本,证明pip安装没有问题,但是使用pip下载依赖时就会报错: WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. 很好理解,就是the ssl module 这个ssl模块版本太低了 python版本需要和openssl的版本需要相对匹

    2024年02月05日
    浏览(46)
  • IDEA git项目 tomcat Tomcat出现404,The requested resource is not available 原因分析

    刚用 idea 来写java Web项目的时候 经常遇到Tomcat配置相关的问题,其中404 算是比较好解决的问题 目前我吧这几种情况归纳了主要4种情况 这种情况 新手最容易出现的问题, 解决方案也简单我们右键先泽进入项目 ModulesSetting 查看配置的是否有问题 这主要看下 我们 Web项目根目录

    2024年02月04日
    浏览(48)
  • Can‘t connect to HTTPS URL because the SSL module is not available

    miniconda自带的python3.8 在使用pip安装包的时候报错 将conda的安装目录下的 复制到DLLs目录下 https://github.com/conda/conda/issues/8273 https://blog.csdn.net/Sky_Tree_Delivery/article/details/109078288

    2024年02月13日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包