Dinky创建Flink实例报错

这篇具有很好参考价值的文章主要介绍了Dinky创建Flink实例报错。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Dinky版本:0.7.3

Flink版本:1.13.0

问题描述

问题1:已有实例不显示

在Dinky的【注册中心】—【Flink实例管理】中:

Dinky创建Flink实例报错,大数据相关问题汇总,Dinky,Flink,flink,大数据,数据库

hadoop集群以及zookeeper重启后,之前创建的一个yarn-session实例莫名其妙找不到了;

此时还没有启动yarn-session集群(但显然与这个没有关系,因为就算没有启动yarn-session集群,实例状态会显示异常,但不会直接没有)

接下来启动yarn-session集群

Dinky创建Flink实例报错,大数据相关问题汇总,Dinky,Flink,flink,大数据,数据库

接下来点击心跳会发现:

Dinky创建Flink实例报错,大数据相关问题汇总,Dinky,Flink,flink,大数据,数据库

出现报错信息:

obtain applicationId failed,Please check url is corrected:java.lang.Exception: app with id: application_1705278324636_0018 not found

根据这条报错信息我推测之前创建的实例并没有消失,只是由于未知异常没法显示出来,要不然之前实例中配置的Job ID application_1705278324636_0018应该不会产生任何影响;

问题2:无法新建实例

发现以上问题之后我尝试新建Flink 实例:

填写以下信息:

Dinky创建Flink实例报错,大数据相关问题汇总,Dinky,Flink,flink,大数据,数据库

点击【完成】时报错如下:

Dinky创建Flink实例报错,大数据相关问题汇总,Dinky,Flink,flink,大数据,数据库

报错信息:

### Error updating database. Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un' ### The error may exist in com/dlink/mapper/ClusterMapper.java (best guess) ### The error may involve com.dlink.mapper.ClusterMapper.insert-Inline ### The error occurred while setting parameters ### SQL: INSERT INTO dlink_cluster (alias, type, hosts, job_manager_host, application_id, resource_manager_addr, version, status, auto_registers, name, enabled, create_time, update_time, tenant_id) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, 1) ### Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un' ; Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un'; nested exception is java.sql.SQLIntegrityConstraintViolationException: Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un'

总之感觉很乱,但核心报错信息是这一句:Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un',说明数据库中主键重复了,相关数据库是dlink_cluster

问题解决

在以上两个问题的分析中我注意到后面新建的实例名称和之前莫名其妙消失的实例名称相同,这样我们就不难得出结论,之前的实例因为未知异常而无法显示,但仍存在于数据库之中,所以会导致后面新建异常

为了验证该推测,来到MySQL数据库中,找到dinky的元数据表dlink_cluster,发现确实有一条数据:

Dinky创建Flink实例报错,大数据相关问题汇总,Dinky,Flink,flink,大数据,数据库

接下来将其删除即可重新新建实例:

Dinky创建Flink实例报错,大数据相关问题汇总,Dinky,Flink,flink,大数据,数据库

问题至此已经解决,但导致问题的原因未明,如果有遇到相同问题的同学欢迎讨论交流~文章来源地址https://www.toymoban.com/news/detail-800437.html

到了这里,关于Dinky创建Flink实例报错的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Dinky 0.6.2 已发布,优化 Flink 应用体验

    Apache Flink 作为新一代的实时计算框架已经被应用到各个行业与领域,虽说应用程度不同,但都会遇到一些使用上的痛点,基础的应用痛点比如 FlinkSQL 作业提交不友好、作业无监控报警等。很大程度上说,FlinkSQL 大大加快了 Flink 的应用推广,而本文将简述开源项目 Dinky 如何改

    2024年02月05日
    浏览(33)
  • wsl内置Ubuntu使用 Dinky 与 Flink 集成

    说明 本文档介绍 Dinky 与 Flink 集成的使用方法, 如果您是 Dinky 的新用户, 请先阅读 本文档, 以便更好的搭建 Dinky 环境 如果您已经熟悉 Dinky 并已经部署了 Dinky, 请跳过本文档的前置要求部分, 直接阅读 Dinky 与 Flink 集成部分 注意: 本文档基于 Dinky 1.0.0+ 版本编写, 请确保 Dinky 版本

    2024年02月19日
    浏览(29)
  • flink sql 实战实例 及延伸问题:聚合/数据倾斜/DAU/Hive流批一体 等

    ⭐ 需求:上游是一个 kafka 数据源,数据内容是用户 QQ 等级变化明细数据(time,uid,level)。需要你求出当前每个等级的用户数。 ⭐ 需求:数据源:用户心跳日志(uid,time,type)。计算分 Android,iOS 的 DAU,最晚一分钟输出一次当日零点累计到当前的结果。 经过测试 在fl

    2024年02月22日
    浏览(50)
  • flink报错汇总

     1 org.apache.flink.table.api.ValidationException: Could not find any factory for identifier ‘json‘   解决方法:添加flink-json jar包   2 java.lang.ClassNotFoundException:org.apache.flink.table.connector.source.lookup.LookupOptions  解决方法:添加flink-table-common jar包

    2024年02月13日
    浏览(28)
  • 关于磁盘空间不够,导致报错 springboot内置tomcat相关的临时目录无法创建等问题,如何自定义配置 tomcat 缓存文件路径

    关于磁盘空间不够,导致报错 springboot内置tomcat相关的临时目录无法创建等问题,如何自定义配置 tomcat 缓存文件路径 解决方法: shell 脚本命令:(配置自定义缓存路径参数 -Djava.io.tmpdir ) 注意: tmpPath 的绝对路径值必须是 / 斜杠结尾。 1. springboot内置tomcat相关的临时目录自

    2024年02月09日
    浏览(53)
  • Dinky: 实时即未来,让 Flink SQL 纵享丝滑--如何本地编译、运行

    实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑。 Dinky 是一个开箱即用、易扩展,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。 最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的

    2024年02月09日
    浏览(43)
  • 数据库——报错:无法创建链接服务器 “(null)“ 的 OLE DB 访问接口 “Microsoft.Ace.OLEDB.12.0“ 的实例。

    安装完 AccessDatabaseEngine_X64 (2012).exe 后,准备在从Excel导入数据时: 输入如下代码 报错一: SQLServer阻止了对组件’AdHocDistributedQueries’的STATEMENT’OpenRowset/OpenDatasource’的访问,因为此组件已作为此服务器安全配置的一部分而被关闭。系统管理员可以通过使用。sp_configure启用’

    2024年02月12日
    浏览(38)
  • Hadoop——Hive相关问题汇总

    (1) 连接数据库时SSL问题  解决方法:useSSL=false要放最后 (2) jdbc:hive2://localhost:10091: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: Áõ¸ is not allowed to impersonate root org.apache.hadoop.ipc.RemoteException:User: Áõ¸

    2024年02月16日
    浏览(36)
  • 手机连接adb 相关问题汇总

    目录  关于端口占用问题1 关于修改adb 端口配置问题2  方法3 方法4 转载链接:https://www.jianshu.com/p/902a89b06271 报错信息: error: no device/emulators found error: device still connecting 解决方案: 重启adb服务,如果能够连接设备则ok 使用 adb nodaemon server 查看adb出现什么问题( adb nodaemon se

    2024年02月09日
    浏览(43)
  • Flink-SQL 写入PostgreSQL 问题汇总

    ​ 错误信息 问题原因 解决 确定主键属性是否有空值,若为空则确定是否可作为主键属性(若正确则将其置为默认值);若不符合业务情况,则重新定义主属性集合,确保不出现空值 ​ 错误信息 错误原因 解决 原因:postgreSQL包含database,schema,table三级结构,在生产环境未

    2024年02月04日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包