Flink本地Debug调试的方法和注意点

这篇具有很好参考价值的文章主要介绍了Flink本地Debug调试的方法和注意点。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

初学flink可能会疑惑flink项目如何本地调试,毕竟和后端项目不同。本文介绍flink项目本地debug方法和注意点。

以IDEA Maven项目(java开发语言)为例,步骤如下:
一、设置执行环境为Local

StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(configuration);

公司封装后如下:
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea
注意,调试完后需要修改回集群环境:

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

**二、设置参数
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea
注意:
1、如果环境变量依各自公司情况进行修改,一般配置文件需要配置进来,如,我的Programme arguments为

–nacos.cover.config true --config_path C:\workspace\flink-app-data-warehouse\streaming-app-fd-first-project-online6\src\main\resources\application.properties
2、maven项目中有运行环境提供依赖,则需要设置 add dependencies with “provided” scope to calsspath,否则会报错NoClassDefFoundError,配置如下:
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea
三、打断点

在合适的地方打断点,否则不会弹出debug界面!!!!
一般为:
1、算子的function函数中,比如processElement方法内;
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea

2、main方法中算法的lambda表达式方法体中(实际上也是算子内)

flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea
四、造数据、Debug启动flink项目、向source发送数据,观察是否进入断点处
以kafka为例,直接往source topic发数据
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea数据来了
flink 本地调试,Flink,flink,数据库,大数据,maven,intellij-idea文章来源地址https://www.toymoban.com/news/detail-842467.html

结束语:分享让人快乐,欢迎交流!

到了这里,关于Flink本地Debug调试的方法和注意点的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据Flink(五十九):Flink on Yarn的三种部署方式介绍以及注意

    文章目录 Flink on Yarn的三种部署方式介绍以及注意 一、Pre-Job 模式部署作业

    2024年02月13日
    浏览(41)
  • Flink本地集群部署启动&常见问题的解决方法

    [zhangflink@9wmwtivvjuibcd2e software]$ vim flink/conf/flink-conf.yaml [zhangflink@9wmwtivvjuibcd2e software]$ vim flink/conf/workers [zhangflink@9wmwtivvjuibcd2e software]$ xsync flink/conf/ 启动集群在jobmanager那台机器启动 [zhangflink@9wmwtivvjuibcd2e-0001 flink]$ bin/start-cluster.sh 启动成功jobmanager会出现如下进程 启动成功taskm

    2024年02月02日
    浏览(53)
  • Flink系列之:使用Flink CDC从数据库采集数据,设置checkpoint支持数据采集中断恢复,保证数据不丢失

    博主相关技术博客: Flink系列之:Debezium采集Mysql数据库表数据到Kafka Topic,同步kafka topic数据到StarRocks数据库 Flink系列之:使用Flink Mysql CDC基于Flink SQL同步mysql数据到StarRocks数据库

    2024年02月11日
    浏览(86)
  • 【大数据】-- 本地部署 Flink kubernetes operator

    目录 1.说明 1.1 版本 1.2 kubernetes 环境 1.3 参考 2.安装步骤 2.1 安装本地 kubernetes 环境

    2024年02月13日
    浏览(33)
  • Flink读取mysql数据库(java)

    代码如下: 运行结果如下:

    2024年02月12日
    浏览(43)
  • [大数据 Flink,Java实现不同数据库实时数据同步过程]

    目录 🌮前言: 🌮实现Mysql同步Es的过程包括以下步骤: 🌮配置Mysql数据库连接 🌮在Flink的配置文件中,添加Mysql数据库的连接信息。可以在flink-conf.yaml文件中添加如下配置: 🌮在Flink程序中,使用JDBCInputFormat来连接Mysql数据库,并定义查询语句,获取需要同步的数据。具体代

    2024年02月10日
    浏览(45)
  • 自定义Flink SourceFunction定时读取数据库

    Source 是Flink获取数据输入的地方,可以用StreamExecutionEnvironment.addSource(sourceFunction) 将一个 source 关联到你的程序。Flink 自带了许多预先实现的 source functions,不过你仍然可以通过实现 SourceFunction 接口编写自定义的非并行 source,也可以通过实现继承 RichSourceFunction 类编写自定义的

    2024年02月02日
    浏览(36)
  • Flink CDC实时同步PG数据库

    JDK:1.8 Flink:1.16.2 Scala:2.11 Hadoop:3.1.3 github地址:https://github.com/rockets0421/FlinkCDC-PG.git  1、更改配置文件postgresql.conf # 更改wal日志方式为logical wal_level = logical # minimal, replica, or logical # 更改solts最大数量(默认值为10),flink-cdc默认一张表占用一个slots max_replication_slots = 20 # m

    2024年02月13日
    浏览(69)
  • 实时Flink的数据库与Kafka集成优化案例

    在现代数据处理系统中,实时数据处理和分析是至关重要的。Apache Flink是一个流处理框架,可以用于实时数据处理和分析。在许多场景下,Flink需要与数据库和Kafka等消息系统进行集成,以实现更高效的数据处理。本文将讨论Flink与数据库和Kafka集成的优化案例,并提供实际示

    2024年02月20日
    浏览(43)
  • flink cdc 连接posgresql 数据库相关问题整理

    01 、flink posgresql cdc 前置工作 1,更改配置文件postgresql.conf wal_level是必须更改的,其它参数选着性更改,如果同步表数量超过10张建议修改为合适的值 更改配置文件postgresql.conf完成,需要重启pg服务生效,所以一般是在业务低峰期更改 2,新建用户并且给用户复制流权限 3,发

    2024年02月07日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包