FlinkCDC系列:通过skipped.operations参数选择性处理新增、更新、删除数据

这篇具有很好参考价值的文章主要介绍了FlinkCDC系列:通过skipped.operations参数选择性处理新增、更新、删除数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在flinkCDC源数据配置,通过debezium.skipped.operations参数控制,配置需要过滤的 oplog 操作。操作包括 c 表示插入,u 表示更新,d 表示删除。默认情况下,不跳过任何操作,以逗号分隔。配置多个操作,需要英文逗号分隔。

官网说明地址:Debezium connector for MySQL :: Debezium Documentation

FlinkCDC系列:通过skipped.operations参数选择性处理新增、更新、删除数据,flink,mysql,flink,flinkCDC,数据同步

使用实例如下:

REATE TABLE IF NOT EXISTS `test_source` (

`testid` varchar ( 32 ),

`name` int,

`addre` varchar ( 100 ),

`stat` int,

`updateTime` TIMESTAMP,

PRIMARY KEY ( `testid` ) NOT ENFORCED

) WITH (

'connector' = 'mysql-cdc',

'hostname' = '*******',

'port' = '**',

'username' = '***',

'password'='********',

'database-name' = 'dbname',

'scan.startup.mode' = 'initial',

'debezium.skipped.operations'='d,c',

'table-name' = 'tablename'

);文章来源地址https://www.toymoban.com/news/detail-737706.html

到了这里,关于FlinkCDC系列:通过skipped.operations参数选择性处理新增、更新、删除数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Git Cherry-pick:选择性合并 Git 提交

    在 Git 中,有时候我们需要从一个分支中选择性地合并一个或多个提交到当前分支。Git 提供了一个称为 cherry-pick 的命令来执行这个操作。 cherry-pick 命令可以在一个分支上选择性地应用另一个分支或提交中的一个或多个提交。这对于合并单独的 bug 修复或其他小型改动非常有用

    2024年02月11日
    浏览(41)
  • 浅显易懂-Verilog中什么时候用wire?什么时候用reg?wire与reg只有又有啥区别?如何去选择性的使用呢?

    在使用FPGA的时候我们经常会遇到这样一个问题,这个信号我们到底是定义成wire类型还是定义成reg类型,如果定义不对编译软件也会通不过,有时候你通过编译软件的的提示将它改了回来,但你却并不明白是为什么会报错,而且下次还会再出现,当它再次出现时,我们又得重

    2024年02月04日
    浏览(29)
  • Cadence常见问题:Analysis was skipped due to inability to compute operating point?

    题主使用门电路创建sr触发器电路图如下: 欲在sr端加电压pulse验证sr输出特性,遇到以下报错: 显示输出不收敛 解决方法: 题主是直接调用ahdlLib中的或非门,是理想或非门,所以造成不收敛的问题 用晶体管自己搭建或非门,封装好再调用,该问题就可以解决

    2024年02月13日
    浏览(28)
  • MySQL:Skip-grant-tables非常有用启动参数

    介绍一个非常有用的mysql启动参数—— --skip-grant-tables。 顾名思义,就是在启动mysql时不启动grant-tables,授权表。有什么用呢? 忘记管理员密码后有用 操作方法: 1、停止mysql服务 2、以命令行参数启动mysql 3、修改管理员密码 4、杀死mysql,重启mysql

    2024年01月25日
    浏览(37)
  • R语言【paleobioDB】——pbdb_collections():通过参数选择,返回多个采集号的基本信息

    Package  paleobioDB  version 0.7.0 paleobioDB 包在2020年已经停止更新,该包依赖PBDB v1 API。 可以选择在Index of /src/contrib/Archive/paleobioDB (r-project.org)下载安装包后,执行本地安装。 参数【...】 :可通过 API 调用的参数。所有可用参数详见 PBDB Data Service: Single fossil collection。 根据参数发

    2024年02月01日
    浏览(30)
  • R语言【paleobioDB】——pbdb_intervals():通过参数选择,返回多个地层年代段的基本信息

     Package  paleobioDB  version 0.7.0 paleobioDB 包在2020年已经停止更新,该包依赖PBDB v1 API。 可以选择在Index of /src/contrib/Archive/paleobioDB (r-project.org)下载安装包后,执行本地安装。 参数【...】 :其余可通过 API 调用的参数。所有可用参数详见PBDB Data Service: Lists of geological time intervals。

    2024年02月02日
    浏览(27)
  • MySQL实践——参数SQL_SLAVE_SKIP_COUNTER的奥秘

    每次数据库复制冲突之后,经常使用的一个命令如下。 一般会认为,现在出现冲突错误,那就将上面参数值设置为1,跳过出错的这个event就可以解决了。重新启动复制,发现问题果然解决,我们以为这样理解是正确的。其实不然。 这需要从Binlog的内容说起。在Binlog中,所有

    2024年02月14日
    浏览(33)
  • FlinkCDC系列:数据同步对部分字段的处理,只更新部分字段

    在flinkCDC源数据配置中,只对表中的部分字段关注,通过监控部分字段进行数据更新或者不更新,对数据进行同步。主要通过以下两个参数: column.exclude.list 默认: 空字符串 一个可选的、以逗号分隔的正则表达式列表,与列的完全限定名称匹配以从更改事件记录值中排除。列

    2024年02月06日
    浏览(27)
  • MySQL FlinkCDC 通过Kafka实时同步到ClickHouse(自定义Debezium格式支持增加删除修改)

    MySQL FlinkCDC 通过Kafka实时同步到ClickHouse(自定义Debezium格式支持增加删除修改) 把MySQL多库多表的数据通过FlinkCDC DataStream的方式实时同步到同一个Kafka的Topic中,然后下游再写Flink SQL拆分把数据写入到ClickHouse,FlinkCDC DataStream通过自定义Debezium格式的序列化器,除了增加,还能进行

    2024年02月15日
    浏览(33)
  • MySQL中的slave_exec_mode 参数详解(MySQL从节点复制错误处理时,sql_slave_skip_counter VS slave-skip-errors VS slave_exec_mode)(译)

    原文地址:https://www.soughttech.com/front/article/7159/viewArticle     今天我偶然看到了参数slave_exec_mode。从手册中的描述可以看出,该参数与MySQL复制有关。它是一个可以动态修改的变量。默认为STRICT mode(严格模式),可选值为IDEMPOTENT mode(幂等模式)。 设置为IDEMPOTENT模式可以防止从库

    2024年02月05日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包