flink实时同步

这篇具有很好参考价值的文章主要介绍了flink实时同步。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

DROP TABLE IF EXISTS `user_flink_primary_from`;
CREATE TABLE `user_flink_primary_from` (
 `id`  int(11) NOT NULL,
 `user_name` varchar(200) DEFAULT NULL,
 `create_time` timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
 `age` int(3) DEFAULT NULL,
 `remark` varchar(200) DEFAULT NULL,
 PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

------------------------------------
DROP TABLE IF EXISTS `user_flink_primary_to`;
CREATE TABLE `user_flink_primary_to` (
 `id`  int(11) NOT NULL,
 `user_name` varchar(200) DEFAULT NULL,
 `create_time` timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
 `age` int(3) DEFAULT NULL,
 `remark` varchar(200) DEFAULT NULL,
 PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

------------------------------------
#创建虚拟mysql表
CREATE TABLE user_flink_primary_from (
 id int,
 user_name string,
 create_time timestamp(3),
 age int,
 remark string,
 PRIMARY KEY (id) not ENFORCED
) WITH (
 'connector' =  'mysql-cdc',
 'hostname' = '172.22.46.34',
 'port' = '3306',
 'username'= 'root',
 'password' = 'xxx',
 'database-name' = 'flink', 
 'table-name' = 'user_flink_primary_from'
)

------------------------------------
#创建虚拟mysql表
CREATE TABLE user_flink_primary_to (
 id int,
 user_name string,
 create_time timestamp(3),
 age int,
 remark string,
 PRIMARY KEY (id) not ENFORCED
) WITH (
 'connector'=  'jdbc',
 'url' = 'jdbc:mysql://172.22.46.33:3306/flink?characterEncoding=utf8&useSSl=false&serverTimezone=Asia/Shanghai',
 'username'= 'root',
 'password' = 'xxx',
 'table-name' = 'user_flink_primary_to', 
 'driver' = 'com.mysql.jdbc.Driver',
 'scan.fetch-size' = '200'
)

------------------------------------

insert into user_flink_primary_to select * from user_flink_primary_from;

flink实时同步,flink,大数据

flink实时同步,flink,大数据文章来源地址https://www.toymoban.com/news/detail-618345.html

到了这里,关于flink实时同步的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [大数据 Flink,Java实现不同数据库实时数据同步过程]

    目录 🌮前言: 🌮实现Mysql同步Es的过程包括以下步骤: 🌮配置Mysql数据库连接 🌮在Flink的配置文件中,添加Mysql数据库的连接信息。可以在flink-conf.yaml文件中添加如下配置: 🌮在Flink程序中,使用JDBCInputFormat来连接Mysql数据库,并定义查询语句,获取需要同步的数据。具体代

    2024年02月10日
    浏览(40)
  • 基于Flink CDC实时同步数据(MySQL到MySQL)

    jdk8 Flink 1.16.1(部署在远程服务器:192.168.137.99) Flink CDC 2.3.0 MySQL 8.0(安装在本地:192.168.3.31) (安装部署过程略) 准备三个数据库:flink_source、flink_sink、flink_sink_second。 将flink_source.source_test表实时同步到flink_sink和flink_sink_second的sink_test表。 (建库建表过程略) 开发过程

    2024年02月06日
    浏览(102)
  • 用flink cdc sqlserver 将数据实时同步到clickhouse

    flink cdc 终于支持 sqlserver 了。 现在互联网公司用sqlserver的不多,大部分都是一些国企的老旧系统。我们以前同步数据,都是用datax,但是不能实时同步数据。现在有了flinkcdc,可以实现实时同步了。 1、首先sqlserver版本:要求sqlserver版本为14及以上,也就是 SQL Server 2017 版。

    2023年04月08日
    浏览(43)
  • 基于 Flink CDC 构建 MySQL 到 Databend 的 实时数据同步

    这篇教程将展示如何基于 Flink CDC 快速构建 MySQL 到 Databend 的实时数据同步。本教程的演示都将在 Flink SQL CLI 中进行,只涉及 SQL,无需一行 Java/Scala 代码,也无需安装 IDE。 假设我们有电子商务业务,商品的数据存储在 MySQL ,我们需要实时把它同步到 Databend 中。 接下来的内容

    2024年02月10日
    浏览(48)
  • 使用Flink CDC将Mysql中的数据实时同步到ES

    最近公司要搞搜索,需要把mysql中的数据同步到es中来进行搜索,由于公司已经搭建了flink集群,就打算用flink来做这个同步。本来以为很简单,跟着官网文档走就好了,结果没想到折腾了将近一周的时间…… 我也是没想到,这玩意网上资源竟然这么少,找到的全部都是通过

    2024年02月11日
    浏览(50)
  • 合纵连横 – 以 Flink 和 Amazon MSK 构建 Amazon DocumentDB 之间的实时数据同步

    在大数据时代,实时数据同步已经有很多地方应用,包括从在线数据库构建实时数据仓库,跨区域数据复制。行业落地场景众多,例如,电商 GMV 数据实时统计,用户行为分析,广告投放效果实时追踪,社交媒体舆情分析,跨区域用户管理。亚马逊云科技提供了从数据库到分

    2024年02月22日
    浏览(38)
  • 基于Canal与Flink实现数据实时增量同步(一),计算机毕设源码要提交吗

    配置修改 修改conf/example/instance.properties,修改内容如下: canal.instance.mysql.slaveId = 1234 #position info,需要改成自己的数据库信息 canal.instance.master.address = kms-1.apache.com:3306 #username/password,需要改成自己的数据库信息 canal.instance.dbUsername = canal canal.instance.dbPassword = canal canal.mq.topic

    2024年04月12日
    浏览(53)
  • flink实时同步

    2024年02月15日
    浏览(35)
  • FLink多表关联实时同步

    Oracle-Debezium-Kafka-Flink-PostgreSQL Flink消费Kafka中客户、产品、订单(ID)三张表的数据合并为一张订单(NAME)表。 Oracle内创建三张表 PostgreSQL内创建一张表 其他前置环境 Oracle、PostgreSQL、Kafka、FLink、Debezium-Server的部署参见本系列其他文章搭建。 采用前置条件中的语句建表即可,

    2023年04月25日
    浏览(64)
  • 基于 Flink CDC 的实时同步系统

    摘要: 本文整理自科杰科技大数据架构师张军,在 FFA 2022 数据集成专场的分享。本篇内容主要分为四个部分: 功能概述 架构设计 技术挑战 生产实践 Tips: 点击 「阅读原文」 查看原文视频演讲 ppt 科杰科技是专门做大数据服务的供应商,目前的客户包括能源、金融、证券等

    2024年02月05日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包