flink cdc环境搭建

7月前作者：javachen__ 分类：Toy博客阅读(33) 违法举报

这篇具有很好参考价值的文章主要介绍了flink cdc环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.下载flink

https://archive.apache.org/dist/flink/flink-1.12.2/

2.修改flink-conf.yaml
#根据自己电脑核数修改，这里我设置为4，因为系统分配了4核
jobmanager.rpc.address: localhost #主机名根据自己设定
taskmanager.numberOfTaskSlots: 4

flink cdc环境搭建,flink,大数据

3.下载flink-sql mysql cdc包

flink-sql-connector-mysql-cdc-1.2.0.jar

https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/gradle-plugin/com/alibaba/ververica/flink-sql-connector-mysql-cdc/1.2.0/flink-sql-connector-mysql-cdc-1.2.0.jar?spm=a2c6h.24085988.0.0.101c3054iDT6s8&Expires=1690131054&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=PL4xE68opO%2FTfCwsFW4HdWzjrGw%3D

4.下载fink jdbc包

https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc_2.11/1.12.2

5.下载flink changelog-json数据格式包

https://archiva-maven-storage-prod.oss-cn-beijing.aliyuncs.com/repository/central/com/alibaba/ververica/flink-format-changelog-json/1.2.0/flink-format-changelog-json-1.2.0.jar?Expires=1690131326&OSSAccessKeyId=LTAIfU51SusnnfCC&Signature=WHN7OVw8yGIeREN%2Bgd1Na7EbpC8%3D

6.将以上下载的jar包,上传至lib目录下

flink cdc环境搭建,flink,大数据

6.启动集群以及client端

#启动flink
bin/start-cluster.sh

#启动client
bin/sql-client.sh embedded

flink cdc环境搭建,flink,大数据

7.查看flink控制台

flink cdc环境搭建,flink,大数据文章来源地址https://www.toymoban.com/news/detail-606762.html

到了这里，关于flink cdc环境搭建的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

flink- mysql同步数据至starrocks-2.5.0之环境搭建

一般需要以下几个服务: mysql flink flink-taskmanager flink-jobmanager starrocks starrocks-fe starrocks-be docker-compose.yml 配置文件启动: docker-compose up -d : 登陆 starrocks 注意事项 mysql开启 bin log mysql 基于cdc ，采用 binlog模式，所以要开启binlog, conf/my.cnf : docker 服务放到同一docker网络中如果不在同

2024年02月10日
浏览(34)
【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

CDC是Change Data Capture的缩写，中文意思是变更数据获取，flink-cdc的作用是，通过flink捕获数据源的事务变动操作记录，包括数据的增删改操作等，根据这些记录可作用于对目标端进行实时数据同步。下图是flink-cdc最新支持的数据源类型： kafka的数据源要通过flink-cdc进行实时数

2024年02月12日
浏览(43)
Flink CDC 新一代数据集成框架

前言：主要讲解了技术原理，入门与生产实践，主要功能：全增量一体化数据集成、实时数据入库入仓、最详细的教程。Flink CDC 是Apache Flink的一个重要组件，主要使用了CDC技术从各种数据库中获取变更流并接入到Flink中，Apache Flink作为一款非常优秀的流处理引擎，其SQL API又

2024年02月13日
浏览(44)
【实战-01】flink cdc 实时数据同步利器

cdc github源码地址 cdc官方文档对很多初入门的人来说是无法理解cdc到底是什么个东西。有这样一个需求，比如在mysql数据库中存在很多数据，但是公司要把mysql中的数据同步到数据仓库(starrocks), 数据仓库你可以理解为存储了各种各样来自不同数据库中表。数据的同步目前对

2023年04月08日
浏览(40)
【大数据】Flink CDC 的概览和使用

CDC （ Change Data Capture ，数据变更抓取）是一种用于跟踪数据库中数据更改的技术。它用于监视数据库中的变化，并捕获这些变化，以便实时或定期将变化的数据同步到其他系统、数据仓库或分析平台。CDC 技术通常用于数据复制、数据仓库更新、实时报告和数据同步等场景。

2024年01月24日
浏览(38)
大数据技术之 Flink-CDC

CDC 是 Change Data Capture（变更数据获取）的简称。在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以

2024年02月05日
浏览(39)
基于 Flink CDC 的现代数据栈实践

摘要：本文整理自阿里云技术专家，Apache Flink PMC Member Committer, Flink CDC Maintainer 徐榜江和阿里云高级研发工程师，Apache Flink Contributor Flink CDC Maintainer 阮航，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分： 1.深入解读 Flink CDC 2.3 版本 2.基于 Flink CDC 构建

2024年02月09日
浏览(33)
【大数据】Flink 详解（十）：SQL 篇 Ⅲ（Flink SQL CDC）

《 Flink 详解》系列（已完结），共包含以下 10 10 10 篇文章：【大数据】Flink 详解（一）：基础篇（架构、并行度、算子）【大数据】Flink 详解（二）：核心篇 Ⅰ（窗口、WaterMark）【大数据】Flink 详解（三）：核心篇 Ⅱ（状态 State）【大数据】Flink 详解（四）：核心篇

2024年01月25日
浏览(40)
基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

笔者在先前的一篇文档《数据标签设计 – 大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。在项目中遇到这样一种情形：如果打标信息和业务数据是在一个数据库实例中，那么只需要连接两张表进行查询即可。但是数据标签作为

2024年01月17日
浏览(46)
Flink + Paimon数据 CDC 入湖最佳实践

Apache Paimon 最典型的场景是解决了 CDC （Change Data Capture）数据的入湖，看完这篇文章可以了解到： 1、为什么 CDC 入Hive迁移到 Paimon？ 2、CDC 入 Paimon 怎么样做到成本最低？ 3、Paimon 对比 Hudi有什么样的优势？ Paimon 从 CDC 入湖场景出发，希望提供给你简单、低成本、低延时的

2024年01月16日
浏览(35)