先上一张图,后面再慢慢介绍:
CDC概述
CDC 的全称是 Change Data Capture ,在广义的概念上,只要能捕获数据变更的技术,我们都可以称为 CDC 。我们目前通常描述的CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。
CDC主要分以下两类
- 基于查询的 CDC:优点是实现简单,是通过批处理实现的,需要依赖离线调度,不能保证数据强一致性和实时性;
- 基于日志的 CDC:实现比较复杂,但是可以实时消费日志,流式处理,可保证数据一致性和实时性;
方案对比
目前市面上的CDC技术比较多,我们选取了几种主要的开源CDC方案做了对比,总体如下图:
如上图所示,从CDC机制、增量同步、断电续传、全量同步、全量+增量、架构、数据计算、生态这八个方面做了对比。可以看出其中的佼佼者主要是Flink CDC和Oracle OGG以及Debezium;
由于基于查询的CDC方案缺陷明显,这里不作讨论,下面我们对基于日志的CDC方案的优劣来做详细的介绍。
各方案优缺点
Flink CDC:Flink CDC是最近几年的新贵,Flink CDC 底层封装了 Debezium,功能比较全面,目前已经迭代到了2.4版本,社区活跃度在几个方案中是最高的;
- 优点:全、增量一体的分布式数据集成框架;同步时无需加锁;吞吐量大,适合海量数据实时同步;操作简单,SQL即可完成;具有强大的 transformation 能力,通过 Flink SQL 即可完成ETL 中的数据转换;有丰富的 Connector,除关系型数据库外,HBase、ClickHouse、TiDB等也支持,而且支持自定义 connector;
- 缺点:依赖Flink集群,数据量较大时对服务器要求较高;
Oracle OGG:Oracle OGG历史比较悠久,最初是设计用来从Oracle迁移数据到其它数据库,或者从其它平台迁移数据到Oracle,随着发展,目前已支持Mysql、Hadoop、Hive、Kafka登数据源;
- 优点:支持增量和全量同步,支持分布式,高性能,支持数据过滤和转化,是目前主流的实时同步方案之一;
- 缺点:支持的数据库比较少,像一些MongoDB、TiDB等不支持;
Debezium:Debezium最初设计成一个Kafka Connect 的Source Plugin,目前开发者虽致力于将其与Kafka Connect解耦,但当前的代码实现还未变动。下图引自Debeizum官方文档,可以看到一个Debezium在一个完整CDC系统中的位置。
文章来源:https://www.toymoban.com/news/detail-497813.html
- 优点:支持全量+增量同步;
- 缺点:全量同步时会加锁,而且加锁时间不确定,会严重影响业务;最重要的是跟Kafka等消息中间件强耦合,下游数据要经过Kafka;
Canal:主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。文章来源地址https://www.toymoban.com/news/detail-497813.html
- 优点:用于单一的MySQL环境做数据同步还不错;
- 缺点:缺点较为明显,只支持MySQL的CDC,只支持增量同步,全量需要用DataX或者Sqoop,全量和增量同步割裂;不支持分布式;
到了这里,关于Flink CDC、OGG、Debezium等基于日志开源CDC方案对比的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!