数据同步要解决2个问题,1是存量数据同步,2是增是数据同步。存量同步只需要进行一次,所以又叫离线同步,或批处理同步。增量同步要解决每时每刻的数据变化同步,要运行多次,所以又叫实时同步,流处理同步。
数据准实时复制(CDC)是目前数据同步中大量使用的技术,随着国产化的需求,许多公司也逐步考虑基于开源产品进行准实时数据同步工具的相关开发,逐步实现对商业产品的替代。目前业界主流的实现机制可以分为两种:
(1)基于查询的 CDC,详一、传统的数据同步方案:
◆离线调度查询作业,批处理。把一张表同步到其他系统,每次通过查询去获取表中最新的数据;
◆无法保障数据一致性,查的过程中有可能数据已经发生了多次变更;文章来源:https://www.toymoban.com/news/detail-637990.html
◆不保障实时性,基于离线调度存在天然的延迟。文章来源地址https://www.toymoban.com/news/detail-637990.html
到了这里,关于1、数据同步方案设计的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!