常见的数据库同步同步主要有:DataX、Sqoop、Maxwell、Canal
数据同步工具种类繁多,大致可分为两类,一类是以DataX、Sqoop为代表的基于Select查询的离线、批量同步工具,另一类是以Maxwell、Canal为代表的基于数据库数据变更日志(例如MySQL的binlog,其会实时记录所有的insert、update以及delete操作)的实时流式同步工具。
全量同步通常使用DataX、Sqoop等基于查询的离线同步工具。
而增量同步既可以使用DataX、Sqoop等工具,也可使用Maxwell、Canal等工具,cannal只支持mysql,下面对增量同步不同方案进行简要对比。
数据库同步策略
增量同步、全量同步
全量同步,就是每天都将业务数据库中的全部数据同步一份到数据仓库,这是保证两侧数据同步的最简单的方式。主要围绕商城本省的活动和业务域文章来源:https://www.toymoban.com/news/detail-503054.html
增量同步,就是每天只将业务数据中的新增及变化数据同步到数据仓库。采用每日增量同步的表,通常需要在首日先进行一次全量同步。主要围绕交易域
文章来源地址https://www.toymoban.com/news/detail-503054.html
到了这里,关于数据同步工具DataX、Sqoop、Maxwell、Canal的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!