1.注意这里的增量同步,不像之前用的DBsyncer或者是,NIFI中的利用binlog的形式,实现真正的实时的数据同步.
2.这里的增量是,指定通过ID,或者时间来进行增量,比如大于2023-07-03 11:44:56的数据仅仅同步这个,或者是,id大于多少的这样,这里建议用时间,因为如果有id用的字符串咋弄来?
来看一下,如果是mysql的话,如何配置增量更新:
首先需要给,要同步的表添加一个字段:CREATE_TIME 如果是你要同步别人的表,比如到大数据平台,这样的话,不太好弄啊...别人不一定让你动...同样,开启binlog也不一定让用
alter table table1 add column `curr_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间（DataX数据采集使用）';
给这个表添加一个叫create_time的字段,默认值是当前时间
alter table tableName add column `createTime` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间';
alter table tableName add column `moditiy_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间';
然后开启自动更新,字段文章来源：https://www.toymoban.com/news/detail-690713.html
这两个sql,我们来看一下,首先:文章来源地址https://www.toymoban.com/news/detail-690713.html
到了这里，关于Centos7.9通过datax-web2.0_用Datax3.0进行增量同步_增量删除_数据更新---大数据之DataX工作笔记006的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
