一、什么是全量数据、增量数据?
1.全量数据
2.增量数据
二、如何统一一套系统
1.为什么需要统一一套系统来处理全量数据和增量数据?
2.如何实践?
一、什么是全量数据、增量数据?
全量数据和增量数据是在数据库系统迁移时的概念。
1.全量数据:
当前需要迁移的数据库系统的全部数据。
2.增量数据:
在数据库系统迁移过程中,新产生的数据即为增量数据,这些数据直接保存到数据库系统。
*** 在典型的大数据业务场景下,全量数据采用批处理来完成,实时增长的数据采用流式计算来完成。
二、如何统一一套系统
1.为什么需要统一一套系统来处理全量数据和增量数据?
全量数据和增量数据的处理方式不同,批处理和流处理的计算引擎不同时,这可能意味着需要两套代码,增加了额外的成本。
2.如何实践?
开源的数据引擎能同时实现流处理和批处理的计算引擎有 spark 和 flink。
Spark是通过批处理来模拟流处理的(微批处理),有一定的技术局限性。文章来源:https://www.toymoban.com/news/detail-454221.html
Flink则是真正的流处理,定义了有界流和无界流,批处理工作在有界流,流处理工作在无界流,从长远来看,Flink是一个很好的选择。文章来源地址https://www.toymoban.com/news/detail-454221.html
到了这里,关于什么是全量数据、增量数据?如何统一一套系统?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!