- 精准一次怎么保证？可以设置为以下2个
- 对齐
- 当有一个barrier比较快时，输入缓冲区阻塞，当另外一个barrier到来时，才进行备份，所以数据不会重复。
- 优点：不会造成数据重复
- 缺点：会造成数据积压，OOM
- 不对齐
- 当有一个barrier到来时，直接将barrier置到最后，然后将所有缓冲区的数据和状态进行备份，然后将kafka提交，然后将慢的barrier也置到最后，将所有缓冲区的数据和状态进行备份，然后将kafka提交。
- 优点：加快了ck
- 缺点：由于备份了大量数据，会造成IO压力大，磁盘存储压力大
- 对齐
- 至少一次怎么保证？
- 对齐
- 当有一个barrier比较快时，输入缓冲区不阻塞，直接向下游流动，而barrier会等待另外一个barrier，当此次ck备份成功后，JM注入新的barrier，然后到一半的时候，备份失败了，kafka回滚，从HDFS中恢复上次的ck，恢复kafka的offset，由于不阻塞，所以会重新从kafka中拉取到重复的数据进行计算，就造成了数据的重复，就是至少一次语义。
- 优点：不阻塞，不会造成数据积压，OOM
- 缺点，会造成数据重复
文章来源地址https://www.toymoban.com/news/detail-726265.html
文章来源：https://www.toymoban.com/news/detail-726265.html
到了这里，关于flink-对齐和不对齐，精准一次和至少一次的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
