kafka怎么避免重复消费-Toy模板网

这篇具有很好参考价值的文章主要介绍了kafka怎么避免重复消费。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

问题场景

1. 应用程序异常关闭导致Offset未提交

首先，Kafka Broker上存储的消息都有一个Offset的标记，然后Kafka的消费者是通过Offset这个标记来维护当前已经消费的一个数据的。消费者每消费一批数据，Kafka Broker就会更新OffSet的一个值，避免重复消费的一个问题。

默认情况下，消息消费完成以后，会自动提交Offset这样一个值，避免重复消费。

Kafka自动提交的逻辑里面，有一个默认5秒的一个间隔，也就是说在5秒之后的下一次向Broker去获取消息的时候来实现Offset的一个提交。所以在Consumer的消费过程中，应用程序强制被kill掉或者宕机的时候，可能会导致Offset没有提交，从而会产生重复消费的问题。

2. 消息量大导致Offset自动提交失败

kafka怎么防止重复消费,消息队列,kafka,分布式
除此之外，还有另外一种情况也会出现重复消费，在Kafka里面有一个叫Partition Balance的一个机制，就是把多个Partition均衡地分配给多个消费者。那么Comsumer会从分配的Partition里面去消费消息。如果Consumer在默认的5分钟以内没办法处理完这一批消息的时候，就会触发Kafka的Rebalance的一个机制，从而导致Offset自动提交失败，而在重新Rebalance以后，Consumer端还是会从之前没有提交的Offset的位置开始去消费，从而去导致重复消费的一个问题。