问题
线上ELK日志发现kafka消费者消费到重复消息
排查原因
生产者原因
由于生产方本身就发送了重复的消息,导致消费到重复消息文章来源:https://www.toymoban.com/news/detail-685751.html
消费者可能原因
消费方采用的是循环poll的模式,具体是在多线程分租户去批量处理的消息文章来源地址https://www.toymoban.com/news/detail-685751.html
while(true) {
ConsumerRecords consumerRecords;
do {
consumerRecords = this.consumer.poll(60000L);
} while(consumerRecords == null);
if (!consumerRecords.isEmpty()) {
long beginTime = System.currentTimeMillis();
Map<String, List> recordMap = this.consumerHandler.slice(consumerRecords);
List
到了这里,关于记一次线上kafka重复消费的问题解决及思考的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!