一、kafka是如何保证消息不丢失
1. 介绍
- 使用kafka在消息的收发过程都有可能会出现消息丢失
(1)生产者发送消息到broker丢失
(2)消息在broker中存储丢失
(3)消费者从broker接收消息丢失
2. 生产者发送消息到broker丢失
- 设置异步发送:同步发送会发生阻塞,一般使用异步发送方式发送消息
- 消息重试:由于网络抖动,造成消息发送失败,可以使用kafka提供的重试机制
3. 消息在broker中存储丢失
- broker存储大体流程
(1)生产者发送消息到达broker中
(2)消息存储在分区中,分区分为两个不同角色,leader只有一个,follower可能会有多个
(3)先把消息保存到leader分区中,然后由leader将消息同步到follower中
- 发送确认机制acks
(1)要想保证数据不丢失,可以设置acks=all,在所有分区副本保存完成后,才会发送确认给生产者,性能也是最低的
(2)实际生产环境中,最低也要设置acks=1
4. 消费者从broker接收消息丢失
- 一个kafka集群是由多个broker(kafka实例)组成的
- 每一个broker中都存在不同的topic,并且一个topic可能存在多个分区,这些分区可能存在不同的broker中
- 一个消费者组可能存在多个消费者,它们都是消费同一个topic,负责消费topic不同分区
- topic分区中消息只能由消费者组中唯一一个消费者处理,不同的分区分配给不同的消费者
- 丢失消息原因
(1)消费者默认是自动按期提交已经消费的偏移量,默认是每隔5秒提交一次。如果消费者组出现重平衡的情况,可能会重复消费或者丢失消息
(2)可以禁用自动提交偏移量,改为手动
- 解决方案
(1)同步提交【会阻塞,不推荐】
(2)异步提交【偏移量可能不准确,不推荐】
(3)同步+异步组合提交【推荐】
5. 总结
6. 参考答案
二、kafka是如何保证消息的顺序性
1. 介绍
- 问题原因
(1)一个topic中的数据可能存储在不同的分区中,每个分区都有一个按照顺序的存储偏移量,如果消费者关联了多个分区,则不能保证消费的顺序性 - 解决方案
(1)发送消息时,指定分区号,往同一个分区中存储消息
(2)发送消息时,按照相同的业务设置相同的key
2. 案例分析
-
springboot集成kafkatemplate
3. 参考答案
三、kafka的高可用机制要了解过吗
1. 介绍
- 集群模式
- 分区备份机制
2. 集群模式
3. 分区备份机制
4. 总结
5. 参考答案
四、kafka数据清理机制有了解过吗
1. 介绍
- kafka文件存储机制
- 数据清理机制
2. kafka文件存储机制
3. 数据清理机制
4. 总结
5. 参考答案
五、kafka中实现高性能的设计有了解过吗
1. 介绍
文章来源:https://www.toymoban.com/news/detail-677840.html
2. 参考答案
文章来源地址https://www.toymoban.com/news/detail-677840.html
到了这里,关于【Java面试丨消息中间件】Kafka的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!