使用Kafka时，在消息的收发过程中都有可能会出现消息丢失。
一、生产者发送消息到broker过程中丢失
1. 设置异步发送
- 同步发送：会产生阻塞，一般使用异步发送。
- 异步发送：实现回调方法，消息发送失败时记录日志，或者重新发送，最终确保消息能够成功发送。
2. 设置消息重试机制
- 由于网络抖动问题，很快就会恢复正常，造成的消息丢失。
二、消息在broker中存储过程中丢失
Kafka中提供了一种发送确认机制，当生产者发送的消息到broker中，这些消息会存储在分区中。分区又分为leader和follower两种副本角色，其中，leader只有1个，follower可能有多个。分区收到消息后，首先保存到leader副本中，然后由leader副本把数据同步到follower副本中。
1. 发送确认机制acks
- acks=all：在所有的分区副本保存之后，才会发送确认，可以保证消息不丢失；这也是性能最低的一种。
- 在实际的生产环境中，最低也要设置acks=1，起码能让leader副本保存数据。
三、消费者从broker接收消息过程中丢失
一个Kafka集群是由多个broker（Kafka实例）组成，在每一个broker中存在不同的topic，且
1个topic可能存在多个分区（partition），分区也可能存在不同的broker中。
- 1个消费者组中可能存在多个消费者，它们都是消费同一个topic，每个消费者会去消费该topic下不同分区中消息。
- 每个分区都是按照偏移量（offset）来存储数据的，每个分区都是有顺序的、不可变的消息队列，且可以持续的添加消息。
- 分区中的消息都配备了一个序列号，称之为偏移量
- 同一个topic是由不同的消费者组去消费数据的，消费者去消费数据时也会按照偏移量去消费。
- 默认情况下，每个消费者每个5秒自动提交一次消费偏移量
- 如果消费者组出现重平衡情况，可能会重复消费或者消息丢失
- 重平衡：消费者组中某个消费者宕机，其负责消费的分区，交给组内其他消费者，重新分配消费分区过程中可能会出现重复消费或者消息丢失。
- 重复消费：某个消费者宕机时，当前消费偏移量是3，提交到Kafka的偏移量是1，导致重平衡后组内消费者重复消费某些数据。
- 消息丢失：某个消费者宕机时，当前消费偏移量是1，提交到Kafka的偏移量是3，导致重平衡后组内消费者重复消费某些数据。
1. 禁用自动提交偏移量，改为手动
导致这个原因就是消费者自动提交偏移量，提交的偏移量不准确，造成重复消费或者消息丢失。可以设置手动提交偏移量，消费多少就提交多少偏移量，如果宕机就不提交偏移量，这样偏移量就准确了。
- 同步提交：会阻塞
- 异步提交：如果消费失败，可能导致消费偏移量不准确
- 同步+异步组合提交：最佳方式
四、小结
文章来源：https://www.toymoban.com/news/detail-769600.html
五、模拟面试
文章来源地址https://www.toymoban.com/news/detail-769600.html
到了这里，关于【Kafka面试】Kafka如何保证消息不丢失？的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
