背景
Kafka作为目前主流的消息中间件，被广泛的应用在了生产环境中。消息积压是日常生产经常遇到的问题，下面我们来展开了说一下。文章来源地址https://www.toymoban.com/news/detail-502857.html
积压原因
- 上游数据激增（生产侧原因）：由于业务系统，访问量徒增，如热点事件，热门活动等，导致了大量的数据涌入业务系统，有可能导致消息积压
- consumer程序挂掉（消费侧原因）：由于下游consumer程序故障也会导致大量消息未消费，从而造成消息积压。
- kafka数据倾斜问题： producer 写入数据时候设置的key 发生数据倾斜，导致过度数据写入少量partition。
解决方法
- 扩容consumer，增加消费能力，从而处理积压数据。
- 如果发现是数据倾斜问题，可以在producer测加盐，环节倾斜问题。
- 部分场景下，历史数据是没有意义的，比如：股价价格，天气数据，可以重置consumer的offset，直接从latest 消费。
文章来源：https://www.toymoban.com/news/detail-502857.html
到了这里，关于Kafka消息积压的原因和处理的方法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
