【复盘】记录一次类型不一致导致的Kafka消费异常问题

9月前作者：qxlxi 分类：Toy博客阅读(33) 违法举报

这篇具有很好参考价值的文章主要介绍了【复盘】记录一次类型不一致导致的Kafka消费异常问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

业务主要是通过A系统向B系统写入Kafka，然后B系统消费Kafka 将结果写到Kafka中，A进行消费最终结果。
在整个流程中，A写入Kafka会写入一张 record1表记录，然后在A消费最终结果的时候也记录一张record2表。主要改动的话只是B系统内进行写入数据，但是没有想到用的同一个Map导致前后的一个变量值String类型转换成Integer类型。导致下游系统解析错误。由于上线后没有感觉会影响到这块，所以差不多3 4个小时后才发现，所以造成比较大的影响。
【复盘】记录一次类型不一致导致的Kafka消费异常问题,# 复盘,kafka,分布式

事故

补救措施：由于日志中有最终消费结果，所以从日志中拉取到最终的结果，然后在生产机器上进行重新推送这波数据。

总结

事前：对于需求可能的难点有问题的地方需要全方位的考虑清楚。最笨的方法就是一个案例一个案例过一遍整体的流程。
事中：上线后需要及时观察总体的数据，不能只看改动的地方，这样即使出现问题后，也可以在短时间内找到问题，然后解决，将故障时间缩小到最小范围。
事后：出现问题后，需要及时复盘，影响已经造成可以从中吸取到一定的教训。文章来源地址https://www.toymoban.com/news/detail-577256.html

到了这里，关于【复盘】记录一次类型不一致导致的Kafka消费异常问题的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

记一次Kafka重复消费解决过程

起因：车联网项目开发，车辆发生故障需要给三个系统推送消息，故障上报较为频繁，所以为了不阻塞主流程，采用了使用kafka。消费方负责推送并保存推送记录，但在一次压测中发现，实际只发生了10次故障，但是推送记录却有30多条。问题排查，发现

2024年02月13日
浏览(54)
Kafka未触发消费异常排查实录

最近生产环境系统发现一个疑难杂症，看了很久的问题但是始终无法定位到问题并处理，然后查阅了相关资料也是定位不到问题，不过资料查阅却给了个新的思路，以此为跳板最终解决了问题。功能介绍： “主计划拆分子计划”是APS系统很常见的功能，功能大概

2024年02月05日
浏览(46)
记一次线上kafka重复消费的问题解决及思考

线上ELK日志发现kafka消费者消费到重复消息由于生产方本身就发送了重复的消息，导致消费到重复消息消费方采用的是循环poll的模式，具体是在多线程分租户去批量处理的消息

2024年02月10日
浏览(48)
Kafka消费异常处理策略及重试机制

在使用Kafka进行消息传递时，消费者可能会遇到各种异常情况，例如网络故障、消息处理失败等。为了保证消息的可靠消费，我们需要实现一套有效的异常处理策略和重试机制。本文将介绍如何在Kafka消费过程中处理异常，并提供相应的源代码示例。异常处理策略在Kafka消费

2024年02月04日
浏览(38)
Kafka消费者异常问题解析与解决方案

Kafka是一个分布式流处理平台，它提供了高吞吐量、容错性和可扩展性的特性。然而，有时候在使用Kafka消费者时，可能会遇到一些异常情况。本文将详细讨论几种常见的Kafka消费异常问题，并提供相应的解决方案。问题1：消费者无法连接到Kafka集群当消费者无法连接到Kafk

2024年02月05日
浏览(47)
记录一次YAMLException异常

✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人😉😉 🍎个人主页：Leo的博客 💞当前专栏：报错以及Bug ✨特色专栏： MySQL学习 🥭本文内容：记录一次YAMLException异常 📚个人知识库： [Leo知识库]https://gaoziman.gitee.io/blogs/)，欢迎大家访问

2024年02月05日
浏览(47)
记录一次1Panel配置SSL导致的面板访问失败

今天在使用1Panel配置网站的时候，给域名上传了SSL证书、开启了https访问。然后面板就进不去了，浏览器报告连接不安全。猜测导致问题的原因是，OpenResty把所有访问该域名的请求都重定向到了https。（最后研究发现该猜测错误）发生这件事有以下几个条件：正在配置的网

2024年01月24日
浏览(66)
clickhouse一次异常排查记录

clickhouse中报错关闭了自启动，删了status，重启了clickhouse还是报错 1，排查定时执行的脚本日志（每小时第5分钟执行） INSERT INTO quality0529.previously_reported_urls (url) SELECT url FROM quality0529.hourly_data_view WHERE findUrlListLastTime = now() - INTERVAL 1 HOUR GROUP BY url 2,查看ck执行异常详细信息统计

2024年02月11日
浏览(43)
UE4 内存写坏导致异常崩溃问题记录

经常出现进程崩溃，崩溃堆栈较为底层原因基本上都是 read write memory 时触发了异常，盘查后初步怀疑是内存写坏了。 UE 支持各种内存分配器： TBB Ansi Jemalloc Stomp 还有自带的内存分配器： Binned Binned2 Binned3 可以参考文章 UE 中的内存分配器。其中 Stomp 是引擎提供的排查内存写

2023年04月21日
浏览(62)
【JAVA】生产环境kafka重复消费问题记录

业务系统每周都有定时任务在跑，由于是大任务因此采用分而治之思想将其拆分为多个分片小任务采用 kafka异步队列消费的形式来减少服务器压力，每个小任务都会调用后台的c++算法，调用完成之后便会回写数据库的成功次数。今天观测到定时任务的分片小任务存在被重复消

2024年04月12日
浏览(40)