监控kafka topic，钉钉报警

9月前作者：香菜+ 分类：Toy博客阅读(29) 违法举报

这篇具有很好参考价值的文章主要介绍了监控kafka topic，钉钉报警。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、需求的诞生

前几天公司我们部门需要演示一个应用，应用依赖kafka的数据，但是kafka的数据来自其他部门的投递。

一些原因导致数据无法给到，导致我们部门的演示也很有问题，所以想做一个简单的kafka topic的监控，在没有数据的时候及时发现并找兄弟部门沟通

这里记录下原因，因为机房的带宽只有500M，其他部门在做一些视频录制的工作，导致带宽满了，往kafka生产数据的producer无法发送到。

2、kafka监测

kafka的检测有很多方案，但是因为我们在测试环境使用，讲究一个轻量级，所以直接写一个小程序监控就得了。

kafka的监控没搞过，但是用过Offset Explorer，Offset中可以看到总的消息数量，延续这个思路，只要这个数值有变化，证明又在投递。这是思路

监控kafka topic，钉钉报警,香菜聊游戏,kafka,java,分布式,spring boot,后端,原力计划

2.1 加入依赖

创建一个Springboot的项目，这个没难度，也不说了

这里把所有的依赖都放这了，主要是kafka和等会要用的钉钉的sdk文章来源地址https://www.toymoban.com/news/detail-529569.html

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.kaf

到了这里，关于监控kafka topic，钉钉报警的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Kafka的监控和报警机制

Kafka 的监控和报警机制是保证 Kafka 集群的稳定和可靠运行的重要组成部分。本文将详细介绍 Kafka 的监控和报警机制，包括监控指标、监控工具、报警配置和报警策略等。 Kafka 的监控指标主要包括以下几个方面： 1.1 Broker 监控指标剩余磁盘空间：用于监控Broker节点磁盘空间的

2024年01月18日
浏览(39)
Linux分布式应用 Zabbix监控配置[添加主机自定义监控内容邮件报警自动发现/注册代理服务器高可用集群]

关闭防火墙服务端和客户端都配置时间同步服务端和客户端都设置 hosts 解析设置 zabbix 的下载源，安装 zabbix-agent2 修改 agent2 配置文件启动 zabbix-agent2 在服务端验证 zabbix-agent2 的连通性在 Web 页面中添加 agent 主机点击左边菜单栏【配置】中的【主机】，点击【创建主机

2024年02月13日
浏览(59)
使用kafka-clients的Java API操作Kafka集群的Topic

记录：464 场景：在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka集群的Topic的创建和删除。版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka集群安装：https://blog.csdn.net/zhangbeizhen18/article/details/131156084 1.微服务中配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文

2024年02月09日
浏览(45)
使用spring-kafka的Java API操作Kafka集群的Topic

记录：462 场景：在Spring Boot微服务集成spring-kafka-2.8.2操作Kafka集群的Topic的创建和删除。版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。 Kafka集群安装：https://blog.csdn.net/zhangbeizhen18/article/details/131156084 1.微服务中配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文件：解析：

2024年02月10日
浏览(44)
使用Kafka客户端(kafka-clients)的Java API操作Kafka的Topic

记录：460 场景：在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka的Topic的创建和删除。版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka安装：https://blog.csdn.net/zhangbeizhen18/article/details/129071395 1.微服务中配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文件：解析

2024年02月09日
浏览(74)
使用Kafka客户端(spring-kafka)的Java API操作Kafka的Topic

记录：458 场景：在Spring Boot微服务集成Kafka客户端spring-kafka-2.8.2操作Kafka的Topic的创建和删除。版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。 Kafka安装：https://blog.csdn.net/zhangbeizhen18/article/details/129071395 1.微服务中配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文件：解析

2024年02月09日
浏览(44)
zabbix钉钉报警

登录钉钉客户端,创建一个群,把需要收到报警信息的人员都拉到这个群内. 然后点击群右上角的\\\"群机器人\\\"-\\\"添加机器人\\\"-\\\"自定义\\\", 记录该机器人的webhook值。添加机器人在钉钉群中，找到只能群助手添加机器人选择自定义机器人添加添加两个自定义 [故障][恢复] 完成

2024年02月16日
浏览(42)
Prometheus实现钉钉报警

1.1 Prometheus环境启动情况： 1.2 pushgateway环境启动情况： 1.3 自定义机器人并获取自定义机器人Webhook地址 1、首先创建一个群聊。进入到钉钉软件的主页面后，点击右上角的加号按钮。弹出加号里面的选项后，点击上面的发起群聊按钮。进入到发起群聊界面后选择内部项目群

2024年02月16日
浏览(31)
kafka topic和topic权限操作

创建查询删除增加移除查询

2024年02月12日
浏览(38)
Kafka/Spark-01消费topic到写出到topic

消费者代码注意点 consumerConfigs是定义的可变的map的类型的，具体如下 consumerConfigs.put(ConsumerConfig.GROUP_ID_CONFIG , groupId)是为了不限制groupId特意写的传参是使用自带的kafka工具类createDirectStream方法去消费kafak 的数据，详细参数解释如下 Subscribe传参需要指定泛型，这边指定string，

2024年02月09日
浏览(35)