kafka 数据是否消费

这篇具有很好参考价值的文章主要介绍了kafka 数据是否消费。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Windows 监控  
    jconsole 查看kafka.consumer---->consumer-fetch-manager-metrics--->attributes 
        records-lag-max:71456
        records-lead-min:54
    监控到Lag 越来越大,说明消费者程序边的越来越慢,至少追不上生产者的速度
    监控Lead 越来越小,甚至接近0 ,这预示着消费端要丢数据(因为只保存七天的数据,说明消息已经接近7天未被消费了)
Linux 监控 
    kafka-consumer-groups.sh --bootstrap-server node1:9092 --describe --group mylcy
    可以看到当前的消费进度(CURRENT-OFFSET)、消息进度(LOG-END-OFFSET)【有多少数据】、落后量(LAG)

./kafka-consumer-groups.sh --bootstrap-server 10.20.73.191:9092 --describe --group kafka-test-group

GROUP            TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                      HOST            CLIENT-ID
kafka-test-group demo_kafka_2    0          0               0               0               consumer-kafka-test-group-1-9de6fbde-2718-4db1-80d9-93db67113f9d /10.20.73.191   consumer-kafka-test-group-1
kafka-test-group SXMData         0          20000           0               -20000          consumer-kafka-test-group-2-e0410f7d-7d4a-4ee0-a4c6-d39905f296bd /10.20.73.191   consumer-kafka-test-group-2
kafka-test-group SXMData_2       0          20              20              0               consumer-kafka-test-group-2-77d9d098-71da-419b-9ebc-02e0346e5689 /10.20.17.160   consumer-kafka-test-group-2

往kafka中塞值:

 kafka-console-producer.sh --bootstrap-list localhost:9092 --topic MBWSdata文章来源地址https://www.toymoban.com/news/detail-545131.html

到了这里,关于kafka 数据是否消费的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分布式消息队列Kafka(四)- 消费者

    1.Kafka消费方式 2.Kafka消费者工作流程 (1)总体工作流程 (2)消费者组工作流程 3.消费者API (1)单个消费者消费 实现代码 (2)单个消费者指定分区消费 代码实现: (3)消费者组消费 复制上面CustomConsumer三个,同时去订阅统一个主题,消费数据,发现一个分区只能被一个

    2023年04月26日
    浏览(49)
  • 分布式 - 消息队列Kafka:Kafka消费者的分区分配策略

    Kafka 消费者负载均衡策略? Kafka 消费者分区分配策略? 1. 环境准备 创建主题 test 有5个分区,准备 3 个消费者并进行消费,观察消费分配情况。然后再停止其中一个消费者,再次观察消费分配情况。 ① 创建主题 test,该主题有5个分区,2个副本: ② 创建3个消费者CustomConsu

    2024年02月13日
    浏览(47)
  • 分布式 - 消息队列Kafka:Kafka消费者分区再均衡(Rebalance)

    01. Kafka 消费者分区再均衡是什么? 消费者群组里的消费者共享主题分区的所有权。当一个新消费者加入群组时,它将开始读取一部分原本由其他消费者读取的消息。当一个消费者被关闭或发生崩溃时,它将离开群组,原本由它读取的分区将由群组里的其他消费者读取。 分区

    2024年02月12日
    浏览(40)
  • Spring-Kafka如何实现批量消费消息并且不丢失数据

    先给答案: 某个业务对象由多张表关联而成,要创建该对象需要向多张表插入数据,基于canal的监控就会有多次该对象的变更记录,而Kafka消费的时候也会多次处理同一个对象(虽然不同表,但是同一个对象的不同部分),原有的Kafka消费者是一次处理一条,这将造成重复对同

    2024年02月13日
    浏览(48)
  • kafka 数据是否消费

    Windows 监控       jconsole 查看kafka.consumer----consumer-fetch-manager-metrics---attributes          records-lag-max:71456         records-lead-min:54     监控到Lag 越来越大,说明消费者程序边的越来越慢,至少追不上生产者的速度     监控Lead 越来越小,甚至接近0 ,这预示着消费端要丢

    2024年02月13日
    浏览(37)
  • kafka如何避免消息重复消费

    Kafka 避免消息重复消费通常依赖于以下策略和机制: Kafka使用Consumer Group ID来跟踪每个消费者所读取的消息。确保每个消费者都具有唯一的Group ID。如果多个消费者属于同一个Group ID,那么它们将共享消息,但每个分区的消息只能由一个消费者处理。 Kafka会记录每个消费者组消

    2024年01月15日
    浏览(44)
  • kafka 如何保证消息的顺序消费

    在Kafka分布式集群中,要保证消息的顺序消费,您可以采取以下措施: 分区策略 :Kafka的主题可以分为多个分区,每个分区内的消息是有序的。因此,首先要确保生产者将相关的消息发送到同一个分区。这可以通过生产者的分区策略来实现。默认情况下,Kafka会使用基于消息

    2024年02月06日
    浏览(40)
  • Kafka 如何保证消息的消费顺序

    我们在使用消息队列的过程中经常有业务场景需要严格保证消息的消费顺序,比如我们同时发了 2 个消息,这 2 个消息对应的操作分别对应的数据库操作是: 更改用户会员等级。 根据会员等级计算订单价格。 假如这两条消息的消费顺序不一样造成的最终结果就会截然不同。

    2024年02月13日
    浏览(55)
  • 微信小程序如何判断是否已经订阅某条消息

    判断订阅消息是否已经订阅 res.subscriptionsSetting.itemSettings 返回的是所有订阅消息的对象集合,\\\'accept\\\' 表示用户同意订阅这条消息,\\\'reject\\\' 表示用户拒绝订阅这条消息,\\\'ban\\\' 表示已被后台封禁。

    2024年02月11日
    浏览(68)
  • Kafka如何保证消息⼀定能被消费

    Kafka 通过多种机制来保证消息一定能被消费,从而实现数据的可靠性和持久性。 以下是一些常见的方法和策略来提高消息的可靠性: 复制机制: Kafka 使用了分区和副本的概念。每个分区可以有多个副本,分布在不同的 Broker 上。当消息写入到一个分区时,它会被复制到该分

    2024年02月12日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包