kafka-事务

这篇具有很好参考价值的文章主要介绍了kafka-事务。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 事务的5个API

// 1初始化事务
void initTransactions();

// 2开启事务
void beginTransaction() throws ProducerFencedException;

// 3在事务内提交已经消费的偏移量(主要用于消费者)
void sendOffsetsToTransaction(Map<TopicPartition, OffsetAndMetadata> offsets,
                              String consumerGroupId) throws ProducerFencedException;

// 4提交事务
void commitTransaction() throws ProducerFencedException;

// 5放弃事务(类似于回滚事务的操作)
void abortTransaction() throws ProducerFencedException;

2. 幂等性和事务性的关系

事务属性实现前提是幂等性,即在配置事务属性transaction id时,必须还得配置幂等性;但是幂等性是可以独立使用的,不需要依赖事务属性。

  1. 幂等性引入了Porducer ID
  2. 事务属性引入了Transaction Id属性。

使用场景

  1. enable.idempotence = true,transactional.id不设置:只支持幂等性。
  2. enable.idempotence = true,transactional.id设置:支持事务属性和幂等性
  3. enable.idempotence = false,transactional.id不设置:没有事务属性和幂等性的kafka
  4. enable.idempotence = false,transactional.id设置:无法获取到PID,此时会报错

3. 参考

kafka幂等生产者及事务_51CTO博客_kafka事务文章来源地址https://www.toymoban.com/news/detail-628970.html

到了这里,关于kafka-事务的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 关于Kafka事务处理的详细讲解

    Kafka事务 producer可能给多个topic,多个partition发送消息,这些消息组成一个事务,这些消息需要对consumer同时可见或者同时不可见。Kafka事务需要在producer端处理,consumer端不需要做特殊处理,跟普通消息消费一样  整个流程步骤: 事务初始化: InitTransactions,事务初始化是一次性

    2024年02月02日
    浏览(28)
  • Kafka消息传递保障——事务与幂等

    消息传递保障对于分布式系统的可靠性至关重要。在分布式系统中消息传递保障是确保系统可靠性的核心问题之一。系统需要确保消息能够按照预期的方式进行传递,以满足业务需求。 Kafka是一种分布式的消息队列系统,作为消息中间件常用于实现基于发布/订阅模型的消息传

    2024年02月12日
    浏览(37)
  • SpringBoot使用kafka事务-消费者方

    在上一篇文章中,写到了如何在springboot中生产者如何使用kafka的事务,详情链接:Springboot使用kafka事务-生产者方 那么,这一篇就接着上篇所写的内容,讲解一下再springboot中消费者如何使用kafka的事务。 在springboot中kafka的消费者配置也和生产者一样,有两种配置的方式: 第一

    2024年02月08日
    浏览(41)
  • Springboot使用kafka事务-生产者方

    在上一篇文章中,我们使用了springboot的AOP功能实现了kafka的分布式事务,但是那样实现的kafka事务是不完美的,因为请求进来之后分配的是不同线程,但不同线程使用的kafka事务却是同一个,这样会造成多请求情况下的事务失效。 而解决这个问题的方法,就是每个线程都使用

    2024年02月11日
    浏览(43)
  • kafka生产者幂等与事务

    目录 前言: 幂等 事务 总结:  参考资料  Kafka 消息交付可靠性保障以及精确处理一次语义的实现。 所谓的消息交付可靠性保障,是指 Kafka 对 Producer 和 Consumer 要处理的消息提供什么样的承诺。常见的承诺有以下三种: 最多一次(at most once):消息可能会丢失,但绝不会被

    2024年02月12日
    浏览(36)
  • Kafka系列之:一次性传送和事务消息传递

    本文档概述了加强 Kafka 消息传递语义的提案。 Kafka 目前至少提供一次语义,即。当进行可靠性调整时,可以保证用户每条消息写入都将至少保留一次,而不会丢失数据。由于生产者重试,流中可能会出现重复。例如,代理可能会在提交消息和向生产者发送确认之间崩溃,导

    2024年02月16日
    浏览(46)
  • kafka中幂等性producer和事务性producer

    在Kafka中,“幂等性生产者”的概念是指一种特性,它确保消息在生产者的发送操作被重试时仅发送一次。幂等性是一种重要的特性,因为在分布式系统中,网络问题或其他故障可能导致生产者发送的消息在传输过程中失败,从而需要重新发送。如果生产者没有幂等性保证,

    2024年02月14日
    浏览(44)
  • 原来kafka也有事务啊,再也不担心消息不一致了

    现在假定这么一个业务场景,从 kafka 中的 topic 获取消息数据,经过一定加工处理后,发送到另外一个 topic 中,要求整个过程消息不能丢失,也不能重复发送,即实现端到端的 Exactly-Once 精确一次消息投递。这该如何实现呢? 针对上面的业务场景,kafka已经替我们想到了,在

    2024年02月08日
    浏览(39)
  • Kafka入门,漏消费和重复消费, 消费者事务,数据积压(二十四)

    重复消费:已经消费了数据,但是offset没提交。 漏消费:先提交offset后消费,有可能会造成数据得漏消费 如果向完成consumer端得进准一次性消费,那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。此时我们需要将kafka的offset保存到支持事务的自定义介质(比如MySQ

    2024年02月15日
    浏览(42)
  • kafka-保证数据不重复-生产者开启幂等性和事务的作用?

    适用于消息在写入到服务器日志后,由于网络故障,生产者没有及时收到服务端的 ACK 消息,生产者误以为消息没有持久化到服务端,导致生产者重复发送该消息,造成了消息的重复现象,而幂等性就是为了解决该问题。 通过3个值的唯一性去重: PID:生产者ID 分区号 seq:单

    2024年02月14日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包