Spring Boot+Kafka实战生产级Kafka消费组-Toy模板网

这篇具有很好参考价值的文章主要介绍了Spring Boot+Kafka实战生产级Kafka消费组。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

作者：禅与计算机程序设计艺术

1.简介

Kafka是一个开源分布式消息系统，最初由LinkedIn开发，之后成为Apache项目的一部分。Kafka主要用于大数据实时流处理，具有低延迟、高吞吐量等特点。本文将会从基本概念、术语说明、原理及应用场景三个方面对Kafka进行详细介绍。
　　Kafka作为一个分布式系统，需要配合Zookeeper实现主备、容错等功能。因此在实际中部署Kafka集群至少需要2台服务器，其中一台为zookeeper服务器。同时，Kafka集群中的每个broker节点都可以配置多个topic（主题），每个topic下可以包含多个分区（Partition）。每个分区中存储着Kafka消息，消息以日志的形式存放，日志按顺序追加到分区中。通过一个主题的订阅者列表，消费者可以消费该主题下的所有消息。当消费者消费了某个分区的所有消息后，Kafka则会把该分区的所有消息都删除并释放空间。本文所涉及到的Kafka版本为0.11.0.0。本篇文章基于Spring Boot+Kafka实战。

2.基本概念、术语说明

2.1 Kafka概念

1. Broker
broker是Kafka集群中的一个服务进程，它负责维护消费者与发布者所需的Topic分区副本。Broker运行在集群中的每台机器上。集群中的每个broker都会响应客户端发送的请求，向客户提供服务。
每个broker都会在本地磁盘上维护一个可配置大小的日志目录，并且对于每个被选举为controller的broker都有一个唯一标识符。每个broker还会缓存元数据信息，包括当前broker上可用的Topic列表、分区情况、消费者偏移量、isr状态等。
　　2. Topic文章来源地址https://www.toymoban.com/news/detail-695296.html

到了这里，关于Spring Boot+Kafka实战生产级Kafka消费组的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！