常见的消息队列工作模式
- 至多一次：消息被确认消费后，删除消息；一般只允许被一个消费者消费，且队列中的数据不允许被重复消费。activeMQ 就是这种。
- 没有限制：消息可以被多个消费者同时消费，并且同一个消费者可以多次消费同一个记录；大数据场景。
基本概念
- 集群中的一则消息也称为 Record；
- Topic 用于分类集群中的消息-record；每个topic 可以有多个订阅者。（topic 是一种逻辑上的概念）
- 每一个Record 只属于一个Topic；
- 分区日志 partition： 用于持久化存储 topic 中的 record；生产者决定 record 发送到 topic 中的哪一个partition 中；
- Broker： 一个具体的消息服务实例；
- Leader： Broker 中语言读写数据的角色
- follower：同步leader 数据，leader如果宕机， 用于选举新leader，来读写
- 集群中的 Leader 的监控 和 Topic 元数据 存储在 Zookeeper 中
kafka 特性
- 高吞吐率
- 海量存储
Kafka 基本架构
文章来源：https://www.toymoban.com/news/detail-648595.html
topic 分区的 目的/ 好处
- 对 topic 容量的提升：属于同一个 topic 的日志分散到多个 服务器 扩展了单机的容量，还可以扩缩容；
- 提高并发/ 分流：集群中 不同 的服务器作为不同 分区的 leader，提高 io 能力，均衡系统负载
- 在使用消费组时，增加分区也会增加 消费能力
- （每个分区需要适配 托管它的服务器）
日志存储形式
- 每组日志分区时一个有序的不可变的日志序列，分区中的每一个Record 都被分配了唯一的序列编号 称为 offset， record 会持久化；
- 时间越早，序号越小；
- 使用硬盘存储日志文件。（性能问题）
- kafka 会定期检查日志文件，然后将过期的数据从log 中移除；
- 由于分区的存在，及写入策略的不同，kafka 只能保证单个分区的先入先出的顺序性， 无法保证多个分区之间的顺序性。也就是不是严格意义上的先进先出，
- 所以，如果需要让kafka 保证顺序那就可以采用不分区的方式。
消费者，消费方式 逻辑
- 每个消费者维护自己本次消费对应分区的偏移量；
- 由上，多个消费者之间相互独立；
- 消费者在消费完一个批次的数据后，将本次消费的偏移量( 实际是offset+1，是下次读取的起始位置)提交给 kafka 集群；
- 所以，对每个消费者而言可以随意的控制 消费者的偏移量；消费者可以从一个 topic 分区中的任意位置读取数据。
消费组
- 消费者使用 Consumer Group 名称标记自己；
- 发布到Topic 的每条记录都会传递到每个 消费组 中的一个消费者；也就是说，一个分区上的消息还是仅由组中的一个 消费者 消费；
- 新加入组的实例，会接管其他消费者负责的某些分区（是否优先接管负载大的消费者的分区？）
- 组中的消费者个数 一般 不会大于 topic中 分区的数量；多的只能作为备用
- 基于的是均分策略；
文章来源地址https://www.toymoban.com/news/detail-648595.html
- （就是消费者的分身，是一种逻辑上的消费者，视为一个消费者；）
- （提高了消费者的吞吐量，在组中的实例间 均分消费）
- （提高了消费者的 可用性/容错性 ，一个 消费者 下线，其负责的分区将由组中的其他实例 负责处理 ）
高性能
写入： 顺序写+ mmap
- mmap 内存传入 fd 直接映射文件，对应内核 PageCache；
- kafka 写入 mmap 映射的内存；OS 自动刷写磁盘（数据丢失问题？#2）
- 顺序写入；
读取：零拷贝+DMA
- 零拷贝（用户空间零拷贝）： 数据不经过用户空间，从 内核缓冲区 直接拷贝到socket 缓冲区，然后发送出去；
- dma 协处理器：传统io 需要cpu 在磁盘驱动器缓冲区与内核缓冲区之间来回拷贝，过程中磁盘反复发出中断，cpu还需要反复处理中断；引入dma后 cpu 来回拷贝、中断处理 的动作由dma 完成，拷贝完成后/ 数据足够多后 通知cpu。期间 cpu 可以用于处理其他任务。
使用场景
- 解耦，异步通信，削峰填谷
- 大数据
到了这里，关于02_kafka_基本概念_基础架构的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
