面试题：Kafka 为什么那么快？-Toy模板网

这篇具有很好参考价值的文章主要介绍了面试题：Kafka 为什么那么快？。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

有人说：他曾在一台配置较好的机子上对 Kafka 进行性能压测，压测结果是 Kafka 单个节点的极限处理能力接近每秒 2000万条消息，吞吐量达到每秒 600MB。

那 Kafka 为什么这么快？如何做到这个高的性能？
本篇文章主要从这 3 个角度来分析：

先来看下生产端发送消息，Kafka 做了哪些优化？

面试题：Kafka 为什么那么快？,面试题,kafka,java,面试题

首先指定消息发送到哪个 Topic。
选择一个 Topic 的分区 partitiion，默认是轮询来负载均衡。也可以指定一个分区 key，根据 key 的 hash 值来分发到指定的分区。也可以自定义 partition 来实现分区策略。
找到这个分区的 leader partition。
与所在机器的 Broker 的 socket 建立通信。
发送 Kafka 自定义协议格式的请求（包含携带的消息、批量消息）。

将思绪集中在消息发送时候，可发现这两个华点：批量消息和自定义协议格式。

批量发送：减少了与服务端 Broker 处理请求的次数，从而提升总体的处理能力。调用 send() 方法时，不会立刻把消息发送出去，而是缓存起来，选择恰当时机把缓存里的消息划分成一批数据，按批次发送给服务端 Broker。
自定义协议格式：序列化方式和压缩格式都能减少数据体积，从而节省网络资源消耗。

各种压缩算法对比：

Broker 的高性能主要从这 3 个方面体现：

下面展开讲讲。

使用 PageCache 主要能带来如下好处：

如果消息刚刚写入到服务端就会被消费，按照 LRU 的“优先清除最近最少使用的页”这种策略，读取的时候，对于这种刚刚写入的
PageCache，命中的几率会非常高。

文件布局如下图所示：

面试题：Kafka 为什么那么快？,面试题,kafka,java,面试题

主要特征是：文件的组织方式是“topic + 分区”，每一个 topic 可以创建多个分区，每一个分区包含单独的文件夹。

Kafka 在分区级别实现文件顺序写：即多个文件同时写入，更能发挥磁盘 IO 的性能。

相对比 RocketMQ： RocketMQ 在消息写入时追求极致的顺序写，所有的消息不分主题一律顺序写入 commitlog 文件， topic 和分区数量的增加不会影响写入顺序。
弊端： Kafka 在消息写入时的 IO 性能，会随着 topic 、分区数量的增长先上升，后下降。所以使用 Kafka 时，要警惕 Topic 和分区数量。

当不使用零拷贝技术读取数据时：

面试题：Kafka 为什么那么快？,面试题,kafka,java,面试题

流程如下：

消费端 Consumer：向 Kafka Broker 请求拉取消息
Kafka Broker 从 OS Cache 读取消息到应用程序的内存空间：
a. 若 OS Cache 中有消息，则直接读取
b. 若 OS Cache 中无消息，则从磁盘里读取
再通过网卡，socket 将数据发送给消费端Consumer

当使用零拷贝技术读取数据：

面试题：Kafka 为什么那么快？,面试题,kafka,java,面试题