Kafka3.0.0版本——文件存储机制

10月前作者：小志的博客分类：Toy博客阅读(39) 违法举报

这篇具有很好参考价值的文章主要介绍了Kafka3.0.0版本——文件存储机制。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、Topic 数据的存储机制

1.1、Topic 数据的存储机制的概述

Topic是逻辑上的概念，而partition是物理上的概念。
每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。
Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制。将每个partition分为多个segment。
每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号，例如：news-0。

1.2、Topic 数据的存储机制的图解

Kafka3.0.0版本——文件存储机制,kafka,kafka

1.3、Topic 数据的存储机制的文件解释

Topic 数据的存储机制的文件解释

文件格式解释

.log 日志文件

.index 偏移量索引文件

.timeindex 时间戳索引文件

其他文件

二、Topic数据的存储位置示例

启动生产者，并发送消息。

bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic threetopic

Kafka3.0.0版本——文件存储机制,kafka,kafka

查看四台服务器的/opt/module/kafka/datas/threetopic-0（threetopic-1、threetopic-2、threetopic-3）路径上的文件。
通过工具查看 index和 log信息。
```
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log
```
文章来源地址https://www.toymoban.com/news/detail-704311.html

到了这里，关于Kafka3.0.0版本——文件存储机制的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Kafka3.0.0版本——Leader故障处理细节原理

三台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 2.1、服务器基本信息首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到

2024年02月11日
浏览(39)
Kafka3.0.0版本——Follower故障处理细节原理

三台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 2.1、服务器基本信息首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到

2024年02月10日
浏览(46)
Kafka3.0.0版本——Leader Partition自动平衡

正常情况下，Kafka 本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某些broker宕机，会导致Leader Partition过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的broker重启之后都是foll

2024年02月11日
浏览(47)
Kafka3.0.0版本——生产者数据去重

1.1、至少一次至少一次（At Least Once ）的含义生产者发送数据到kafka集群，kafka集群至少接收到一次数据。至少一次的条件： ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2 1.2、最多一次最多一次（At Most Once ）的含义生产者发送数据到kafka集群，

2024年02月01日
浏览(41)
Kafka3.0.0版本——Broker（退役旧节点）示例

三台服务器原始服务器名称原始服务器ip centos7虚拟机1 192.168.136.27 centos7虚拟机2 192.168.136.28 centos7虚拟机3 192.168.136.29 centos7虚拟机4 192.168.136.30 分别启动4台zookeeper 再分别启动4台kafka brokers中的ids=0、1、2、3都存在，说明4台kafka启动正常，如下图：查看kafka中的创建过的名称为

2024年02月13日
浏览(35)
Kafka3.0.0版本——消费者（手动提交offset）

1.1、手动提交offset的两种方式 commitSync（同步提交）：必须等待offset提交完毕，再去消费下一批数据。 commitAsync（异步提交）：发送完提交offset请求后，就开始消费下一批数据了。 1.2、手动提交offset两种方式的区别相同点：都会将本次提交的一批数据最高的偏移量提交。不

2024年02月09日
浏览(47)
Kafka3.0.0版本——消费者（自动提交 offset）

官网文档参数解释参数描述 enable.auto.commi 默认值为 true，消费者会自动周期性地向服务器提交偏移量。 auto.commit.interval.ms 如果设置了 enable.auto.commit 的值为 true，则该值定义了消费者偏移量向 Kafka 提交的频率，默认 5s。图解分析消费者自动提交 offset代码消费者自动提交

2024年02月09日
浏览(38)
Kafka3.0.0版本——生产者如何提高吞吐量

设置批次大小，batch.size 默认 16K。设置等待时间，linger.ms 默认 0。设置缓冲区大小，buffer.memory 默认 32M 设置压缩， compression.type 默认 none，可配置值 gzip、snappy、lz4 和 zstd。代码在kafka集群上开启 Kafka 消费者在 IDEA 中执行代码，观察kafka集群控制台中是否接收到消息。测试

2023年04月10日
浏览(44)
Kafka3.0.0版本——生产者数据有序与乱序

单分区内，数据有序。如下图partion0、partion1、partion2分区内，各自分区内的数据有序。 2.1、kafka1.x版本之前保证数据单分区有序的条件 kafka在1.x版本之前保证数据单分区有序，条件如下： 2.2、kafka1.x版本及以后保证数据单分区有序的条件未开启幂等性开启幂等性 2.3、kafka1

2023年04月27日
浏览(46)
Kafka3.0.0版本——消费者（消费者组原理）

1.1、消费者组概述 Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。注意：（1）、消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。（2）、消费者组之间互不影响。所有的消费者

2024年02月09日
浏览(54)