Kafka3.0.0版本——文件存储机制

9月前作者：小志的博客分类：Toy博客阅读(38) 违法举报

这篇具有很好参考价值的文章主要介绍了Kafka3.0.0版本——文件存储机制。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、Topic 数据的存储机制

1.1、Topic 数据的存储机制的概述

Topic是逻辑上的概念，而partition是物理上的概念。
每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。
Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制。将每个partition分为多个segment。
每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号，例如：news-0。

1.2、Topic 数据的存储机制的图解

Kafka3.0.0版本——文件存储机制,kafka,kafka

1.3、Topic 数据的存储机制的文件解释

Topic 数据的存储机制的文件解释

文件格式解释

.log 日志文件

.index 偏移量索引文件

.timeindex 时间戳索引文件

其他文件

二、Topic数据的存储位置示例

启动生产者，并发送消息。

bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic threetopic

Kafka3.0.0版本——文件存储机制,kafka,kafka

查看四台服务器的/opt/module/kafka/datas/threetopic-0（threetopic-1、threetopic-2、threetopic-3）路径上的文件。
通过工具查看 index和 log信息。
```
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log
```
文章来源地址https://www.toymoban.com/news/detail-704311.html

到了这里，关于Kafka3.0.0版本——文件存储机制的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Kafka3.0.0版本——Follower故障处理细节原理

三台服务器原始服务器名称原始服务器ip 节点 centos7虚拟机1 192.168.136.27 broker0 centos7虚拟机2 192.168.136.28 broker1 centos7虚拟机3 192.168.136.29 broker2 2.1、服务器基本信息首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到

2024年02月10日
浏览(39)
Kafka3.0.0版本——生产者数据去重

1.1、至少一次至少一次（At Least Once ）的含义生产者发送数据到kafka集群，kafka集群至少接收到一次数据。至少一次的条件： ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2 1.2、最多一次最多一次（At Most Once ）的含义生产者发送数据到kafka集群，

2024年02月01日
浏览(38)
Kafka3.0.0版本——Broker（退役旧节点）示例

三台服务器原始服务器名称原始服务器ip centos7虚拟机1 192.168.136.27 centos7虚拟机2 192.168.136.28 centos7虚拟机3 192.168.136.29 centos7虚拟机4 192.168.136.30 分别启动4台zookeeper 再分别启动4台kafka brokers中的ids=0、1、2、3都存在，说明4台kafka启动正常，如下图：查看kafka中的创建过的名称为

2024年02月13日
浏览(33)
Kafka3.0.0版本——消费者（手动提交offset）

1.1、手动提交offset的两种方式 commitSync（同步提交）：必须等待offset提交完毕，再去消费下一批数据。 commitAsync（异步提交）：发送完提交offset请求后，就开始消费下一批数据了。 1.2、手动提交offset两种方式的区别相同点：都会将本次提交的一批数据最高的偏移量提交。不

2024年02月09日
浏览(44)
Kafka3.0.0版本——消费者（自动提交 offset）

官网文档参数解释参数描述 enable.auto.commi 默认值为 true，消费者会自动周期性地向服务器提交偏移量。 auto.commit.interval.ms 如果设置了 enable.auto.commit 的值为 true，则该值定义了消费者偏移量向 Kafka 提交的频率，默认 5s。图解分析消费者自动提交 offset代码消费者自动提交

2024年02月09日
浏览(37)
Kafka3.0.0版本——生产者数据有序与乱序

单分区内，数据有序。如下图partion0、partion1、partion2分区内，各自分区内的数据有序。 2.1、kafka1.x版本之前保证数据单分区有序的条件 kafka在1.x版本之前保证数据单分区有序，条件如下： 2.2、kafka1.x版本及以后保证数据单分区有序的条件未开启幂等性开启幂等性 2.3、kafka1

2023年04月27日
浏览(43)
Kafka3.0.0版本——消费者（消费者组原理）

1.1、消费者组概述 Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。注意：（1）、消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。（2）、消费者组之间互不影响。所有的消费者

2024年02月09日
浏览(53)
Kafka3.0.0版本——生产者如何提高吞吐量

设置批次大小，batch.size 默认 16K。设置等待时间，linger.ms 默认 0。设置缓冲区大小，buffer.memory 默认 32M 设置压缩， compression.type 默认 none，可配置值 gzip、snappy、lz4 和 zstd。代码在kafka集群上开启 Kafka 消费者在 IDEA 中执行代码，观察kafka集群控制台中是否接收到消息。测试

2023年04月10日
浏览(39)
Kafka3.0.0版本——消费者（分区的分配以及再平衡）

1.1、消费者分区及消费者组的概述一个consumer group中有多个consumer组成，一个 topic有多个partition组成。 1.2、如何确定哪个consumer来消费哪个partition的数据 Kafka有四种主流的分区分配策略： Range、RoundRobin、Sticky、CooperativeSticky。可以通过配置参数 partition.assignment.strategy ，修改分

2024年02月07日
浏览(53)
Kafka3.0.0版本——集群部署（linux环境-centos7）

三台服务器服务器名称服务器ip centos7虚拟机1 192.168.136.27 centos7虚拟机2 192.168.136.28 centos7虚拟机3 192.168.136.29 Zookeeper集群安装参考此博文链接：https://wwwxz.blog.csdn.net/article/details/129280956?spm=1001.2014.3001.5502 3.1、官网下载地址官网下载地址：http://kafka.apache.org/downloads.html 3.2、下载

2024年02月04日
浏览(42)