02-Kafka之server.properties核心配置详解

这篇具有很好参考价值的文章主要介绍了02-Kafka之server.properties核心配置详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、Broker相关配置

# broker ID, 集群模式下该ID必须唯一,且永恒不变。每启动一个Kafka Server加入Kafka集群,该id必须且只能+1,否则会报错id不在指定范围之内
broker.id=0
# kafka Server端启动端口,如果是同一台机器启动多个Kafka Server,则需要改此端口号。注意:如果这里的localhost不写明IP(PLAINTEXT://:9092),则默认使用内网IP,例:192.168.2.61
listeners=PLAINTEXT://localhost:9092
# kafka的消息存储文件。最少使用原则,当一个分区放在多台服务器或者多个路径下时,哪个服务器拥有最少数据分区的优先。所以一个分区会放在同一个路径下面
log.dirs=/tmp/kafka-logs,/directory2,/directory3
# 当启动或关闭kafka时,日志需要启动或者恢复的时候的线程数量,默认1,这个值可以适当改大一点。注意:这里的启动总线程数 = 此值 * log.dirs目录树,比如log.dirs目录配置了4个,此值是8,则总线程数=32
num.recovery.threads.per.data.dir=8 
# 处理网络请求的最大线程数
num.network.threads=2
# 处理磁盘I/O的线程数
num.io.threads=8
# 一些后台线程数
background.threads=4
# 等待IO线程处理的请求队列最大数
queued.max.requests=500
# socket的发送缓冲区,默认100KB
socket.send.buffer.bytes=102400
# socket的接收缓冲区,默认100KB
socket.receive.buffer.bytes=102400
# socket请求的最大字节数,默认100MB
socket.request.max.bytes=104857600

二、Topic相关配置

# 每个topic的分区个数,更多的partition会产生更多的segment file
num.partitions=2
# 是否允许自动创建topic,若是false,就需要通过命令创建topic
auto.create.topics.enable=true
# 一个topic默认分区的replication个数,不能大于集群中broker的个数。
default.replication.factor=1
# 消息体的最大大小,单位是字节
message.max.bytes=1000000

三、zookeeper相关配置

# Zookeeper连接设置。如果有多个使用逗号分割
zookeeper.connect=debugo01:2181,debugo02,debugo03
# 连接zk的超时时间
zookeeper.connection.timeout.ms=1000000
# ZooKeeper集群中leader和follower之间的同步时间
zookeeper.sync.time.ms=2000

四、日志相关配置文章来源地址https://www.toymoban.com/news/detail-577247.html

# 日志清理策略(delete|compact)
log.cleanup.policy = delete
# 检查是否需要将日志flush的时间间隔
log.flush.scheduler.interval.ms = 3000
# 日志保存时间 (hours|minutes),默认为7天(168小时)
log.retention.hours=168
# 每个分区的最大文件大小,默认1GB
log.retention.bytes=1073741824
# 控制日志segment文件的大小,超出该大小则追加到一个新的日志segment文件中(-1表示没有限制)
log.segment.bytes=1073741824
# 当达到下面时间,会强制新建一个segment文件
log.roll.hours = 24*7
# 日志片段文件的检查周期,查看它们是否达到了删除策略的设置
log.retention.check.interval.ms=300000

到了这里,关于02-Kafka之server.properties核心配置详解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 领航分布式消息系统:一起探索Apache Kafka的核心术语及其应用场景

            本文是Kafka系列文章的第一篇,将带你了解Kafka的核心术语及其应用场景,后续会逐步探索其各方面的原理及应用场景。下面先看一张大概得简图,涉及Kafka的功能、原理等等,后续不断深入介绍,欢迎关注。         消息中间件(message queue middleWare, MQ)指利用高

    2024年01月21日
    浏览(47)
  • Kafka_02_Producer详解

    Producer (生产者): 生产并发送消息到Broker(推送) Producer是 多线程安全 的(建议通过池化以提高性能) Producer实例后可发送多条消息(可对应多个ProducerRecord) // 0.9之后的版本是基于Java实现(之前是Scala实现) Producer客户端发送消息大致逻辑: 配置Producer客户端参数并创建该Producer实例 构

    2024年02月01日
    浏览(38)
  • Kafka生产者原理 kafka生产者发送流程 kafka消息发送到集群步骤 kafka如何发送消息 kafka详解

    kafka尚硅谷视频: 10_尚硅谷_Kafka_生产者_原理_哔哩哔哩_bilibili ​      1. producer初始化:加载默认配置,以及配置的参数,开启网络线程      2. 拦截器拦截      3. 序列化器进行消息key, value序列化      4. 进行分区      5. kafka broker集群 获取metaData      6. 消息缓存到

    2024年02月11日
    浏览(48)
  • kafka忽略集群Node信息,直接向`bootstrap.servers`地址发送消息

    当kafka单机安装的时候或者集群安装的时候,kafka会先通过 bootstrap.servers 获取集群节点。 有时候网络复杂的时候 如内网外部署 地址映射 代理转发等 bootstrap.servers 配置地址可能为一个公网地址 181.39.77.53:9092 ,然而返回的节点为内网地址 172.16.31.33:9092 ,此时由于未开通 172.16.

    2024年02月09日
    浏览(55)
  • 分布式 - 消息队列Kafka:Kafka 消费者消息消费与参数配置

    01. 创建消费者 在读取消息之前,需要先创建一个KafkaConsumer对象。创建KafkaConsumer对象与创建KafkaProducer对象非常相似——把想要传给消费者的属性放在Properties对象里。 为简单起见,这里只提供4个必要的属性:bootstrap.servers、key.deserializer 和 value.deserializer。 ① bootstrap.servers 指

    2024年02月12日
    浏览(45)
  • Kafka消息消费流程详解

    在分布式系统中,Kafka是一种常用的消息队列系统,用于实现高可靠性的消息传递。本文将介绍Kafka消息消费的流程,并提供相应的示例代码。 Kafka消费者的流程可以概括为以下几个步骤: 创建Kafka消费者实例; 订阅一个或多个主题; 拉取消息记录; 处理消息; 提交消费位

    2024年02月09日
    浏览(72)
  • 配置Kafka发送大消息

    Apache Kafka是一个强大开源、分布式容错的事件流平台。然而,当我们使用Kafka发送大于配置的大小限制的消息时,它会给出一个错误。前文介绍了Spring集成Kafka,本文研究如何使用Kafka发送大消息。 Kafka配置限制允许发送消息大小,默认为1M。然而,如果需要发送大消息,需要

    2024年02月16日
    浏览(36)
  • kafka无消息丢失配置

    目录 前言:  消息丢失的场景  生产者消息丢失 Broker消息丢失  消费者消息丢失   消息丢失问题排查 无消息丢失配置: 参考资料:       使用消息中间件时,我们遇到最头疼的事就消息丢失, 小则影响程序错误,大则影响到某个重要业务失败。如果kafka配置不当或者使用

    2024年02月16日
    浏览(34)
  • 配置Kafka消息保留时间

    生产者发送消息给kafka,消息被追加值日志文件并保留一定周期(基于配置)。本文探讨对Kafk主题配置消息保留时间。 通过保留期属性,消息就有了TTL(time to live 生存时间)。到期后,消息被标记为删除,从而释放磁盘空间。对于kafka主题中所有消息具有相同的生存时间,但可

    2024年02月02日
    浏览(32)
  • Kafka事务是怎么实现的?Kafka事务消息原理详解(文末送书)

    大家好,我是哪吒。 前两天,有个朋友去面试,被问到Kafka事务的问题。 她的第一反应是: 我是来面试Java的,怎么问我大数据的Kafka? 文末送5本《Spring Boot 3核心技术与最佳实践》 不过Kafka确实是Java程序员必备的中间件技术了,这点是毋庸置疑的。 Kafka几乎是当今时代背景

    2024年02月04日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包