Kafka主要可调参数简介

这篇具有很好参考价值的文章主要介绍了Kafka主要可调参数简介。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

        kafka的参数有很多,下面我们根据kafka消息投递到消费的顺序来看下有哪些参数可调,每个参数具体是什么意思?

 

网络传输相关参数 

        socket.receive.buffer.bytes: 102400(默认值),socket接受缓冲区的大小,提高这个值可以提高消息的发送速度。这个是kafka给我们设置的值,如果想要用操作系统层面的值,可以设置成-1;如果网络的往返延迟RTT是100ms,并要求网络的传输速度要10m/s,那么这个值的计算公式就是->socket.receive.buffer.bytes * 1s / 100ms > 10m 故socket.receive.buffer.bytes == 1m

        num.network.threads:3(默认值),网路服务器用于接收和发送请求的线程数,理论上增大这个值可以提升接受和发送效率。

        socket.request.max.bytes:104857600(默认值),socket发送消息的最大值,这个值默认已经很大了,基本上不需要修改。如果提高了socket.receive.buffer.bytes的值,可以根据情况调整这个参数。

请求队列相关参数

      queued.max.request:500(默认值),队列中默认有500个请求。默认使用这个参数,具体要设置多少呢?一般设置成活跃的客户端数据量,就是有多少活跃的生产者的数量。

      queued.max.request.bytes:-1(默认值),队列中所有请求的大小来分。一般不用

IO参数

      num.io.threads:8(默认值),服务器中可用的用于处理IO请求的线程数,也包括磁盘IO的线程,如果需要同步的把pagecache写如磁盘中,或者pagecache刷盘的频率很快,需要调高这个参数,但是一般8个也足够用了。

Pagecache参数

        log.flush.interval.ms:null(默认值),间隔多少时间把pagecache的数据flush到硬盘上

       log.flush.interval.message:Long.Max_Value(默认值),有多少条数据在pagecache时要flush到硬盘上。如果要同步刷,那么可以把这个值改成1,同时要修改num.io.threads的值。

       实际上pagecache flush到硬盘的功能主要用linux内核来完成,尽量不需要动

副本参数

        num.replica.fetchers:1(默认值),正常会有三个副本,一个leader副本,两个follower副本,副本主要是作为备份。这个参数表示从leader副本复制到follower副本的线程数。如果一个broker节点上有多个topic,每个topic又有多个patition,每个partition又有多个副本,这个同步的时间会比较长,此时可以提高这个参数。

        num.replica.min.bytes:1(默认值),每次抓取的字节数,可以提成到1000,提高每次传输的大小;

        replica.fetch.wait.max.ms:500(默认值),最大等待多久要拉取一次

响应给生产者参数

        socket.send.buffer.bytes:102400(默认值),消息投递成功后返回给生产者的socket的请求buffer大小文章来源地址https://www.toymoban.com/news/detail-511259.html

到了这里,关于Kafka主要可调参数简介的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【kafka】kafka重要的集群参数配置

    对于实际应用的生产环境中,需要尽量先规划设计好集群,避免后期业务上线后费力调整。在考量部署方案时需要通盘考虑,不能仅从单个维度上进行评估,下面是几个重要的维度的考量和建议: 这里重点说说操作系统的因素。Linux系统比其他系统(特别是Windows系统)更加适

    2024年02月07日
    浏览(35)
  • 【Kafka专题】Kafka收发消息核心参数详解

    在Kafka中,对于客户端和服务端的定义如下: 客户端Client: 包括消息生产者 和 消息消费者 服务端:即Broker,Broker:一个Kafka服务器就是一个Broker 首先,先引入客户端maven依赖 1.1 消息发送者源码示例 然后可以使用Kafka提供的客户端——Producer类,快速发送消息。 看上面的源

    2024年02月03日
    浏览(43)
  • Kafka 简介 + 学习笔记

    先说明消息队列是什么: 亚马逊: 消息队列是一种异步的服务间通信方式,适用于微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。 我的理解:

    2024年02月11日
    浏览(26)
  • 【大数据】Kafka 入门简介

    Kafka 是一个分布式流处理系统,流处理系统使它可以像消息队列一样 publish 或者 subscribe 消息,分布式提供了容错性,并发处理消息的机制。 Kafka 运行在集群上,集群包含一个或多个服务器。Kafka 把消息存在 Topic 中,每一条消息包含键值( Key ),值( Value )和时间戳( T

    2024年02月05日
    浏览(34)
  • Kafka 的简介与架构

    Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 Kafka是一个分布式、分区的

    2024年02月04日
    浏览(36)
  • Kafka 简介

    目录 1、概念介绍 Kafka 由来 ZooKeeper Kafka 特性 Kafka 使用场景 Kafka 复制备份  2、Kafka 架构 Broker Topic Producer Partition Consumers Consumer Group Distribution 1、概念介绍 Kafka 由来 Kafka 是最初由 Linkedin 公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于 zookeeper 协

    2024年01月18日
    浏览(32)
  • Kafka的简介及架构

    目录 消息队列 产生背景 消息队列介绍 常见的消息队列产品 应用场景  消息队列的消息模型 Kafka的基本介绍 简介 Kafka的架构 Kafka的使用 Kafka的shell命令 Kafka的Python API的操作 完成生产者代码 完成消费者代码 消息队列:指数据在一个容器中,从容器中一端传递到另一端过程 消息

    2024年02月02日
    浏览(36)
  • kafka(一)——简介

    Kafka 是一种分布式、支持分区、多副本的消息中间件,支持发布-订阅模式,多用于实时处理大量数据缓存的场景,类似于一个“缓存池”。 Producer:消息生产者; Consumer:消息消费者; Broker:一台kafka服务器也称作一个broker,kafka集群包含多个broker; Topic:一个topic为一个消

    2024年01月21日
    浏览(28)
  • Kafka简介:深入解析ApacheKafka

    作者:禅与计算机程序设计艺术 在当今高速发展的数据时代,分布式消息队列系统作为数据流通的中转站和分发中心,得到了越来越广泛的应用。Kafka是一款非常流行的开源分布式消息队列系统,以其高性能、可靠性、高可用性和可扩展性,成为了许多场景下的最佳选择。本

    2024年02月09日
    浏览(40)
  • kafka延时队列内部应用简介

    kafka延时队列_悠然予夏的博客-CSDN博客         两个follower副本都已经拉取到了leader副本的最新位置,此时又向leader副本发送拉取请求,而leader副本并没有新的消息写入,那么此时leader副本该如何处理呢?可以直接返回空的拉取结果给follower副本,不过在leader副本一直没有

    2023年04月22日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包