修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数

这篇具有很好参考价值的文章主要介绍了修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1.查看当前kafka最大文件句柄数

2.修改supervisord.service 服务配置文件

3.加载配置文件

4.重启supervisord.service服务

5.重启kafka等组件

6.查看修改后最大文件句柄数

7.查看kafka当前使用的文件句柄数

参考:

1.查看当前kafka最大文件句柄数

jps

cat /proc/<kafka_pid>/limits

修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数

 

2.修改supervisord.service 服务配置文件

cd  /lib/systemd/system/

vim supervisord.service

添加LimitNOFILE=500000

添加完如下:

[Unit]
Description=Cloudera CM Agent Supervisor Service
After=network-online.target
Wants=network-online.target
[Install]
WantedBy=multi-user.target
[Service]
Type=simple
TasksMax=infinity
Environment=CLOUDERA_ROOT=/opt/cloudera
EnvironmentFile=-/etc/default/cloudera-scm-agent
ExecStart=/opt/cloudera/cm-agent/bin/cm supervisor
Restart=on-failure
KillMode=process
LimitNOFILE=500000

3.加载配置文件

systemctl daemon-reload

4.重启supervisord.service服务

 systemctl restart supervisord.service

5.重启kafka等组件

在CDH界面重启kafka、zookeeper等组件

6.查看修改后最大文件句柄数

jps

cat /proc/<kafka_pid>/limits

修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数

 

7.查看kafka当前使用的文件句柄数

lsof -p KAFKA_BROKER_PID 

lsof  -u kafka | wc -l

lsof | grep kafka | wc -l  

修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数

参考:

limit资源限制ulimit 详解_我为AI领域做了奉献的博客-CSDN博客

Linux lsof命令_书香水墨的博客-CSDN博客

java.io.IOException: Too many open files_java.io.ioexception: 打开的文件过多-CSDN博客

https://web.archive.org/web/20220429155307/https://blog.51cto.com/u_15072910/3961649
https://web.archive.org/web/20220615072645/https://www.jianshu.com/p/1a48a4920088
 文章来源地址https://www.toymoban.com/news/detail-446618.html

到了这里,关于修改通过CDH安装的Kafka和Zookeeper等组件的最大文件句柄数的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Kafka】Zookeeper和Kafka集群的安装和配置

    一、集群环境说明 1. 虚拟机:192.168.223.101/103/105 2. 系统版本:CentOS 7.9 3. JDK版本:11.0.18.0.1 4. Zookeeper版本:3.7.1 5. Kafka版本:2.13-2.8.2 备注:无论是ZK,还是Kafka的安装,都需要用到JDK,上面给出的ZK和Kafka版本,都已经支持JDK11(JDK 11 Supported)。这三者之间的兼容关系,感兴趣

    2024年02月12日
    浏览(56)
  • 安装kafka需优先安装 zookeeper ,scala

    安装kafka需优先安装 zookeeper , scala scala 安装(如安装略过) 现在 wget https://downloads.lightbend.com/scala/2.12.11/scala-2.12.11.tgz 解压 tar -zxvf scala-2.12.11.tgz 编辑环境变量 vim /etc/profile 添加环境变量 ( export SCALA_HOME=/apps/scala export PATH=${PATH}:${SCALA_HOME}/bin ) 生效配置文件文件   source /etc

    2024年04月29日
    浏览(43)
  • Kafka集群安装部署(自带zookeeper)

    •Kafka 将消息以 topic 为单位进行归纳。 • 将向 Kafka topic 发布消息的程序成为 producers. • 将预订 topics 并消费消息的程序成为 consumer. •Kafka 以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个 broker. producers 通过网络将消息发送到 Kafka 集群,集群向消费者提

    2024年02月10日
    浏览(50)
  • CentOS 7 修改文件最大打开数 - 处理大数据

    CentOS 7 修改文件最大打开数 - 处理大数据 在处理大数据的环境中,经常需要同时打开许多文件。然而,默认情况下,CentOS 7的文件打开数限制可能会成为一个限制因素。为了允许更多的文件同时打开,我们可以通过调整操作系统的文件最大打开数来解决这个问题。本文将详细

    2024年02月02日
    浏览(34)
  • Windows下安装使用Kafka(使用Kafka内置的ZooKeeper)

    Kafka2.8版本才开始自带了Zookeeper,所以注意下版本 kafka官网:https://kafka.apache.org kafka配置快速入门:https://kafka.apache.org/quickstart kafka下载页面:https://kafka.apache.org/downloads 下载完成后解压到当前目录 修改config下的zookeeper.properties 修改config下的server.properties 进入 /bin/windows 下 使用

    2024年02月06日
    浏览(44)
  • Mac 安装ZooKeeper+kafka基本使用

    下面ZooKeeper基本介绍: 1、基本功能 ZooKeeper 为分布式系统提供了一种配置管理的服务:集中管理配置,即将全局配置信息保存在 ZooKeeper 服务中,方便进行修改和管理,省去了手动拷贝配置的过程,同时还保证了可靠和一致性。 2、 命名服务 在分布式系统中,经常需要对应用

    2024年02月09日
    浏览(34)
  • 09、Kafka ------ 通过修改保存时间来删除消息(retention.ms 配置)

    Kafka并没有提供直接删除特定主题下消息的方法,只能是强制让消息过期之后,再来删除消息。 因此需要指定如下两个配置: 控制将指定主题下消息的保存时间设为一个很短时间: retention.ms(为特定主题设置) 控制 Kafka 尽快去检查消息是否过期(默认是5分钟检查一次)。

    2024年01月25日
    浏览(44)
  • 【Docker安装部署Kafka+Zookeeper详细教程】

    Docker拉取zookeeper的镜像 Docker拉取kafka的镜像 这个地方没有使用挂载目录的方式,想要使用挂载目录的方式可以看我前面的文章呦!!! 【Linux操作系统使用Docker部署Zookeeper】 【Docker安装部署Zookeeper集群】 参数说明 查看zookeeper的ip地址 后面部署kafka会使用到zookeeper的ip地址 进

    2023年04月19日
    浏览(50)
  • docker-compose安装kafka、zookeeper

    #安装docker-compose,(下载好docker-compose) #将 docker-compose 移动到相应目录 #授权 #创建kafka目录 #授权 #编写 docker-compose.yml #将docker-compose.yml放到 /docker 目录,目录下执行

    2024年02月12日
    浏览(49)
  • mac m1 docker 安装kafka和zookeeper

    获取本地ip地址  ifconfig en0   192.168.0.105.   下面的ip都会使用到 1、拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2、启动容器 启动 zookeeper docker run -d --name zookeeper -p 2181:2181 映射 3、 启动 kafka 注意,kafka 依赖 zookeeper,启动 kafka 前需要先启动 zookeeper。 这边端口

    2024年02月10日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包