记一次Kafka 故障Too many open files问题

这篇具有很好参考价值的文章主要介绍了记一次Kafka 故障Too many open files问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

查看日志发现,有kafka日志报错提示:

记一次Kafka 故障Too many open files问题,kafka,分布式,java

查看limit.conf文件,发现文件打开数设置的值也没问题,尝试增大值后,但就是提示Too many open files,报错就是文件打开数过多。

记一次Kafka 故障Too many open files问题,kafka,分布式,java

经不懈的百度百度,发现如下图两条关键信息;

记一次Kafka 故障Too many open files问题,kafka,分布式,java

记一次Kafka 故障Too many open files问题,kafka,分布式,java

systemd 服务模块最大打开文件数默认为1024,查看其他没改动limit值且未发生故障的机器kafka进程limit最大值为4096,和系统单独的/ect/security/limit.conf设置的值100001没关系

记一次Kafka 故障Too many open files问题,kafka,分布式,java

20220906 13:01 十几次的kafka打开文件句柄数的值均在3590左右,大多没超过4096,故猜测之前62天没有报错过原因于此。

记一次Kafka 故障Too many open files问题,kafka,分布式,java

由此联想到我们kafka是通过systemd进行管理的,走的是系统默认最大的文件打开数是4096。

问题在kafka.service中添加LimitNOFILE=655360。生效并重启,问题解决;

vim /usr/lib/systemd/system/kafka.service
 LimitNOFILE=655360

systemctl daemon-reload
systemctl restart kafka.service 

问题:目前仍未查到是哪个配置文件使系统默认值为4096,以及为systemd何不走limit.conf值。文章来源地址https://www.toymoban.com/news/detail-533662.html

到了这里,关于记一次Kafka 故障Too many open files问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【kafka】记一次kafka磁盘空间爆满问题处理

    问题如下: 1、今天忽然出现告警,kafka某节点出现磁盘使用率超过80%告警,回顾最近操作,没有什么大业务变动,此kafka集群已经平稳运行1300多天; 2、检查集群发现,只有此节点有异常,磁盘空间消耗过度; 百度了下,然后如下方案成功解决 查看现有的__consumer_offsets清理

    2024年02月13日
    浏览(38)
  • MacOS系统启动React前端项目时报错Error: EMFILE: too many open files, open解决方法

    最近在开发React的前端微应用,启动时模块构建报错Module build failed, Error: EMFILE: too many open files, 如下图所示:  Error: EMFILE: too many open files的错误,经排查是因为单个微应用项目较大, 发布过程中已经超过了mac默认的文件监听上限。 通常这类错误的原因是因为linux或MacOS的文

    2024年02月07日
    浏览(44)
  • Linux报too many open files的解决方案及 lsof、sysctl 命令介绍

    服务器异常: 一串的etc下的shell文件报 /etc/profile.d/bash_completion.sh: Too many open files in system 查看当前操作系统允许打开的文件数 发现设置为655360,执行lsof|wc -l命令为871031,和设定的值还有很大差距,为什么还会报too many open files呢,突然想起还有一个地方设置最大文件数 使用命

    2024年02月21日
    浏览(30)
  • 记一次线上kafka重复消费的问题解决及思考

    线上ELK日志发现kafka消费者消费到重复消息 由于生产方本身就发送了重复的消息,导致消费到重复消息 消费方采用的是循环poll的模式,具体是在多线程分租户去批量处理的消息

    2024年02月10日
    浏览(41)
  • 记一次docker安装kafka,zookeeper拒绝连接的问题

    第一次玩kafka,在使用docker安装kafka时,出现了如下问题 kafka的启动参数KAFKA_ZOOKEEPER_CONNECT不能是localhost:2181,因为不是在一个容器中,localhost改为ip地址就可以了 nc 命令连接到 localhost:2181,确保ZooKeeper 服务器正在监听该地址,并且可以通过网络进行访问 定位的过程中还遇到了

    2024年02月10日
    浏览(53)
  • 记一次 springboot集成kafka-本地连接服务器的kafka,连接不上的问题

    yml中配置了bootstrap-servers: 服务器地址:9092 ,但是连接时却报了 Connection to node -1 ( localhost/127.0.0.1:9092 ) could not be established. chat给我的回复如下,通过一些列检查我确定了在服务器上,kafka没有问题 最后还是从一篇博客中的第一句话得到了答案,博客链接放在最下方 我是docker安

    2024年01月17日
    浏览(47)
  • 解决TortoiseGit软件Git Show log时显示Too many files to display的问题

    有时代码提交修改的文件比较多,当查看log时无法显示出来修改的文件列表,如下所示: 将LogTooManyItemsThreshold尽可能配置得大一些。 https://gitlab.com/tortoisegit/tortoisegit/-/issues/3878

    2024年04月12日
    浏览(33)
  • 【kafka】记一次kafka基于linux的原生命令的使用

    环境是linux,4台机器,版本3.6,kafka安装在node 1 2 3 上,zookeeper安装在node2 3 4上。 安装好kafka,进入bin目录,可以看到有很多sh文件,是我们执行命令的基础。 启动kafka,下面的命令的后面带的配置文件的相对路径 遇到不熟悉的sh文件,直接输入名字并回车,就会提示你可用的

    2024年02月05日
    浏览(40)
  • 记一次Kafka重复消费解决过程

            起因:车联网项目开发,车辆发生故障需要给三个系统推送消息,故障上报较为频繁,所以为了不阻塞主流程,采用了使用kafka。消费方负责推送并保存推送记录,但在一次压测中发现,实际只发生了10次故障,但是推送记录却有30多条。         问题排查,发现

    2024年02月13日
    浏览(48)
  • 记一次kafka消息积压的排查

    kafka消息积压报警,首先进行了自查,这个现象频频出现,之前每次都是先重新分配分区或者回溯(消息可丢弃防止大量积压消费跟不上)。 根据手册首先排查下消息拉取是否正常,看到了消息拉取线程是waiting状态,然后看到kafka这块逻辑是消费线程阻塞了拉取线程。 对比了

    2024年03月24日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包