使用 python multiprocessing.Queue 出现 too many open files 错误

这篇具有很好参考价值的文章主要介绍了使用 python multiprocessing.Queue 出现 too many open files 错误。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题描述

使用 python 子进程multiprocessing.Process执行任务,并使用multiprocessing.Queue回传任务执行结果。程序执行时间长以后,出现 Too many open files 错误。使用 lsof -p 进程号 能看到有很多未关闭的 pipe。后经排查发现大概率是 multiprocessing.Queue的问题,为了验证想法,写了一个测试脚本

#!/usr/bin/env python
# -*- coding-utf8 -*-
"""
:Copyright: 2023, XXX
:Software python_cook_book
:File Name: queue_test.py
:Author wind
:Date 2023/9/5 11:52
:Version: v.1.0
:Description:
"""
import os
import time
from multiprocessing import Process, Queue


def start_sub_process(q, index):
    print(f'get a queue, index is: {index}')
    time.sleep(10)
    print('sleep finished')
    if q:
        q.put(f'hello {index}')


def execute():

    queues = []

    for i in range(10):
        q = None
        if i % 3 == 0:
            q = Queue()
        p = Process(target=start_sub_process, args=(q, i))
        p.start()
        queues.append((p, q))
        
    print('start sub process ok')

    for p, q in queues:
        msg = q.get() if q else ''
        print(f'q get ret is: {msg}')
        while p.is_alive():
            print('process is alive') 
            time.sleep(1)

        p.close()
        del p
        if q:
            # q._writer.close()
            q.close()
        time.sleep(20)
        print(f'close queue finished')

    while True:
        time.sleep(3)
        print('sleep')


if __name__ == '__main__':
    execute()

测试程序启动后,找到进程号,然后使用 lsof -p 进程号 | grep pipe | wc -l 查看遗漏的文件描述符的数量。这时出现了令人困惑的事情,在不同的linux发行版和同一个发行版不同的版本上,程序的遗漏文件描述符的数量不一样。而且有的能全部回收,有的只能部分回收。

问题处理

针对这种情况,最直接的当然是想办法让描述符能回收,如果确实不行,就只能将子进程放在进程池中进行管理再配备对应的通信队列,限制住进程队列的数量。
在网上找了一圈,最后找到一个比较靠谱的方案 python issue 即在回收队列时,调用 q._writer.close() ,上面脚本已经写上这行代码。但这个方案在有些系统下执行仍然会有文件描述符泄露的问题,并且用del queue gc.coolect()都没法解决,碰到这种没法直接用代码处理的最好是换处理方式,用进程池,并控制队列的使用数量文章来源地址https://www.toymoban.com/news/detail-701066.html

到了这里,关于使用 python multiprocessing.Queue 出现 too many open files 错误的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MacOS系统启动React前端项目时报错Error: EMFILE: too many open files, open解决方法

    最近在开发React的前端微应用,启动时模块构建报错Module build failed, Error: EMFILE: too many open files, 如下图所示:  Error: EMFILE: too many open files的错误,经排查是因为单个微应用项目较大, 发布过程中已经超过了mac默认的文件监听上限。 通常这类错误的原因是因为linux或MacOS的文

    2024年02月07日
    浏览(50)
  • Linux报too many open files的解决方案及 lsof、sysctl 命令介绍

    服务器异常: 一串的etc下的shell文件报 /etc/profile.d/bash_completion.sh: Too many open files in system 查看当前操作系统允许打开的文件数 发现设置为655360,执行lsof|wc -l命令为871031,和设定的值还有很大差距,为什么还会报too many open files呢,突然想起还有一个地方设置最大文件数 使用命

    2024年02月21日
    浏览(39)
  • MySQL出现too many connections错误

    1、现象 navicat连接MySQL时报 too many connections 错误 2、原因 my.ini 中设定的并发连接数太少或者系统繁忙导致连接数被占满。 连接数超过了 MySQL 设置的值,与 max_connections 和 wait_timeout 都有关。 wait_timeout 的值越大,连接的空闲等待就越长,这样就会造成当前连接数越大。 3、解

    2024年02月11日
    浏览(43)
  • 解决TortoiseGit软件Git Show log时显示Too many files to display的问题

    有时代码提交修改的文件比较多,当查看log时无法显示出来修改的文件列表,如下所示: 将LogTooManyItemsThreshold尽可能配置得大一些。 https://gitlab.com/tortoisegit/tortoisegit/-/issues/3878

    2024年04月12日
    浏览(43)
  • Oracle数据库出现WARNING: too many parse errors告警的分析思路

    Oracle数据库的告警日志中出WARNING: too many parse errors这些告警信息的话,如果遇到这个问题,我们应该如何分析呢? 下面简单聊一下如何分析这个错误。该告警信息其实是12.2版本中的一个特性增强。在以前的Oracle版本中,数据库出现了解析错误时,数据库的alert日志中不会有任

    2024年04月23日
    浏览(42)
  • SparkSQL列数量比较多引发的Too many arguments in method signature in class file问题

    我在写一个Spark程序的时候,做两个表的关联,其中一个表为feature表,一共有96个特征,我使用下面的 代码片 的时候 在运行的时候会报错 在运行日志里面还有下面的错误提示 增加一行: .config(\\\"spark.sql.codegen.wholeStage\\\", value = false) 这个错误一般是由于 JVM 的方法参数限制所导

    2024年02月08日
    浏览(38)
  • conda出现http429报错:CondaHTTPError: HTTP 429 TOO MANY REQUESTS for url <xxx>

    我的报错信息如下: 在报错的第一行我们可以看到是url:https://mirrors. ustc .edu.cn/anaconda/pkgs/main/linux-64/current_repodata.json有问题,只要 把和ustc相关的源删掉 就好了,步骤如下: 查看该环境下的所有channel (channel就是源,用来找你要安装的包的) 执行命令后,我的电脑上显示:

    2024年04月27日
    浏览(39)
  • 【OpenCV实现图像:用Python生成图像特效,报错ValueError: too many values to unpack (expected 3)】

    Python是一种功能强大的编程语言,也是图像处理领域中常用的工具之一。通过使用Python的图像处理库(例如Pillow、OpenCV等),开发者可以实现各种各样的图像特效。这些特效包括但不限于:滤镜效果(如黑白、模糊、锐化等)、颜色转换、边缘检测、形状识别、图像合成和增

    2024年02月06日
    浏览(42)
  • Queue的多线程爬虫和multiprocessing多进程

    Queue的模块里面提供了同步的、线程安全的队列类,包括FIFO(先入后出)队列Queue、FIFO(后入先出)LifoQueue和优先队列PriorityQueue。 (在上个文件创建了爬取文件) 我们使用这个方法来获取,代码如下: 对象传入myThread中; thread = myThread(tName,workQueue)  使用一个for循环来

    2024年04月14日
    浏览(39)
  • Mysql “Too many connections“ 异常

    当Mysql 数据库抛出如下异常 Caused by: com.mysql.cj.exceptions.CJException: Data source rejected establishment of connection,  message from server: \\\"Too many connections\\\"     at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)     at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:

    2024年02月12日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包