问题描述
使用 python 子进程
multiprocessing.Process
执行任务,并使用multiprocessing.Queue
回传任务执行结果。程序执行时间长以后,出现 Too many open files 错误。使用lsof -p 进程号
能看到有很多未关闭的 pipe。后经排查发现大概率是 multiprocessing.Queue的问题,为了验证想法,写了一个测试脚本
#!/usr/bin/env python
# -*- coding-utf8 -*-
"""
:Copyright: 2023, XXX
:Software python_cook_book
:File Name: queue_test.py
:Author wind
:Date 2023/9/5 11:52
:Version: v.1.0
:Description:
"""
import os
import time
from multiprocessing import Process, Queue
def start_sub_process(q, index):
print(f'get a queue, index is: {index}')
time.sleep(10)
print('sleep finished')
if q:
q.put(f'hello {index}')
def execute():
queues = []
for i in range(10):
q = None
if i % 3 == 0:
q = Queue()
p = Process(target=start_sub_process, args=(q, i))
p.start()
queues.append((p, q))
print('start sub process ok')
for p, q in queues:
msg = q.get() if q else ''
print(f'q get ret is: {msg}')
while p.is_alive():
print('process is alive')
time.sleep(1)
p.close()
del p
if q:
# q._writer.close()
q.close()
time.sleep(20)
print(f'close queue finished')
while True:
time.sleep(3)
print('sleep')
if __name__ == '__main__':
execute()
测试程序启动后,找到进程号,然后使用
lsof -p 进程号 | grep pipe | wc -l
查看遗漏的文件描述符的数量。这时出现了令人困惑的事情,在不同的linux发行版和同一个发行版不同的版本上,程序的遗漏文件描述符的数量不一样。而且有的能全部回收,有的只能部分回收。文章来源:https://www.toymoban.com/news/detail-701066.html
问题处理
针对这种情况,最直接的当然是想办法让描述符能回收,如果确实不行,就只能将子进程放在进程池中进行管理再配备对应的通信队列,限制住进程队列的数量。
在网上找了一圈,最后找到一个比较靠谱的方案 python issue 即在回收队列时,调用q._writer.close()
,上面脚本已经写上这行代码。但这个方案在有些系统下执行仍然会有文件描述符泄露的问题,并且用del queue
gc.coolect()
都没法解决,碰到这种没法直接用代码处理的最好是换处理方式,用进程池,并控制队列的使用数量文章来源地址https://www.toymoban.com/news/detail-701066.html
到了这里,关于使用 python multiprocessing.Queue 出现 too many open files 错误的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!