RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly-Toy模板网

这篇具有很好参考价值的文章主要介绍了RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

raise runtimeerror('dataloader worker (pid(s) {}) exited unexpectedly'.forma,错误集锦,python,人工智能,深度学习

raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly’.format(pids_str)) from e
RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly

其实吧，这个问题说难不难，说简单也简单。
出现这个Error很明显，就是CPU加载数据和GPU处理数据速度不匹配了，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。

torch.utils.data.DataLoader(datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)

现在则是两极反转，Dataloader的batchsize设置的比较大(64,128)，而且还使用多个num_workers去多进程load数据，比如16-32个，甚至还把pin_memory设为True了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。