PYTORCH_CUDA_ALLOC_CONF max_split_size_mb | Shell ( Linux ) 环境下的解决措施

这篇具有很好参考价值的文章主要介绍了PYTORCH_CUDA_ALLOC_CONF max_split_size_mb | Shell ( Linux ) 环境下的解决措施。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

参考文献如下

[1] 通过设置PYTORCH_CUDA_ALLOC_CONF中的max_split_size_mb解决Pytorch的显存碎片化导致的CUDA:Out Of Memory问题
https://blog.csdn.net/MirageTanker/article/details/127998036
[2] shell环境变量说明
https://blog.csdn.net/JOJOY_tester/article/details/90738717

具体解决步骤

报错信息如下:

RuntimeError: CUDA out of memory. 
Tried to allocate 6.18 GiB (GPU 0; 24.00 GiB total capacity; 
11.39 GiB already allocated; 
3.43 GiB free; 17.62 GiB reserved in total by PyTorch) 
If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. 
See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF


计算 reserved - allocated = 17.62 - 11.39 = 6.23 > 6.18 (暂且不用管如何来的,更多说明参考文献[1])

查看CUDA中管理缓存的环境变量

echo $PYTORCH_CUDA_ALLOC_CONF


设置环境变量的值(这里用到6.18这个数了,简单理解6.18表示缓存空间6.18GB)

export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:6110

(6110的由来简单理解为6110MB,我们要选择比6.18GB小的最大空间,推荐直接设置为6.1*1000MB)

问题圆满解决,可喜可贺 可喜可贺文章来源地址https://www.toymoban.com/news/detail-515312.html

到了这里,关于PYTORCH_CUDA_ALLOC_CONF max_split_size_mb | Shell ( Linux ) 环境下的解决措施的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【深度学习环境配置】ubuntu 20.04+4060 Ti+CUDA 11.8+pytorch(装机、显卡驱动、CUDA、cudnn、pytorch)

    【深度学习环境配置】ubuntu 20.04+4060 Ti+CUDA 11.8+pytorch(装机、显卡驱动、CUDA、cudnn、pytorch) 📆 安装时间 2023.11.08-2023.11.10 Windows 和 Ubuntu 双系统的安装和卸载 B站教程 【本文基本上跟这个详细教程一致,优先推荐看这个!】ubuntu20.04 下深度学习环境配置 史上最详细教程 【精

    2024年02月04日
    浏览(41)
  • CUDA11.1对应pytorch安装

    看了好多篇文章,尝试了好多次pytorch的安装,终于成功了 ,下面记录成功的安装方法。 1.1确定cuda版本 首先应当确定自己电脑的cuda版本,根据电脑显卡cuda的版本选择应当安装的cuda,可以在命令行中输入nvidia-smi查看显卡信息 可以看到CUDA的版本为11.1,即11.1以下的版本都可以

    2023年04月08日
    浏览(30)
  • CUDA与PyTorch版本对应关系

    PyTorch版本 CUDA版本 1.2.0、1.4.0、1.5.0、1.5.1、1.6.0、1.7.0、1.7.1 9.2 1.0.0、1.0.1、1.1.0、1.2.0 10.0 1.4.0、1.5.0、1.5.1、1.6.0、1.7.0、1.7.1、1.8.1 10.1 1.5.0、1.5.1、1.6.0、1.7.0、1.7.1、1.8.0、1.8.1、1.8.2、1.9.0、1.9.1、1.10.0、1.10.1、1.11.0、1.12.0、1.12.1 10.2 1.7.0、1.7.1 11.0 1.8.0、1.8.1、1.8.2、1.9.0、1.9.

    2024年01月24日
    浏览(32)
  • CUDA、cuDNN以及Pytorch介绍

    在讲解cuda和cuDNN之前,我们首先来了解一下英伟达(NVIDA)公司。 NVIDIA是一家全球领先的计算机技术公司,专注于图形处理器(GPU)和人工智能(AI)计算。公司成立于1993年,总部位于美国加利福尼亚州的圣塔克拉拉。NVIDIA的产品和技术广泛应用于各个领域,包括游戏、虚拟

    2024年02月13日
    浏览(36)
  • cuda11.2对应pytorch安装

    想必大家查看自己cuda是11.2版本,但是在pytorch官网没有找到对应的安装命令,请参考一下命令: 测试:

    2024年02月12日
    浏览(33)
  • 如何正确下载PyTorch、CUDA版本!!

    因为在torch框架里经常出现NVIDIA、CUDA、PyTorch这几个不兼容,等等一些让人头疼的问题。这里总结正确下载pytorch的方法。 目录 安装pytorch 安装CUDA 一.查看自己cuda版本 方法一:  方法二: CMD中输入:   我的是CUDA版本12.0,版本向下兼容,意思就是 CUDA 12.0及以下版本的都可以安

    2024年02月15日
    浏览(33)
  • cuda+anaconda+pytorch按照教程

    1、查看当前显卡支持的最高版本,有两种方式: 1)NVIDIA控制面板—帮助—系统信息—组件—NVCUDA.dll对应版本 请注意,12.2为本机CUDA支持的最高版本 nvidia-smi显示的同上,也表示cuda支持的最高版本 安装cuda后在cmd窗口使用nvcc -V命令看到的是自己安装的cuda版本,这个安装后不

    2024年02月12日
    浏览(22)
  • 一张图了解GPU、CUDA、CUDA toolkit和pytorch的关系

    GPU、Cuda Driver和 Cuda Toolkit的图解关系 省流,简略版本 Nvidia Driver驱动 :操作系统和硬件GPU进行沟通交互的程序,没这个驱动,GPU就是一个摆设,调用不起来,所以得先装这个。装了这个电脑就能用GPU了,但是深度学习搞不定。 CUDA Toolkit工具包 :是基于驱动程序,用来实现

    2024年02月01日
    浏览(32)
  • 【CUDA OUT OF MEMORY】【Pytorch】计算图与CUDA OOM

    在实践过程中多次碰到了CUDA OOM的问题,有时候这个问题是很好解决的,有时候DEBUG一整天还是头皮发麻。 最近实践对由于计算图积累导致CUDA OOM有一点新的看法,写下来记录一下。 包括对计算图的一些看法和一个由于计算图引发错误的简化实例记录。 本人能力有限,认识片

    2024年02月09日
    浏览(28)
  • pytorch-cuda安装报错

    2022.12.8在win+cuda11.8下安装最新Pytorch GPU版时遇到包不兼容的问题,该文记录安装的整个流程 Pytorch官网命令如下 在win、cuda11.8下安装GPU版Pytorch 分析该命令,-c后面为安装包的源,-c pytorch表示使用官方源,可能出现速度慢等问题 因此一般先将conda切换清华源 换源后去掉-c执行命

    2023年04月08日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包