RuntimeError:cuDNN error:CUDNN_STATUS_EXECUTION_FAILED

这篇具有很好参考价值的文章主要介绍了RuntimeError:cuDNN error:CUDNN_STATUS_EXECUTION_FAILED。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

最近在服务器上跑Deeplabv3进行语义分割时,需要使用GPU版的pytorch。
我在Anaconda下配置了适配服务器CUDA的pytorch,但是报错如下,(下图无限接近于我的错误,但是我忘记截图我的报错了,所以用了下面这张网图)
RuntimeError:cuDNN error:CUDNN_STATUS_EXECUTION_FAILED
可以看到每次报错都在 conv.py 这个文件,就是在做 CNN 运算时出的错。

解决方法

引入如下语句

torch.backends.cudnn.enabled = False

这句代码的意思是不用 cudnn 加速了。

GPU,CUDA,cuDNN 的关系是:

CUDA 是 NVIDIA 推出的用于自家 GPU 的并行计算框架,只能在 NVIDIA 的GPU 上运行,而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥 CUDA 的作用。
cuDNN 是 NVIDIA 打造的针对深度神经网络的加速库,是一个用于深层神经网络的 GPU 加速库。如果你要用 GPU 训练模型,cuDNN 不是必须的,但是一般会采用这个加速库。

cuDNN 默认会使用,既然目前解决不了匹配问题,就先不用了。这样 GPU照样能工作,但可能没有用上 cuDNN 那么快。

加上了上面的代码,cuDNN的问题解决了!!!

但是来了新的报错:RuntimeError: cublas runtime error : the GPU program failed to execute at /tmp/pip-req-build-cbsmv48q/aten/src/THC/THCBlas.cu:259

解决办法

1.卸载掉之前装好的torch和torchvision(之前是使用官网的命令:

conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=9.0 -c pytorch

安装的torch和torchvision)
现在需要卸载掉,卸载命令如下:

pip uninstall torch
pip uninstall torchvision

2.使用pip安装指定版本的torch和torchvision
安装命令如下:

pip install torch==1.1.0
pip install torchvision==0.3.0

3.再次run,问题就解决了!!!

撒花撒花!!!

附录:

解决问题参考博客如下:
https://zhuanlan.zhihu.com/p/150581355
https://blog.csdn.net/weixin_41781121/article/details/109030372文章来源地址https://www.toymoban.com/news/detail-435804.html

到了这里,关于RuntimeError:cuDNN error:CUDNN_STATUS_EXECUTION_FAILED的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublas‘

    调用nn.linear时出现RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublas’错误 ,搜索网上资料,主要指出以下原因: batch size太大(本人将batchsize设置成4,够小吧!还是不行。。。) CUDA版本和torch不匹配(本人cuda版本是10.1,pytorch版本安装的是cuda10.1+python3.8的pytorch1.

    2023年04月08日
    浏览(41)
  • RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`

    DialoGPT/data_loader.py at 457835e7d8acd08acf7f6f0e980f36fd327ea37c · microsoft/DialoGPT · GitHub 报错:RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)` 我把输入用同样形状的随机张量进行了测试,发现用随机的整数张量可以,但是用我的输入就不行,于是想看看两者的区别

    2024年02月11日
    浏览(117)
  • 【bug记录】RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm

    问题 在训练到一定迭代次数之后报错: RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling cublasSgemm( handle, opa, opb, m, n, k, alpha, a, lda, b, ldb, beta, c, ldc) 可能的原因 shape维度不匹配 变量不在同一个device上 pytorch和cuda版本不匹配 解决方案 在train.py文件的开头加上 os.environ[\\\'CUDA

    2024年02月11日
    浏览(48)
  • 【报错】RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasLtMatmul( ltHandle,

    在GPU上运行hugging face transformer的时候出现如下报错: 切换至cpu之后,报错: 根据cpu上的报错内容,判断为 模型输入太长 ,超过了模型的embedding最大尺寸,可以在tokenizer设置 max_len 来进行截断( truncation )。 由于GPU上的报错一般都比较抽象, 建议先在cpu上debug 。有可能你的

    2024年02月14日
    浏览(49)
  • 【TensorRT】TensorRT was linked against cudnn 8.6.0 but loaded cudnn 8.3.2

    文章指引:Win10 安装 Tensorrt和torch2trt教程 系统 :Win10 显卡 :NVIDIA GeForce RTX 3090 cuda版本 :CUDA 11.6.2 python版本 :3.9 TensorRT安装版本 :8.5.1.7 在使用TensorRT-8.5.1.7,发布模型和推理发布的trt模型时出现警告,TensorRT was linked against cudnn 8.6.0 but loaded cudnn 8.3.2 (类似问题见文章 [1] )

    2024年02月16日
    浏览(46)
  • cuDNN安装方法

    • 1、下载cuDNN • 2、安装cuDNN • 3、检查当前cuDNN 1、下载cuDNN 链接https://developer.nvidia.com/cudnn-download-survey 选择版本时,需要根据操作系统选择和cuda版本匹配的cuDNN 2、安装cuDNN 解压下载好的cuDNN tar -xvf cudnn-11.2-linux-x64-v8.1.0.77.tgz 拷贝文件到对应的目录 cp include/cudnn.h /usr/local/

    2024年02月12日
    浏览(34)
  • Tensorflow+Cudnn配置

    首先检查自己的cuda版本 然后下载对应Cudnn https://developer.nvidia.com/rdp/cudnn-download 下载完毕后将文件拷到X:Program FilesNVIDIA GPU Computing ToolkitCUDA对应目录下,拷完以后不需要重启系统也不需要重启Pycharm就可以正常使用。 检查cuda版本的方法和Win11相同。以cuda_11.8.r11.8为例,在如下

    2024年02月13日
    浏览(33)
  • Cuda和cuDNN安装

    官网链接 cuda的安装步骤是“傻瓜式”的安装,建议安装在C盘,无需修改默认路径,下面列举几个重要的安装步骤 打开cmd,输入nvcc --version查看版本号,输入set cuda查看设置的环境变量 下载前需要登录或者注册,链接如下: https://developer.nvidia.com/rdp/cudnn-download 登录完毕后,再

    2024年02月13日
    浏览(47)
  • cudnn 安装

    一:查看CUDA版本: 1:win+r 打开运行命令窗口输入cmd  在命令窗口输入以下命令:  可以看到我的版本为12.0 2:根据CUDA版本选择对应的cudnn,下载链接如下: 链接 https://developer.nvidia.com/rdp/cudnn-download 请下载和CUDA版本对应的cuDNN 2:下载后解压完成后将三个文件全部放入cuda文件里面: 完成

    2024年02月16日
    浏览(15)
  • cudnn免登录下载

    现在要下载cuDNN,点击下载的页面后都是出现要求先加入Nvidia developers才能进行下载,但这个注册的过程非常慢,常常卡在第二个步骤,这里根据亲身的经验介绍一个可以绕过这个注册或登陆步骤的方式直接下载cuDNN。遇到此类问题的可以试一下。 打开cuDNN各个版本的下载网址

    2024年02月20日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包