调用nn.linear时出现RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublas’错误,搜索网上资料,主要指出以下原因:文章来源:https://www.toymoban.com/news/detail-400954.html
- batch size太大(本人将batchsize设置成4,够小吧!还是不行。。。)
- CUDA版本和torch不匹配(本人cuda版本是10.1,pytorch版本安装的是cuda10.1+python3.8的pytorch1.6,不是这个原因)
- torch版本问题(调换版本依旧不行)
总之一句话,网上的解决方案试了个遍都不行。后来折腾没办法,就想着不调用nn.linear,自己编写一个线性函数,发现一到矩阵乘也出现相同的问题!!!该想的办法想尽了,搞半天还是没解决,快折腾没脾气了/(ㄒoㄒ)/~~
最后,想着这个错误到底什么意思,“CUBLAS_STATUS_NOT_INITIALIZED”这个字面意思差不多是cuda状态没有初始化啊。。。于是我就到调用的文件里检测,发现,oh my god!!!(○´・д・)ノ我所有的模型调用都需要进行.cuda()的设置,只有这个类调用时没有进行cuda初始化!!!于是,我在调用的代码后加上.cuda(),果然完美解决问题!!!😀文章来源地址https://www.toymoban.com/news/detail-400954.html
到了这里,关于RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublas‘的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!