目录
1. 问题描述
2. 调查和解决
2.1 初步调查
2.2 官网安装方法
2.3 如果还是不匹配呢?
1. 问题描述
系统:Windows10,CUDA11.1.96
开始学习PyTorch。在用PyTorch进行一个深度学习训练时发现报告以下Warning信息:
rank_zero_deprecation( GPU available: False, used: False TPU available: False, using: 0 TPU cores IPU available: False, using: 0 IPUs HPU available: False, using: 0 HPUs
有点纳闷。用Tensorflow-GPU也不是一天半天了,为什么会报告找不到GPU?
2. 调查和解决
2.1 初步调查
啥也不说,先上网兜一圈收集信息。。。
首先运行以下命令(当然要先进入python环境)再次确认一下是否能找到GPU(能找到CUDA自然就是找到了GPU)。
import torch
print(torch.cuda.is_available())
返回False。
初步调查的结果是,
(1) 我之前只是单纯地用“pip install pytorch”来安装pytorch。而这样的缺省安装是不会安装pytorch-gpu版本的。
(2) 其次,必须在pytorch安装时指定与机器匹配的CUDA版本。不匹配的话也可能会出问题。
顺便提一下,tensorflow早期版本的安装也是这样的,不特意指定的话,缺省地就是安装cpu版本,后来tensorflow学乖了,安装时自动检测自动匹配,有GPU就安装匹配的tensorflow-gpu,没有就安装tensorflow-cpu。在这一方面pytorch落在了后面。
2.2 官网安装方法
首先先看官网上的说法(根据既往各种安装搏斗经验,官方方案解决不了的再去求各路民间偏方的路径比较好^-^)。
在官网首页(Start Locally | PyTorch) 有一个友好的傻瓜菜单供选择。
查了查机器上的CUDA版本(控制面板-->硬件和声音-->NVIDIA控制面板-->帮助-->系统信息-->组件),如下所示,CUDA版本为11.1.96。
CUDA11.1.96,但是上面只有10.2(no longer available) 和11.3,咋办?
差异不大,估摸着没有那么敏感吧。先选11.3试试看?
很好,给出该运行的命令(最喜欢这种傻瓜式投喂了)。运行以下命令:
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
一路顺风顺水,安装好后重新运行“print(torch.cuda.is_available())”进行检测,这回返回了True,妥了。
重新运行训练,GPU找到了,不过又碰到新问题。。。找是找到了,不过没有使用。
不过已经明确地给出了解决指示,照着修改一下代码就妥了。
trainer = pl.Trainer(
max_epochs=train_args.max_epochs,
callbacks=get_callbacks(),
accelerator='gpu',
devices=1,
progress_bar_refresh_rate=20,
flush_logs_every_n_steps=1,
log_every_n_steps=1)
不过,还是要吐个槽。谁家会搁着GPU故意不使用啊。所以缺省值难道不是应该设置为{ accelerator='gpu', devices=1}更加友好嘛?
2.3 如果还是不匹配呢?
以上安装表明CUDA版本有点小的差异也可能没有问题。
但是,如果版本差异比较大的话,怎么办呢?在以上安装过程中顺便调查了一下。在“PyTorch + CUDA 11.6 - deployment - PyTorch Forums”看到一个解决方案可以参考。找到这个网页是因为我一开始看错了把我的CUDA版本错看成11.6了^-^。关键点是,如果没有找到匹配CUDA版本的稳定发布的话,可以用编译nightly binaries进行安装的方式解决,如下所示(假定CUDA11.6,其它CUDA版本估计也可以照猫画虎)文章来源:https://www.toymoban.com/news/detail-425438.html
pip install torch --pre --extra-index-url https://download.pytorch.org/whl/nightly/cu116文章来源地址https://www.toymoban.com/news/detail-425438.html
到了这里,关于PyTorch + CUDA 版本匹配安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!