今天部署本地版通义千问的时候遇到一个问题。
启动他的cli_demo.py调用的一直都是CPU模式的。
检查cuda已经正确安装，后面发现是torch即PyTorch的安装问题。
我安装torch的时候，用的是默认指令，没有增加别的参数。
检测一下，输出False即是错误的。
>>> import torch
>>> torch.cuda.is_available()
# False
根据网上说的，可以在网上下载cuda118的版本，cuda可以向下兼容
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
具体请看
https://pytorch.org/get-started/locally/文章来源：https://www.toymoban.com/news/detail-683680.html
安装成功后，pip list查看torch的版本后面多了个cu118
再试一下文章来源地址https://www.toymoban.com/news/detail-683680.html
>>> import torch
>>> torch.cuda.is_available()
# True
到了这里，关于通义千问本地化部署不调用GPU只调用CPU的检查方法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
