Ubuntu16.04服务器安装LLaVA对应的CUDA-Toy模板网

这篇具有很好参考价值的文章主要介绍了Ubuntu16.04服务器安装LLaVA对应的CUDA。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Ubuntu16.04服务器安装LLaVA对应的CUDA

在根据LLaVA项目说明配置好conda等环境后，安装相关依赖，在测试程序中输出torch.__version__查看相应的CUDA版本。

import torch
# 检查torch.__version__，也可以用于检查是否安装成功
print(torch.__version__)

得到的输出结果为2.0.1-cu117，说明对应版本是CUDA 11.7，检查本机CUDA版本（命令如下，得到结果为10.0）。

nvcc -V

检查后得到的结果是，应该是CUDA版本不够，考虑升级CUDA。

Cuda compilation tools, release 10.0, V10.0.130
torch version: 2.0.1+cu117

一、查找并安装对应版本的CUDA

CUDA（Compute Unified Device Architecture）是由 NVIDIA 推出的一种并行计算平台和编程模型，专门用于利用 NVIDIA GPU的并行计算能力。CUDA 允许开发人员使用通用编程语言（如 C、C++）来编写用于 GPU 加速的应用程序。以下是针对学校服务器的CUDA配置方法

检查系统支持的最高CUDA版本，如下图所示，最高支持12.0版本。
```
nvidia-smi
```
根据显卡在CUDA Toolkit Archive找到自己需要的CUDA，笔者选择CUDA Toolkit 11.7。根据自己的操作系统和安装类型获取下载命令后在终端输入，由于系统是Ubuntu 16.04但是满足项目要求的CUDA >= 11.6的版本只支持18.04以上的版本，选择最近的版本进行安装。
```
wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda_12.0.0_525.60.13_linux.runsudo sh cuda_12.0.0_525.60.13_linux.run
```
阅读协议，输入accept同意协议。
然后进入安装选项，这里选择去掉驱动器的选项，选择Install进行安装，如果之前有CUDA来更新的话就需要选择更新相应的CUDA（在下一个框中选择yes。(图片是12.0对应的版本，第二次写的时候忘记更新了)
安装完成的界面如下所示。

安装完成后，将把CUDA路径添加到当前用户的配置文件中。

vim /etc/profile
# 以下内容弄添加在profile文件末尾，添加环境变量
export PATH="/usr/local/cuda-11.7/bin:$PATH"
export PATH="/usr/local/cuda-11.7/lib64:$PATH"

使用nvcc -V检查CUDA版本。

二、安装和配置cuDNN

cuDNN（CUDA Deep Neural Network library）是由 NVIDIA 提供的一个用于深度学习加速的 GPU 加速库。cuDNN 主要用于深度神经网络（DNN）的训练和推理，提供了高性能的基本操作和优化，以加速深度学习任务。下载cuDNN需要用邮箱在NVIDIA官网注册一个账户。

完成注册后，在cuDNN Archive找到要下载的cuDNN版本，由于上述使用的CUDA版本是11.7，因此选择最新的v8.9.6, for CUDA 11.x。将对应安装包下载到服务器中（复制链接使用wget命令下载并解压，不确定可以使用，笔者是通过下载到自己的客户机然后直接复制到通过VSCode中Remote ssh连接的服务器）。

wget -P 安装路径 -c https://developer.nvidia.com/downloads/compute/cudnn/secure/8.9.6/local_installers/11.x/cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar.xz

llava部署cudnn,服务器环境配置,LLaVA,服务器,ubuntu

解压命令如下，先使用unxz解压（去掉后缀.xz），在然后解压.tar文件。

unxz cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar.xz
tar -zxvf cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar

解压完成后进入解压文件夹，使用下列文件将cudnn相关文件复制到cuda文件夹下。

sudo cp include/cudnn*.h /usr/local/cuda/include/
sudo cp lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

执行完毕后验证安装是否成功。

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

llava部署cudnn,服务器环境配置,LLaVA,服务器,ubuntu

出现相关信息，说明安装成功。文章来源地址https://www.toymoban.com/news/detail-820734.html

到了这里，关于Ubuntu16.04服务器安装LLaVA对应的CUDA的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

Ubuntu16.04服务器安装LLaVA对应的CUDA