【超简易安装】在linux集群服务器上使用conda安装高版本cuda(cuda-11.8)和pytorch2.0

这篇具有很好参考价值的文章主要介绍了【超简易安装】在linux集群服务器上使用conda安装高版本cuda(cuda-11.8)和pytorch2.0。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


由于项目代码要求pytorch2.0版本,而pytorch2.0版本需要cuda11.8,高于我之前的11.0的cuda版本。
因此考虑使用conda新建一个虚拟环境,在里面使用高版本的cuda和pytorch。

0. 背景分析

我使用的是lunix多人集群服务器。集群服务器需要用作业调度系统,也就是bsub命令之后才能提交作业,运行任务。在这种多人服务器下,如果想要查看原本的cuda版本,在命令行中直接输入nvidia-smi是无效的,会报错nvidia-smi:command not found。这种情况下如何查看cuda版本呢?可以看我之前的这篇文章 【nvidia-smi:command not found】如何在集群服务器上使用nvidia-smi查看GPU信息

看右上角,GPU的cuda版本为11.0,低于pytorch2.0需要的cuda11.8,因此考虑新安装一个高版本的cuda。(此前我也有疑惑,11.0是不是这块GPU支持的最高版本,但好像不是,可以自行下载更高版本的)
linux安装cuda11.8 的pytorch,集群服务器,大模型,服务器,linux,conda,pytorch,经验分享

1. 新建conda虚拟环境

为了不影响其他版本的cuda,先新建虚拟环境。这里安装的是python3.10版本

conda create -n env_name python==3.10

其中env_name是虚拟环境的名字,安装过程中输入y,随后用conda activate env_name命令进入虚拟环境。

2. CUDA11.8安装

网上的教程有很多,也很复杂。但我突然发现conda官网里有一键下载cuda版本包的命令,抱着试试看的心态就使用了。
linux安装cuda11.8 的pytorch,集群服务器,大模型,服务器,linux,conda,pytorch,经验分享
可以从label中筛选所需要的cuda版本,然后复制下载命令,直接在命令行中运行。
安装好之后输入nvcc -V,可以查看到相应版本的cuda。
linux安装cuda11.8 的pytorch,集群服务器,大模型,服务器,linux,conda,pytorch,经验分享

3. torch2.0安装

下载

这里选择使用下载.whl安装包的形式。在这个网站上选择相应版本的torch。我选择的是第一个,即torch2.0版本+cuda11.8+python3.10,并且是linux系统的。(win_amd64指的是windows系统)
linux安装cuda11.8 的pytorch,集群服务器,大模型,服务器,linux,conda,pytorch,经验分享
右键选择复制链接,然后在之前安装好的conda环境中,输入wget + 链接进行下载。如

wget https://download.pytorch.org/whl/cu118/torch-2.0.0%2Bcu118-cp310-cp310-linux_x86_64.whl#sha256=4b690e2b77f21073500c65d8bb9ea9656b8cb4e969f357370bbc992a3b074764

安装

下载结束后使用pip install 安装包名字.whl 进行安装

pip install torch-2.0.0+cu118-cp310-cp310-linux_x86_64.whl 

查询是否成功

输入python进入python环境,输入torch.__version__进行查询

python
torch.__version__

结果如图所示:
linux安装cuda11.8 的pytorch,集群服务器,大模型,服务器,linux,conda,pytorch,经验分享
到这一步就在新的环境里配上cuda和torch了,运行项目代码总算不报错了。文章来源地址https://www.toymoban.com/news/detail-840961.html

到了这里,关于【超简易安装】在linux集群服务器上使用conda安装高版本cuda(cuda-11.8)和pytorch2.0的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • C++项目——集群聊天服务器项目(一)项目介绍、环境搭建、Boost库安装、Muduo库安装、Linux与vscode配置

    今天开始想更新一个C++项目,实现一个 支持跨服务器通信、支持负载均衡的集群聊天服务器项目 。项目会应用muduo网络库、CMake编译、MySQL数据库、JSon序列化与反序列化、Redis消息订阅模式以及Nginx负载均衡功能。 有兴趣的宝可以跟我一起实操起来,巩固自己的C++学习吧~ 本项

    2024年04月14日
    浏览(35)
  • Linux 端快速迁移 conda 环境到另一台服务器上

      本文说明如何将一台服务器上的某个 conda 环境快速复制到另一台服务器上。 1. 打包环境   此操作在需要打包 conda 环境的那台服务器上完成。   先后在 shell 中执行以下命令:   操作完成后,会在当前目录下生成一个名为 env_name.tar.gz 的文件。   然后将 env_nam

    2024年02月08日
    浏览(46)
  • 如何在服务器中创建python虚拟环境以及安装conda

    https://blog.51cto.com/u_16175517/7450425 第一条命令会在当前命令下创建虚拟环境 第二条命令是激活这个虚拟环境 安装conda:https://blog.csdn.net/weixin_40816738/article/details/130684650

    2024年02月08日
    浏览(36)
  • AutoDL服务器(其他服务器及windows类似)上创建虚拟环境,安装第三方包,conda相关命令

    1.服务器终端输入:vim ~/.bashrc 注: .bashrc文件一般式隐藏文件,用命令 ls -a 可显示所有文件;~代表你的 /home/用户名 目录。 2.键盘输入:i,移动光标到最后,加上: source /root/miniconda3/etc/profile.d/conda.sh 注: /miniconda3/etc/profile.d/conda.sh 后面这个一般没问题;前面部分不同的服

    2023年04月08日
    浏览(40)
  • Alphafold2/Alphafold-Multimer在服务器(CPU)安装教程(conda安装)

    2024甲辰龙年2月22日始 碎碎念:生信小白一枚,去年暑假就打算开始坚持写博文的,一直到现在才开始,拖延症属实晚期了!不过只要开始就还不算晚。 记录自己每天做的学的东西,目的是督促自己(其实是记性差)希望自己能坚持下去! 最近在研究Alphafold/Alphafold-Multimer的

    2024年03月12日
    浏览(43)
  • 一文掌握Conda/Mamba软件安装:虚拟环境、软件通道、加速solving、跨服务器迁移...

    生物信息学习的正确姿势 NGS系列文章包括NGS基础、在线绘图、转录组分析 (Nature重磅综述|关于RNA-seq你想知道的全在这)、ChIP-seq分析 (ChIP-seq基本分析流程)、单细胞测序分析 (重磅综述:三万字长文读懂单细胞RNA测序分析的最佳实践教程)、DNA甲基化分析、重测序分析、

    2024年02月03日
    浏览(58)
  • 【Linux】01 Ubantu安装NFS服务器及其使用

    在Ubantu终端执行以下命令即可安装: sudo apt install nfs-kernel-server  sudo mkdir /home/root/linux/nfs 使用如下命令打开 nfs 配置文件/etc/exports: sudo vi /etc/exports 打开/etc/exports 以后在后面添加如下所示内容: /home/root/linux/nfs  *(rw,sync,no_root_squash)  解析 :          /home/root/linux/nfs :指

    2024年01月21日
    浏览(27)
  • 如何在 Linux 服务器上安装和使用 SFTP?

    SFTP 或 SSH 文件传输协议是一种在两台计算机之间安全传输数据的方法。它是运行在 SSH 协议之上并利用其安全性并完全支持其身份验证的 FTP。 现在,建议使用 SFTP 而不是旧的旧 FTP 或 FTP/S 协议。SFTP 默认是安全的,因为这就是 SSH 的工作方式。从安全的角度来看,SFTP 还可以

    2024年02月11日
    浏览(36)
  • 使用串口重定向为服务器安装linux操作系统

    在不借助显卡,通过串口来完成安装过程中的配置等选项。总结整个流程如下,方法很简单。在信创x86的设备上所使用的是redhat 7.4以及kylinOS的操作系统,串口工具是secureCRT。 首先进入Bios将串口重定向打开,并选择boot management,进入安装盘的启动界面 然后在启动界面的第一

    2023年04月09日
    浏览(38)
  • 使用SSH从公网服务器简易使用内网任意机器服务,比如从外部下载代码

    如果有一个台外部的机器waibu-host, 位于阿里云, 腾讯云, 亚马逊, azure云等等;  假设你想从这个waibu-host上访问公司任意服务,下载代码, 访问http服务,等等, 或者你机器上的服务, 不需要额外工具, 只要ssh 反向就可以实现;   借个图, 如下:   举个例子, 如果你想从公司内部通过git

    2024年04月24日
    浏览(21)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包