在服务器上指定GPU跑代码

这篇具有很好参考价值的文章主要介绍了在服务器上指定GPU跑代码。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、准备工作

查看GPU状态和信息,找到空闲的GPU:

nvidia-smi 

在服务器上指定GPU跑代码

二、指定单GPU

从图中 Processes 表格我们可以发现0、1、2号GPU均是可以利用的。于是我们可以在python文件中加入以下代码,表示使用0号GPU:

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"  # 使用0号GPU

或者可以在命令行窗口处输入,表示使用1号GPU运行代码:

CUDA_VISIBLE_DEVICES=1 python your_model.py # 使用1号GPU运行代码

再或者使用 torch.cuda.set_device()函数指定gpu使用编号:

import torch
torch.cuda.set_device(2) # 使用2号GPU

三、指定多GPU

若此时所有GPU都是空闲的,那么最简单的做法是:

import torch
model = torch.nn.DataParallel(model) # 使用默认所有存在的GPU

而假如像上文所述只有0、1、2号显卡空闲,那么可以使用以下代码指定多个GPU:

注意:无论是指定单个GPU还是多个GPU,设定 os 的语句需要放在 import torch 语句之前,否则指定GPU的操作可能无法生效

import os
os.environ["CUDA_VISIBLE_DEVICES"] = ','.join(map(str, [0,1,2])) # 一般在程序开头设置

import torch
model = torch.nn.DataParallel(model) # 等价于os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2'

可以看到两者相比,后者其实就是限定了GPU范围。

或者直接使用更简便的方法:

import torch
torch.nn.DataParallel(model, device_ids=[0, 1, 2]) # 使用0、1、2号GPU

四、补充

为GPU设置随机种子文章来源地址https://www.toymoban.com/news/detail-443530.html

import torch

torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)

到了这里,关于在服务器上指定GPU跑代码的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AutoDL算力平台租用GPU服务器+VSCode远程开发同步代码

    理由: 便宜好用,性价比高 https://www.autodl.com/market/list 按量计费:就可以理解成按小时计费,不管你用没用GPU,只要开机,就按照小时收钱。 按量计费如果关机后,其他人可能会用卡,也就意味着,其他人把这台服务器的卡全占了,你就不能开机了。 按量计费关机之后再开机

    2024年02月01日
    浏览(62)
  • VSCode查看和编辑远程服务器的代码

    在嵌入式开发过程中,由于需要交叉编译,所以很多时候代码都是放在编译服务器上,并给每个项目成员分配一个账号。这时候访问代码,可以通过 Samba 服务器将代码目录挂载到本地,再通过 VSCode 去打开服务器的代码。 但是,这时候我经常碰到通过 VSCode 打开 C 代码时,出

    2024年02月16日
    浏览(41)
  • 如何从Github拿到代码在云服务器跑起来--算力云从零搭建和配置GPU模型环境

    写在前面: 在服务器的Linux系统中复制使用Ctrl+shift+C,粘贴使用Ctrl+shift+V 1.首先拿到一份代码先研究他的readme.md也就是说明文档(至关重要),根据说明文档的详细程度可以间接判断代码能否跑起来,或者代码是否靠谱,不然花很多时间研究才发现代码没有可行性。以下我的代

    2024年04月13日
    浏览(56)
  • Auto DL 平台租服务器(GPU)跑代码(炼丹)使用教程,告别繁琐的SSH,平台自带的Jpyter用网页就能实现

    平台提供的Jupyter 接口可以让用户直接在网页实现对所租服务器的控制。 不用直接操作SSH。 创建实例后,快捷工具直接点Jupyter,这时你就已经在操作你租的服务器了,已经实现和你服务器的连接了。 打开终端那个黑框,你就已经在使用你租的服务器的Linux系统了,就已经可以通

    2024年02月06日
    浏览(53)
  • 一、服务器准备

    本案例使用VMware Workstation Pro虚拟机创建虚拟服务器来搭建Linux服务器集群,所用软件及版本如下: Centos7.7-64bit 第一种方式:通过iso镜像文件来进行安装(不推荐) 第二种方式:直接复制安装好的虚拟机文件(强烈推荐) 在资料里边已经提供了一个安装好的虚拟机node1(注意,

    2024年02月22日
    浏览(37)
  • 服务器GPU性能测试流程

    注意: 1、cuda-sample需要和cuda版本对应,否则会报错 2、只有进行hpcg测试时才需要设置当前环境变量为cuda-10,其它测试时设置cuda-12.0,否则在进行浮点性能测试时会报错 1.环境变量要求cuda11.8 2.cuda-samples-11.8测试包 3.hpcg测试环境 4.intel oneAPI安装 1.显存带宽 2.卡间带宽 3.浮点性

    2024年02月04日
    浏览(54)
  • 深度学习GPU服务器环境配置

    组里面分配了台gpu服务器,让我负责管理,需要先配置一些深度学习环境,记录一下。 一些linux服务器常用命令:https://blog.csdn.net/qq_51570094/article/details/123949910 首先需要了解linux系统信息 通过 cat /proc/version 查看包含gcc的版本信息 通过 hostnamectl 命令查看系统信息,这个命令是

    2024年02月01日
    浏览(57)
  • 本地连接服务器使用GPU训练模型

    直接运行上面的文件,然后输入密码,这密码不是服务器的密码,但是可以直接连接到服务器上面,这个东西是什么?好厉害,居然可以跳过去服务器的账号密码 我本来想忽略一些不需要上传文件,但是无法成功忽略,scp好像不支持 下面这个命令是从服务器上面传输数据到

    2024年02月07日
    浏览(54)
  • 分布式 - 服务器Nginx:一小时入门系列之Nginx环境准备

    1. Nginx 环境准备 虚拟机镜像,基于Centos7,网盘链接: https://pan.baidu.com/s/1NmCR-vdAcZLouRRn9V1yTA 密码: 1b60,虚拟机的用户名/密码:root/123456,使用的环境和应用放置在/home目录下: 目录 简介 说明 AdminLTE-3.2.0 静态web后台管理系统 静态web的配置演示 apps/ruoyi-admin.jar 若依后台管理系统

    2024年02月14日
    浏览(45)
  • 为 Hugging Face 用户带来无服务器 GPU 推理服务

    今天,我们非常兴奋地宣布 部署到 Cloudflare Workers AI 功能正式上线,这是 Hugging Face Hub 平台上的一项新服务,它使得通过 Cloudflare 边缘数据中心部署的先进 GPU、轻松使用开放模型作为无服务器 API 成为可能。 从今天开始,我们将把 Hugging Face 上一些最受欢迎的开放模型整合到

    2024年04月08日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包