Pytorch 多GPU训练

这篇具有很好参考价值的文章主要介绍了Pytorch 多GPU训练。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Pytorch 多GPU训练



1 导入库

import torch#深度学习的pytoch平台
import torch.nn as nn
from torch.autograd import Variable
from torch.utils.data import DataLoader
from torch.utils.data import TensorDataset

 


2 指定GPU

2.1 单GPU声明

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

2.2 多GPU声明

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5' #指定GPU编号
device = torch.device("cuda") #创建GPU对象

 

3 数据放到GPU

x_train = Variable(train,requires_grad=True).to(device=device,dtype=torch.float32) #把训练变量放到GPU

 


4 把模型网络放到GPU 【重要】

net = DNN(layers)
net = nn.DataParallel(net)
net.to(device=device)

重要:nn.DataParallel

net = nn.DataParallel(net)
net.to(device=device)

  1. 使用 nn.DataParallel 打包模型
  2. 然后用 nn.DataParallel 的 model.to(device) 把模型传送到多块GPU中进行运算

torch.nn.DataParallel(DP)

DataParallel(DP)中的参数:

  • module即表示你定义的模型
  • device_ids表示你训练时用到的gpu device
  • output_device这个参数表示输出结果的device,默认就是在第一块卡上,因此第一块卡的显存会占用的比其他卡要更多一些。

当调用nn.DataParallel的时候,input数据是并行的,但是output loss却不是这样的,每次都会在output_device上相加计算
===> 这就造成了第一块GPU的负载远远大于剩余其他的显卡。

DP的优势是实现简单,不涉及多进程,核心在于使用nn.DataParallel将模型wrap一下,代码其他地方不需要做任何更改。

例子:
torch.device指定gpu,pytorch,深度学习,python,人工智能,计算机视觉


 

5 其他:多GPU并行

加个判断:文章来源地址https://www.toymoban.com/news/detail-596253.html

 if torch.cuda.device_count() > 1:
        model = torch.nn.DataParallel(model)
model = Model(input_size, output_size)  # 实例化模型对象
if torch.cuda.device_count() > 1:  # 检查电脑是否有多块GPU
    print(f"Let's use {torch.cuda.device_count()} GPUs!")
    model = nn.DataParallel(model)  # 将模型对象转变为多GPU并行运算的模型

model.to(device)  # 把并行的模型移动到GPU上

到了这里,关于Pytorch 多GPU训练的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Pytorch调用GPU训练两种方法

    我们可以通过对网络模型,数据,损失函数这三种变量调用 .cuda() 来在GPU上进行训练。 指定 训练的设备 使用 GPU 训练 查看GPU使用情况    

    2024年02月17日
    浏览(42)
  • Pytorch实现多GPU并行训练(DDP)

    Pytorch实现并行训练通常有两个接口: DP(DataParallel) 和 DDP(DistributedDataParallel) 。目前 DP(DataParallel) 已经被Pytorch官方deprecate掉了,原因有二:1, DP(DataParallel) 只支持单机多卡,无法支持多机多卡;2, DP(DataParallel) 即便在单机多卡模式下效率也不及 DDP(Distributed

    2024年02月11日
    浏览(90)
  • pytorch如何查看tensor和model在哪个GPU上以及指定GPU设备

    1. 查看tensor所在的设备: 2. 查看model所在的设备 3. Pytorch中将模型和张量加载到GPU的常用方法有两种。 方式1: 方式2: 4. 指定GPU代码 参考链接:PyTorch 中 选择指定的 GPU 注意需要将指定GPU代码放在程序段最开始的部位,如下图所示: 5.查看gpu个数

    2024年02月13日
    浏览(44)
  • 在GPU上运行pytorch程序(指定单/多显卡)

    1. 使用CUDA_VISIBLE_DEVICES 2. 使用cuda()和torch.cuda.set_device() 3. 使用device 4. 使用torch.nn.DataParallel torch.cuda常用指令 https://blog.csdn.net/qq_43307074/article/details/127628498?spm=1001.2014.3001.5501 方法1和方法2可以同时使用,比如在运行代码时使用: 而在代码内部又指定: 那么model会在GPU3上运行。

    2024年01月21日
    浏览(37)
  • PyTorch多GPU训练模型——使用单GPU或CPU进行推理的方法

    PyTorch提供了非常便捷的多GPU网络训练方法: DataParallel 和 DistributedDataParallel 。在涉及到一些复杂模型时,基本都是采用多个GPU并行训练并保存模型。但在推理阶段往往只采用单个GPU或者CPU运行。这时怎么将多GPU环境下保存的模型权重加载到单GPU/CPU运行环境下的模型上成了一

    2024年02月09日
    浏览(50)
  • 【深度学习】多卡训练__单机多GPU方法详解(torch.nn.DataParallel、torch.distributed)

    多GPU训练能够加快模型的训练速度,而且在单卡上不能训练的模型可以使用多个小卡达到训练的目的。 多GPU训练可以分为单机多卡和多机多卡这两种,后面一种也就是分布式训练——训练方式比较麻烦,而且要关注的性能问题也有很多,据网上的资料有人建议能单机训练最好

    2024年02月02日
    浏览(36)
  • 【深入了解PyTorch】PyTorch分布式训练:多GPU、数据并行与模型并行

    在深度学习领域,模型的复杂性和数据集的巨大规模使得训练过程变得极具挑战性。为了加速训练过程,利用多个GPU进行并行计算是一种常见的方法。PyTorch作为一种流行的深度学习框架,提供了强大的分布式训练工具,使得多GPU、数据并行和模型并行等技术变得更加容易实现

    2024年02月12日
    浏览(42)
  • 【安装GPU版本pytorch,torch.cuda.is_available()仍然返回False问题】

    @TOC 检查cuda是否安装,CUDA环境变量是否正确设置,比如linux需要设置在PATH,window下环境变量编辑看看,是否有CUDA 首先查看你环境里的pytorch是否是cuda版本,我这里是conda安装的,使用conda list查看是这样: 圈出来的torch带cuda,那安装的肯定时cuda版本,但是torch.cuda.is_available

    2024年02月10日
    浏览(47)
  • PyTorch 中的多 GPU 训练和梯度累积作为替代方案

    动动发财的小手,点个赞吧! 在 本文 [1] 中,我们将首先了解数据并行(DP)和分布式数据并行(DDP)算法之间的差异,然后我们将解释什么是梯度累积(GA),最后展示 DDP 和 GA 在 PyTorch 中的实现方式以及它们如何导致相同的结果。 训练深度神经网络 (DNN) 时,一个重要的超

    2024年02月14日
    浏览(38)
  • 解决PyTorch无法调用GPU,torch.cuda.is_available()显示False的问题

    在Aliyun ECS上部署Demucs项目时,发现torch始终无法调用GPU。 python -c \\\"import torch;print(torch.cuda.is_available())\\\" 一直显示是False。 需要修改Demucs项目默认的 environment-cuda.yml ,覆盖指定这几个参数 完整文件如下: 如果之前已经用默认的yml文件创建了环境,需先把原来的环境删掉。修改

    2024年02月04日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包