pytorch2 AutoGrad

这篇具有很好参考价值的文章主要介绍了pytorch2 AutoGrad。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

from __future__ import print_function
import torch
x = torch.randn(3,3,requires_grad = True)
print(x.grad_fn)
C:\Users\12035\.conda\envs\yolov8\lib\site-packages\numpy\_distributor_init.py:30: UserWarning: loaded more than 1 DLL from .libs:
C:\Users\12035\.conda\envs\yolov8\lib\site-packages\numpy\.libs\libopenblas64__v0.3.21-gcc_10_3_0.dll
C:\Users\12035\.conda\envs\yolov8\lib\site-packages\numpy\.libs\libopenblas64__v0.3.23-gcc_10_3_0.dll
  warnings.warn("loaded more than 1 DLL from .libs:"


None
from __future__ import print_function
# 计算导数
# 设置requires_grad=True用来追踪其计算历史
x = torch.ones(2, 2, requires_grad=True)
print(x)
print(x.grad_fn)
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
None
y = x**2
print(y)
print(y.grad_fn)
tensor([[1., 1.],
        [1., 1.]], grad_fn=<PowBackward0>)
<PowBackward0 object at 0x0000021CE85562B0>
z = y * y * 3
out = z.mean()
print(z, out)
tensor([[3., 3.],
        [3., 3.]], grad_fn=<MulBackward0>) tensor(3., grad_fn=<MeanBackward0>)
out.backward()
print(x.grad)
tensor([[3., 3.],
        [3., 3.]])

注意:grad在反向传播过程中是累加的(accumulated),这意味着每一次运行反向传播,梯度都会累加之前的梯度,所以一般在反向传播之前需把梯度清零

# 再来反向传播⼀一次,注意grad是累加的
out2 = x.sum()
out2.backward()
print(x.grad)
tensor([[4., 4.],
        [4., 4.]])
# 梯度清零 再求导
out3 = x.sum()
x.grad.data.zero_()
out3.backward()
print(x.grad)
tensor([[1., 1.],
        [1., 1.]])
x = torch.randn(3, requires_grad=True)
print(x)

y = x * 2
i = 0
# norm y每个元素进行平方,然后对它们求和,最后取平方根 ,L2范式
while y.data.norm() < 1000:
    print(y.data.norm())
    y = y * 2
    i = i + 1
print(y)
print(i)
tensor([0.3964, 0.0265, 0.1927], requires_grad=True)
tensor(0.8830)
tensor(1.7661)
tensor(3.5322)
tensor(7.0644)
tensor(14.1288)
tensor(28.2575)
tensor(56.5151)
tensor(113.0301)
tensor(226.0603)
tensor(452.1205)
tensor(904.2410)
tensor([1623.5339,  108.3694,  789.3040], grad_fn=<MulBackward0>)
11
# 也可以通过将代码块包装在 with torch.no_grad(): 中,
#来阻止 autograd 跟踪设置了.requires_grad=True的张量的历史记录。
print(x.requires_grad)
print((x ** 2).requires_grad)

with torch.no_grad():
    print((x ** 2).requires_grad)
True
True
False
#如果我们想要修改 tensor 的数值,但是又不希望被 autograd 记录(即不会影响反向传播), 
#那么我们可以对 tensor.data 进行操作
x = torch.ones(1,requires_grad=True)

print(x.data) # 还是一个tensor
print(x.data.requires_grad) # 但是已经是独立于计算图之外

y = 2 * x
print(y)
x.data *= 100 # 只改变了值,不会记录在计算图,所以不会影响梯度传播
print(x) # 更改data的值也会影响tensor的值 
y.backward()

print(x.grad)
tensor([1.])
False
tensor([2.], grad_fn=<MulBackward0>)
tensor([100.], requires_grad=True)
tensor([2.])

小结

torch.Tensor 是这个包的核心类。如果设置它的属性 .requires_grad 为 True,那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward(),来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。

注意:在 y.backward() 时,如果 y 是标量,则不需要为 backward() 传入任何参数;否则,需要传入一个与 y 同形的Tensor。

requires_grad参数说明:

requires_grad=True时,表示参数需要参与训练,并在训练过程中进行梯度计算
requires_grad=False时,表示参数不需要参与训练,可以将代码块包装在 with torch.no_grad(): 中

autograd 要点:文章来源地址https://www.toymoban.com/news/detail-670206.html

Tensor 和 Function 互相连接生成了一个无环图 (acyclic graph),它编码了完整的计算历史。每个张量都有一个.grad_fn属性,该属性引用了创建 Tensor 自身的Function
张量是用户手动创建的,即这个张量的grad_fn是 None
  • 梯度会进行累加,所以要及时清零 x.grad.data.zero_()
  • 不想进行求导时,with torch.no_grad():

到了这里,关于pytorch2 AutoGrad的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Pytorch Tutorial【Chapter 2. Autograd】

    1. Review Matrix Calculus 1.1 Definition向量对向量求导 ​ Define the derivative of a function mapping f : R n → R m f:mathbb{R}^ntomathbb{R}^m f : R n → R m as the n × m ntimes m n × m matrix of partial derivatives. That is, if x ∈ R n , f ( x ) ∈ R m xinmathbb{R}^n,f(x)inmathbb{R}^m x ∈ R n , f ( x ) ∈ R m , the derivative of f

    2024年02月14日
    浏览(37)
  • 深度解析 PyTorch Autograd:从原理到实践

    本文深入探讨了 PyTorch 中 Autograd 的核心原理和功能。从基本概念、Tensor 与 Autograd 的交互,到计算图的构建和管理,再到反向传播和梯度计算的细节,最后涵盖了 Autograd 的高级特性。 关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理

    2024年02月03日
    浏览(59)
  • 2023最新pytorch2.0 gpu cuda安装教程

    pytorch gpu是必须装的,因为cpu太慢了。 最新的pytorch版本是2.0 下面是安装教程。 首先,登录pytorch.org网站,看你要安装的cuda版本。 目前最新的支持cuda11.8,于是我选择了11.8 然后,登录cuda官网,下载cuda11.8 cuda最新版已经是12.1了。pytorch不支持!!!!!所以,找11.8版下载。

    2024年02月07日
    浏览(58)
  • PyTorch 中autograd.Variable模块的基本操作

    在 PyTorch 中, autograd.Variable 是一个自动求导变量,用于构建计算图并进行梯度自动求导。 Variable 提供了许多基本操作,下面介绍其中的一些常用操作: 创建变量: 访问数据: 注意,PyTorch 1.0 版本后, Variable 被弃用,可以直接使用 Tensor。 反向传播计算梯度: 在创建变量时

    2024年02月11日
    浏览(34)
  • pytorch2.0.1 安装部署(cpu+gpu) linux+windows

    官网打开可能较慢,耐心等待,可以正常打开。 链接:pytorch官网 2023年12月10日更新,演示版本2.1.1 如果中间有任何报错,参考最后一节的处理 1.pytorch是一个和tensorflow类似的框架 如果需要安装tensorflow,可以参考: tensorflow 1,2 cpu+gpu(windows+linux)安装 2.安装anaconda 主要是为

    2024年02月09日
    浏览(47)
  • **PyTorch月学习计划 - 第一周;第6-7天: 自动梯度(Autograd)**

    PyTorch月学习计划 - 第6-7天: 自动梯度(Autograd) 学习目标: 掌握自动微分的基本原理,特别是在深度学习中的应用。 学会如何在PyTorch中使用autograd模块进行自动梯度计算。 学习内容: 自动微分和计算图的概念 自动微分:自动微分是深度学习中用于自动计算导数或梯度的技

    2024年01月21日
    浏览(46)
  • 深度学习 -- pytorch 计算图与动态图机制 autograd与逻辑回归模型

    pytorch中的动态图机制是pytorch这门框架的优势所在,阅读本篇博客可以使我们对动态图机制以及静态图机制有更直观的理解,同时在博客的后半部分有关于逻辑回归的知识点,并且使用pytorch中张量以及张量的自动求导进行构建逻辑回归模型。 计算图是用来描述运算的有向无环

    2024年02月01日
    浏览(46)
  • PyTorch翻译官网教程6-AUTOMATIC DIFFERENTIATION WITH TORCH.AUTOGRAD

    Automatic Differentiation with torch.autograd — PyTorch Tutorials 2.0.1+cu117 documentation 当训练神经网络时,最常用的算法是方向传播算法。在该算法中,根据损失函数与给定参数的梯度来调整模型参数(权重)。 为了计算这些梯度,PyTorch有一个内置的微分引擎,名为torch.autograd。它支持任

    2024年02月16日
    浏览(53)
  • PyTorch 之 简介、相关软件框架、基本使用方法、tensor 的几种形状和 autograd 机制

    本文参加新星计划人工智能(Pytorch)赛道:https://bbs.csdn.net/topics/613989052 PyTorch 是一个基于 Torch 的 Python 开源机器学习库,用于自然语言处理等应用程序。它主要由 Facebook 的人工智能小组开发,不仅能够实现强大的 GPU 加速,同时还支持动态神经网络,这一点是现在很多主流框架

    2024年01月18日
    浏览(54)
  • Ubuntu22.04 LTS + CUDA12.3 + CUDNN8.9.7 + PyTorch2.1.1

    本文记录Ubuntu22.04长期支持版系统下的CUDA驱动和cuDNN神经网络加速库的安装,并安装PyTorch2.1.1来测试是否安装成功。 如果是旧的不支持UEFI启动的主板,请参考本人博客U盘系统盘制作与系统安装(详细图解) 如果是新的支持UEFI启动的主板,请参考本人博客UEFI下Windows10和Ubun

    2024年02月03日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包