积跬步至千里 || PyTorch 中的“with torch no

这篇具有很好参考价值的文章主要介绍了积跬步至千里 || PyTorch 中的“with torch no_grad” 语句。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

PyTorch 中的“with torch no_grad” 语句

“with ”torch.no_grad()的使用就像一个循环，其中循环内的每个张量都将requires_grad设置为False。这意味着当前与当前计算图相连的任何具有梯度的张量现在都与当前图分离。我们不再能够计算关于这个张量的梯度。

张量从当前图中分离，直到它在循环内。一旦它离开循环，如果张量是用梯度定义的，它就会再次附加到当前图。

让我们举几个例子来更好地理解它是如何工作的。

示例 1

在这个例子中，我们用requires_grad = true创建了一个张量 x 。接下来，我们定义这个张量 x 的函数 y 并将该函数放入 with循环中。现在 x 在循环内，所以它的requires_grad被设置为False。torch.no_grad()

在循环中，无法计算 y 相对于 x 的梯度。所以，y.requires_grad返回False。

# import torch library
import torch

# define a torch tensor
x = torch.tensor(2., requires_grad = True)
print("x:", x)

# define a function y
with torch.no_grad():
   y = x ** 2
print("y:", y)

# check gradient for Y
print("y.requires_grad:", y.requires_grad)

x: tensor(2., requires_grad=True)
y: tensor(4.)
y.requires_grad: False

示例 2

在这个例子中，我们在循环之外定义了函数z。所以，z.requires_grad返回True。

# import torch library
import torch

# define three tensors
x = torch.tensor(2., requires_grad = False)
w = torch.tensor(3., requires_grad = True)
b = torch.tensor(1., requires_grad = True)

print("x:", x)
print("w:", w)
print("b:", b)

# define a function y
y = w * x + b
print("y:", y)

# define a function z
with torch.no_grad():
   z = w * x + b

print("z:", z)

# check if requires grad is true or not
print("y.requires_grad:", y.requires_grad)
print("z.requires_grad:", z.requires_grad)

x: tensor(2.)
w: tensor(3., requires_grad=True)
b: tensor(1., requires_grad=True)
y: tensor(7., grad_fn=)
z: tensor(7.)
y.requires_grad: True
z.requires_grad: False文章来源地址https://www.toymoban.com/news/detail-506214.html

到了这里，关于积跬步至千里 || PyTorch 中的“with torch no_grad” 语句的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！