pytorch：.detach()、.detach_()的作用和区别-Toy模板网

这篇具有很好参考价值的文章主要介绍了pytorch：.detach()、.detach_()的作用和区别。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

pytorch的两个函数：.detach()、.detach_()的作用和区别

当我们在训练神经网络的时候可能希望保持一部分的网络参数不变，只对其中一部分参数进行调整；或者只训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播

一、torch.detach()

返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置，不同之处只是requires_grad为false，得到的这个tensor永远不需要计算其梯度，不具有grad。

使用detach返回的tensor和原始的tensor共同一个内存，即一个修改另一个也会跟着改变。

import torch

a = torch.tensor([1., 2., 3.], requires_grad=True)
print(a.grad)

out = a.sigmoid()

out.sum().backward()
print(a.grad)

"""
None
tensor([0.1966, 0.1050, 0.0452])
"""

1.1、当使用detach()分离tensor但是没有更改这个tensor时，并不会影响backward()

import torch

a = torch.tensor([1., 2., 3.], requires_grad=True)
print(a.grad)

out = a.sigmoid()
print(out)

# 添加detach()，c的requires_grad为False
c = out.detach()
print(c)

# 这个时候没有对c进行更改，所以并不会影响backward()
out.sum().backward()
print(a.grad)

c、out之间的区别是c是没有梯度的，out是有梯度的

1.2、当使用detach()分离tensor，然后这个分离出来的tensor去求导数，会影响backward()，会出现错误

import torch

a = torch.tensor([1., 2., 3.], requires_grad=True)
print(a.grad)

out = a.sigmoid()
print(out)

# 添加detach()，c的requires_grad为False
c = out.detach()
print(c)

# 使用新生成的Variable进行反向传播
c.sum().backward()
print(a.grad)

"""
None
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
"""

1.3、当使用detach()分离tensor并且更改这个tensor时，即使再对原来的out求导数，会影响backward()，会出现错误

如果此时对c进行了更改，这个更改会被autograd追踪，在对out.sum()进行backward()时也会报错，因为此时的值进行backward()得到的梯度是错误的

import torch

a = torch.tensor([1., 2., 3.], requires_grad=True)
print(a.grad)

out = a.sigmoid()
print(out)

# 添加detach()，c的requires_grad为False
c = out.detach()
print(c)

# 使用inplace函数对其进行修改
c.zero_()
print(c)
print(out)

# 这个时候没有对c进行更改，所以并不会影响backward()
out.sum().backward()
print(a.grad)

"""
None
tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward>)
tensor([0.7311, 0.8808, 0.9526])
tensor([0., 0., 0.])
tensor([0., 0., 0.], grad_fn=<SigmoidBackward>)
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
"""

二、tensor.detach_()

import torch

a = torch.tensor([1., 2., 3.], requires_grad=True)

b = a + 2
print(b)

c = b * b * 3
print(c)

out = c.mean()
print(out)

out.backward()
print(a.grad)

"""
tensor([3., 4., 5.], grad_fn=<AddBackward0>)
tensor([27., 48., 75.], grad_fn=<MulBackward0>)
tensor(50., grad_fn=<MeanBackward0>)
tensor([ 6.,  8., 10.])
"""

import torch

a = torch.tensor([1., 2., 3.], requires_grad=True)

b = a + 2
print(b)

b=b.detach_()
print(b)

c = b * b * 3
print(c)

out = c.mean()
print(out)

out.backward()
print(c.grad)

"""
tensor([3., 4., 5.], grad_fn=<AddBackward0>)
tensor([3., 4., 5.])
tensor([27., 48., 75.])
tensor(50.)
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
"""

torch.detach_()将一个tensor从创建它的图中分离，并把它设置成叶子tensor

其实就相当于变量之间的关系本来是x -> m -> y，这里的叶子tensor是x，但是这时候对m进行了m.detach_()操作，其实就是进行了两个操作：

将m的grad_fn的值设置为None，这样m就不会再与前一个节点x观点，这里的关系就会变成x, m -> y，此时的m就变成了叶子结点
然后会将m的requires_grad设置为False，这样对y进行backward()时就不会求m的梯度

总结：其实detach()和detach_()很像，两个的区别就是detach_()是对本身的更改，detach()则是生成了一个新的tensor

比如x -> m -> y中如果对m进行detach()，后面如果反悔想还是对原来的计算图进行操作还是可以的

但是如果是进行了detach_()，那么原来的计算图也发生了变化，就不能反悔了

补充：requires_grad、grad_fn、grad的含义和作用

requires_grad：如果需要为张量计算梯度，则为True，否则为False。我们使用pytorch创建tensor时，可以指定requires_grad为True（默认为False）

grad_fn：grad_fn用来记录变量是怎么来的，方便计算梯度

grad：当执行完backward()之后，通过x.grad查看x的梯度

创建一个tensor并设置requires_grad=True，requires_grad=True说明该变量需要计算梯度

import torch

x = torch.ones(2, 2, requires_grad=True)

print(x)
print(x.grad_fn)

"""
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
None
"""

y = x + 2
print(y)
print(y.grad_fn)

"""
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
<AddBackward0 object at 0x00000143B2129700>
"""

由于x是直接创建的，所以它没有grad_fn，而y是通过一个加法操作创建的，所以y有grad_fn

像x这种直接创建的称为叶子节点，叶子节点对应的grad_fn是None

z = y * y * 3
out = z.mean()
print(out)

"""
tensor(27., grad_fn=<MeanBackward0>)
"""

out.backward()
print(x.grad)

"""
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])
"""