对于nn.Parameter()
是pytorch中定义可学习参数
的一种方法,因为我们在搭建网络时,网络中会存在一些矩阵,这些矩阵内部的参数是可学习的,也就是可梯度求导的。
对于一些常用的网络层,例如nn.Conv2d()卷积层
、nn.LInear()线性层
、nn.LSTM()循环网络层
等,这些网络层在pytorch中的nn模块中已经定义好,所以我们搭建模型时可以直接使用,但是有些自定义网络在pytorch中是没有实现的,我们就需要自定义可学习参数,那就用到了nn.Parameter()这个函数。
该函数会为我们创建一个矩阵,该矩阵是默认可梯度求导
的,之后我们就可以利用这个矩阵进行计算,该函数需要传入的参数是一个tensor,一般我们会传入一个初始化好的tensor。
下面我们将使用一个简单的线性层作为实例,来理解如何使用nn.Parameter()。
一、nn.Linear()定义参数
在类中我们定义了一个线性层,输入维度是10,输出维度是3,对于nn.Linear()层内部已经封装好了nn.Parameter(),所以不需要我们自定义,直接使用即可。
class Net1(nn.Module):
def __init__(self):
super().__init__()
self.linear = nn.Linear(10, 3)
def forward(self, x):
return F.sigmoid(self.linear(x))
二、nn.Parameter()定义参数
对于一个线性层,我们会需要两个矩阵,分别是权重W和偏置b,所以我们要用nn.Parameter()定义两个可学习参数,然后传入对应维度的tensor作为参数,之后就可以在forward中定义计算过程。文章来源:https://www.toymoban.com/news/detail-537686.html
class Net2(nn.Module):
def __init__(self):
super().__init__()
self.W = nn.Parameter(torch.randn(10, 3))
self.b = nn.Parameter(torch.randn(3))
def forward(self, x):
return F.sigmoid(self.W @ x + self.b)
三、查看可学习参数
利用下面代码就可以看定义好的模型中的参数文章来源地址https://www.toymoban.com/news/detail-537686.html
model1 = Net1()
model2 = Net2()
for name, parameters in model1.named_parameters():
print(name, ':', parameters.size())
for name, parameters in model2.named_parameters():
print(name, ':', parameters.size())
linear.weight : torch.Size([3, 10])
linear.bias : torch.Size([3])
W : torch.Size([10, 3])
b : torch.Size([3])
到了这里,关于pytorch中nn.Parameter()使用方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!