计算训练参数量
print('number of model params', sum(p.numel() for p in model.parameters() if p.requires_grad))
sum(p.numel() for p in model.parameters() if p.requires_grad )
可以用来计算参与训练的参数量
model.parameters()
返回模型中所有参数的迭代器。
if p.requires_grad: 这部分使用了一个条件判断,仅考虑那些 requires_grad 属性为 True 的参数。requires_grad
是 PyTorch 中的一个属性,用于指示是否要在参数上计算梯度。
p.numel(): 对于每个满足条件的参数,p.numel() 返回该参数的元素数量,即参数的总数量。numel()
是 PyTorch 张量对象的方法,用于返回张量中元素的总数。文章来源:https://www.toymoban.com/news/detail-759514.html
最后,sum(…) 对所有参数的元素数量求和,得到的结果就是模型中所有可学习参数的总数量。文章来源地址https://www.toymoban.com/news/detail-759514.html
到了这里,关于深度学习代码片段收集的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!