pytorch中使用nn.CrossEntropyLoss()创建出来的交叉熵损失函数计算损失默认是求平均值的，即多个样本输入后获取的是一个均值标量，而不是样本大小的向量。
net = nn.Linear(4, 2)
loss = nn.CrossEntropyLoss()
X = torch.rand(10, 4)
y = torch.ones(10, dtype=torch.long)
y_hat = net(X)
l = loss(y_hat, y)
print(l)
打印的结果：tensor(0.7075, grad_fn=<NllLossBackward0>)
以上是对10个样本做的均值的标量
net = nn.Linear(4, 2)
loss = nn.CrossEntropyLoss(reduction='none')
X = torch.rand(10, 4)
y = torch.ones(10, dtype=torch.long)
y_hat = net(X)
l = loss(y_hat, y)
print(l)在构造CrossEntropyLoss时候加入 reduction='none'，就把默认求平均取消掉了
打印结果：
tensor([0.6459, 0.7372, 0.6373, 0.6843, 0.6251, 0.6555, 0.5510, 0.7016, 0.6975,
0.6849], grad_fn=<NllLossBackward0>)
以上是10个样本各自的loss值
上图是pytorch的CrossEntropyLoss的构造方法，默认是 reduction='mean'
此外，使用反向传播计算梯度也会发生变化，loss值调用backward()要求loss值是一个tensor标量，如果是reduction='none'，loss值得到的是tensor向量，会报错。 loss值需要求和或者求平均得到标量再进行backward()的计算
l = loss(y_hat, y)
l.sum().backward()至于为什么求和或者求平均都可以，首先要看下更新梯度的计算公式
文章来源：https://www.toymoban.com/news/detail-628108.html
求和学习率就调整的大一点，求均值的话学习率就可以小一点，总之就是除以样本数这个操作可以放到调整学习率中文章来源地址https://www.toymoban.com/news/detail-628108.html
到了这里，关于pytorch的CrossEntropyLoss交叉熵损失函数默认reduction是平均值的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
