pytorch——损失函数之nn.L1Loss()和nn.SmoothL1Loss()-Toy模板网

这篇具有很好参考价值的文章主要介绍了pytorch——损失函数之nn.L1Loss()和nn.SmoothL1Loss()。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

今天讨论下：对称损失函数：symmetric regression function such as L1 or L2 norm，注意说说L1

【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解

1. L1 Loss（Mean Absolute Error，MAE）

1.1 数学定义

平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向，范围为 0~∞。
pytorch——损失函数之nn.L1Loss()和nn.SmoothL1Loss()
上图为平均绝对误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。

主要问题：
导数为常数，在 Loss 函数最小值处容易震荡，导致难以收敛到最优值。

1.2 、使用场景与问题

https://atcold.github.io/pytorch-Deep-Learning/en/week11/11-1/

Use Case: L1 loss is more robust against outliers and noise compared to L2 loss. In L2, the errors of those outlier/noisy points are squared, so the cost function gets very sensitive to outliers.

Problem: The L1 loss is not differentiable at the bottom (0). We need to be careful when handling its gradients (namely Softshrink). This motivates the following SmoothL1Loss.

1.3 、如何使用

L1范数损失 L1Loss，计算 output 和 target 之差的绝对值。

torch.nn.L1Loss(reduction='mean')

参数：

    reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。

2. L2 Loss（Mean Squared Error，MSE）

均方误差（MSE）是最常用的回归损失函数，它是目标变量和预测值的差值平方和。查看这篇文章pytorch——损失函数之nn.MSELoss,（Mean Squared Error，MSE）均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。

3. Smooth L1 Loss

从损失函数对 x 的导数可知，L1 损失函数对 x 的导数为常数，在训练后期，x 很小时，如果学习率不变，损失函数会在最优值附近波动，很难收敛到最高的精度。L2 损失对 x 的导数在 x 值很大时，其导数也非常大，在训练初期不稳定。Smooth L1 Loss 结合了 L1 和 L2 的优点：早期使用 L1，梯度稳定，快速收敛，后期使用 L2，逐渐收敛到最优解。

函数的临界点：absolute element-wise error falls below 1。
This function uses L2 loss if the absolute element-wise error falls below 1 and L1 loss otherwise.

pytorch——损失函数之nn.L1Loss()和nn.SmoothL1Loss()

Smooth L1 Loss 结合了 L1 和 L2 的优点：早期使用 L1，梯度稳定，快速收敛，后期使用 L2，逐渐收敛到最优解。

3.2 使用场景与问题

This is advertised by Ross Girshick (Fast R-CNN). The Smooth L1 Loss is also known as the Huber Loss or the Elastic Network when used as an objective function,.

Use Case: It is less sensitive to outliers than the MSELoss and is smooth at the bottom. This function is often used in computer vision for protecting against outliers.

Problem: This function has a scale (0.50.5 in the function above).文章来源地址https://www.toymoban.com/news/detail-442479.html

到了这里，关于pytorch——损失函数之nn.L1Loss()和nn.SmoothL1Loss()的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！