聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()-Toy模板网

这篇具有很好参考价值的文章主要介绍了聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. nn.CrossEntropyLoss()

2. 多分类中 nn.CrossEntropyLoss() 的应用

3. 分割中 nn.CrossEntropyLoss() 的应用

3.1 测试文件

3.2 输出可视化

3.3 softmax

3.4 log

3.5 CrossEntropyLoss

1. nn.CrossEntropyLoss()

分类中，经常用 nn.CrossEntropyLoss() 交叉熵损失函数

y 为真实值、 y(hat) 为预测值

聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()

这种采用了 one-hot 编码的形式，多分类中，只有一个label为1

softmax 可以将数据以概率的形式输出，所以输出是在 0-1 之间，那么log 就会是负数，因此交叉熵损失函数前面有个负号。

这也是为什么多分类需要输出经过softmax

nn.CrossEntropyLoss() 已经将 softmax 封装在里面了

2. 多分类中 nn.CrossEntropyLoss() 的应用

测试需要的文件

聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()

demo 如下，reshape为(1,-1) 是假设batch为1的情况

分类label的 one-hot 编码需要是float类型，因为分类的label需要进行计算

1.0 * ln predict

聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()

损失结果为：

聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()

接下来验证 nn.CrossEntropyLoss() 交叉熵损失函数

聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()

结果是一样的

3. 分割中 nn.CrossEntropyLoss() 的应用

一般来说，图像分割的网络输出是4维度的，对应的label 是3维的

predict ： 1，2，2，2

label ： 1，2，2

假设：预测结果是两个channel 的图像

假如第一个channel 的左上角经过softmax 后概率是0.2

假如第二个channel 的左上角经过softmax 后概率是0.8

假设第一个channel 是背景（0）的类别，第二个channel是前景（1）的类别，因此需要保证两个预测概率的和为1。

然后取最大的概率为第二个channel的0.8

所以认为这个2*2图像的左上角为前景像素点（1）的概率大