nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法-Toy模板网

这篇具有很好参考价值的文章主要介绍了nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

weight参数

nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法,pytorch,pytorch,深度学习,人工智能
上式是nn.BCEWithLogitsLoss损失函数的计算公式，其中w_n对应weight参数。
如果我们在做多分类任务，有些类比较重要，有些类不太重要，想要模型更加关注重要的类别，那么只需将比较重要的类所对应的w权重设置大一点，不太重要的类所对应的w权重设置小一点。
下面是一个代码演示：

	import torch
    import torch.nn as nn

    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    a = torch.tensor([[1.0, 2.0],[1.0,2.0]])
    m = nn.Sigmoid()
    b = torch.Tensor([[0, 1],[0,1]])
    loss_function = nn.BCEWithLogitsLoss()
    loss_function1 = nn.BCEWithLogitsLoss(weight=torch.tensor([0, 1.0]))
    loss_function2 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 0]))
    loss_function3 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 1.0]))
    loss_function4 = nn.BCEWithLogitsLoss(weight=torch.tensor([1.0, 2.0]))
    loss = loss_function(a, b)
    loss1 = loss_function1(a, b)
    loss2 = loss_function2(a, b)
    loss3 = loss_function3(a, b)
    loss4 = loss_function4(a, b)
    print(loss, loss1, loss2, loss3, loss4)

运行结果：
nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法,pytorch,pytorch,深度学习,人工智能
其中[1.0, 2.0]经过sigmoid层之后的值是[0.7311,0.8808]
对于loss的计算过程如下所示：

pos_weight参数

nn.BCEWithLogitsLoss中weight参数和pos_weight参数的作用及用法,pytorch,pytorch,深度学习,人工智能
其中pos_weight对应上式公式中的p_c,这个参数是为了调节正负样本不均衡问题的，如果正负样本比是10：1，那么我们可以将p_c设置为1/10来平衡正负样本。文章来源地址https://www.toymoban.com/news/detail-817993.html