机器学习 day24（多类分类模型，Softmax回归算法及其损失函数）-Toy模板网

这篇具有很好参考价值的文章主要介绍了机器学习 day24（多类分类模型，Softmax回归算法及其损失函数）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 多类分类
机器学习 day24（多类分类模型，Softmax回归算法及其损失函数）,机器学习,学习

2. Softmax回归算法
机器学习 day24（多类分类模型，Softmax回归算法及其损失函数）,机器学习,学习

对逻辑回归模型，先计算z，再计算g(z)。此时可以将逻辑回归视为计算两个数字，a₁是当给定x时，预测y取1的概率；a₂则是当给定x时，预测y取0的概率。因为逻辑回归只有两个结果（0、1），所以a₁ + a₂必须为1
推广到softmax回归模型，w和b为y取每种结果时的模型参数，先计算z。若此时y有四个结果（1、2、3、4），则可以用softmax回归公式得出a₁、a₂、a₃、a₄，分别为当给定输入特征x，预测y取1、2、3、4的概率，因为该softmax回归模型只有四个结果（1、2、3、4），所以a₁ + a₂ + a₃ + a₄必须为1
对于一般情况下的softmax回归模型，先计算z，若此时y有N个结果，则可以用softmax回归公式得出当预测y取j时的概率aj，因为softmax回归模型共有N个结果，所以a₁ + a₂ +… + an必须为1。
若N取2，则softmax回归模型的计算结果与逻辑回归模型的计算结果相同。因此softmax回归模型是逻辑回归模型的推广

3. Softmax回归算法的损失函数
机器学习 day24（多类分类模型，Softmax回归算法及其损失函数）,机器学习,学习文章来源地址https://www.toymoban.com/news/detail-541118.html

对于逻辑回归模型，我们可以用a₂来表示1-a₁。cost function是定义在整个训练集上的，loss function是定义在单个样本上的，且cost function是所有样本的loss function的平均值
对于softmax回归模型，在每个训练实例中，y每次只有一个结果，所以每次只能取一个值。但可以用上图的公式来计算对于每个y的损失函数的值
由于0＜aj＜1，所以softmax的损失函数的取值范围为(0，+∞)，且当aj越接近1，损失函数的值就越接近0

到了这里，关于机器学习 day24（多类分类模型，Softmax回归算法及其损失函数）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！