【深度学习笔记】Softmax 回归

这篇具有很好参考价值的文章主要介绍了【深度学习笔记】Softmax 回归。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记,视频由网易云课堂与 deeplearning.ai 联合出品,主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习,视频的链接如下:

神经网络和深度学习 - 网易云课堂

也欢迎对神经网络与深度学习感兴趣的网友一起交流 ~

目录

1 Softmax 激活函数

2 Softmax 分类器


1 Softmax 激活函数

        对于分类问题,如果有多个分类结果,那么 Logistic 回归就不再适用了。Softmax 回归(Softmax Regression)是 Logistic 回归的一般形式,可以用于区分多个类别的情形,不只是两个分类。

        假设有一个图片分类问题,你想要区分小猫、小狗、小鸡,不属于这三种图片的则归于其他。

【深度学习笔记】Softmax 回归,【深度学习笔记】,深度学习,笔记,回归

         用 C 表示类别的数量,分类器输出层包含的神经元数量应该等于 C,输出层每个神经元的输出表示该类别的概率值,并且所有输出概率之和应等于 1.

【深度学习笔记】Softmax 回归,【深度学习笔记】,深度学习,笔记,回归

        为了做到这一点,你需要使用 Softmax 激活函数,Softmax 激活函数首先对 z 值进行指数运算,得到非负数,然后作归一化处理。

【深度学习笔记】Softmax 回归,【深度学习笔记】,深度学习,笔记,回归

 文章来源地址https://www.toymoban.com/news/detail-614389.html

        相比其他激活函数,Softmax 激活函数的特殊之处在于,它的输入是一个 Cx1 维的向量,并且它的输出也是一个 Cx1 维的向量。

2 Softmax 分类器

        实际上,Softmax 回归是 Logistic 回归的推广,如果分类结果恰好为 2,那么 Softmax 回归就变回到了 Logistic 回归(由于输出概率之和为 1,所以 Softmax 分类有一个输出节点是冗余的)。

        

【深度学习笔记】Softmax 回归,【深度学习笔记】,深度学习,笔记,回归

 

        Softmax 回归在单个样本上的损失函数定义为

【深度学习笔记】Softmax 回归,【深度学习笔记】,深度学习,笔记,回归

当 yj = 1, j ∈ {0, 1, 2, ... , C-1} 时,其他分量为 0,因此最小化损失函数等价于最大化 log(\hat{y_{j}}),即最大化 \hat{y_{j}},又由于 \hat{y_{j}} 最大值为 1,所以优化算法会尽可能让 \hat{y_{j}} 接近 1,也就是接近 yj .

 

【深度学习笔记】Softmax 回归,【深度学习笔记】,深度学习,笔记,回归

 

Softmax 回归在训练集上的代价函数定义为

【深度学习笔记】Softmax 回归,【深度学习笔记】,深度学习,笔记,回归

 

到了这里,关于【深度学习笔记】Softmax 回归的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 三 动手学深度学习v2 —— Softmax回归+损失函数+图片分类数据集

    softmax回归 损失函数 1. softmax回归 回归vs分类: 回归估计一个连续值 分类预测一个离散类别 从回归到多类分类 回归 单连续数值输出 自然区间R 跟真实值的误差作为损失 分类 通常多个输出 输出i是预测为第i类的置信度 总结: 2. 损失函数 L2 loss 均方损失 l ( y , y ′ ) = 1 2 ( y −

    2024年02月14日
    浏览(39)
  • 【深度学习】基于MindSpore和pytorch的Softmax回归及前馈神经网络

    1 实验内容简介 1.1 实验目的 (1)熟练掌握tensor相关各种操作; (2)掌握广义线性回归模型(logistic模型、sofmax模型)、前馈神经网络模型的原理; (3)熟练掌握基于mindspore和pytorch的广义线性模型与前馈神经网络模型的实现。   1.2 实验内容及要求 请基于mindspore和pytorch平

    2023年04月22日
    浏览(44)
  • (4)深度学习学习笔记-Softmax

    softmax和cross-entorpy 显示图片在pycharm上需要在Animator类中add函数加上花圈的两行。(ctrl+左键对准train_ch3,然后ctrl+f找到animator类) b站 跟李沐学AI 动手学深度学习v2 09

    2024年02月12日
    浏览(43)
  • 头歌-机器学习 第11次实验 softmax回归

    第1关:softmax回归原理 任务描述 本关任务:使用 Python 实现 softmax 函数。 相关知识 为了完成本关任务,你需要掌握:1. softmax 回归原理,2. softmax 函数。 softmax回归原理 与逻辑回归一样, softmax 回归同样是一个分类算法,不过它是一个多分类的算法,我们的数据有多少个特征

    2024年04月11日
    浏览(40)
  • 机器学习|Softmax 回归的数学理解及代码解析

    Softmax 回归是一种常用的多类别分类算法,适用于将输入向量映射到多个类别的概率分布。在本文中,我们将深入探讨 Softmax 回归的数学原理,并提供 Python 示例代码帮助读者更好地理解和实现该算法。 Softmax 函数将输入向量的线性得分转换为每个类别的概率。给定一个输入向

    2024年02月12日
    浏览(32)
  • 2 机器学习知识 Softmax回归 deep learning system

    The hypothesis class: 模型结构 loss fuction 损失函数 An optimization method:在训练集上减小loss的方法 训练数据: x ( i ) ∈ R n , y ( i ) ∈ 1 , . . . , k f o r i = 1 , . . . m x^{(i)}in mathbb{R}^n ,y^{(i)}in {1,...,k} for i=1,...m x ( i ) ∈ R n , y ( i ) ∈ 1 , ... , k f or i = 1 , ... m n 是输入数据的维度,输入的每

    2024年02月05日
    浏览(42)
  • pytorch学习-线性神经网络——softmax回归+损失函数+图片分类数据集

            Softmax回归(Softmax Regression)是一种常见的多分类模型,可以用于将输入变量映射到多个类别的概率分布中。softmax回归是机器学习中非常重要并且经典的模型,虽然叫回归,实际上是一个分类问题         回归是估计一个连续值,分类是预测一个连续的类别  示例

    2024年02月15日
    浏览(49)
  • 机器学习 day24(多类分类模型,Softmax回归算法及其损失函数)

    1. 多类分类 多类分类问题仍然是分类问题,所以预测y的可能结果是少量的,而不是无穷多个,且对于多类分类它>2 如上图:左侧为二分类,右侧为多分类,可以通过决策边界来划分区域 2. Softmax回归算法 对逻辑回归模型,先计算z,再计算g(z)。此时可以将逻辑回归视为计算

    2024年02月13日
    浏览(44)
  • 【AI】《动手学-深度学习-PyTorch版》笔记(八):线性回归

    线性函数如下: y ^ = w 1 x 1 + . . . + w d x d

    2024年02月14日
    浏览(51)
  • 深度学习实验:Softmax实现手写数字识别

    文章相关知识点:​​​​​​​AI遮天传 DL-回归与分类_老师我作业忘带了的博客-CSDN博客   MNIST数据集   MNIST手写数字数据集是机器学习领域中广泛使用的图像分类数据集。它包含60,000个训练样本和10,000个测试样本。这些数字已进行尺寸规格化,并在固定尺寸的图像中居中

    2023年04月08日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包