umich cv-3-2

这篇具有很好参考价值的文章主要介绍了umich cv-3-2。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

UMICH CV Neural Network

既然谈到神经网络,我们肯定要讨论在神经网络中是如何进行梯度的计算以及参数的优化的
传统的方法就是我们手动计算梯度,但是随着神经网络层数的增加,这种方法显然过于复杂
因此我们引入了计算图的概念,从一个简单的例子出发:
umich cv-3-2
我们可以把一个(x+y)z的计算式拆分成上图所示,向前传播就是计算出我们的输出结果,一步步
而反向传播是为了计算梯度,比如说我们想要f对x,y,z的偏导
求f对y的偏导 我们可以根据链式法则来计算:
umich cv-3-2
用专业的语言,我们要求下游梯度,现在我们在当前一个节点,可以很容易求出当前梯度,上游再将之前计算出的上游梯度传递给我们,我们就可以计算出下游梯度:
umich cv-3-2

举一个更复杂的例子:
umich cv-3-2
这里我们可以把中间sigmoid函数这一部分合并成为一个节点,直接用上游梯度,乘以计算得到的当前梯度,简化计算图的计算过程

计算图本身有些节点也存在着规律:
umich cv-3-2
+节点,它们的下游节点梯度于上游节点梯度相等
*节点,它们下游节点梯度等于上游节点梯度乘以另一个下游节点的值
复制节点,下游节点梯度等于上游节点梯度之和
max节点,下游较大节点梯度于上游相等,较小节点为0

涉及到实际应用时,我们可以选择直接一步步实现前向传播钰反向:
umich cv-3-2
也可以写成模块化的形式:
umich cv-3-2

上面讨论的都是针对一个数的梯度计算过程,我们还需要把它推广到矩阵与向量,首先需要一点矩阵/向量之间的微分知识:
umich cv-3-2

向量反向传播:
umich cv-3-2
umich cv-3-2
只有对角线上元素有关系,所以除了对角线其它元素均为0,在对角线上的元素,由于是max函数,所以大于0的和对y求导的值相等,小于0的值为0
注意到这个矩阵绝大多数的数均为0,所以我们在具体实现的时候不要直接用矩阵来进行乘法,可以直接应用我们的推理结果:
umich cv-3-2

矩阵反向传播:
umich cv-3-2
显然当地矩阵非常大,我们不可能直接去用矩阵来进行乘法运算:
umich cv-3-2
umich cv-3-2
umich cv-3-2
我们根据定义去求dy/dx1,1,可以发现最终数值等于w矩阵的第一行,最终结果可以换成下图所示形式
umich cv-3-2
我们也可以通过矩阵的形状去记忆,最终结果是一个ND的矩阵,所以要乘以一个MD的矩阵,就是W的转置

在作业中我们要实现两层神经网络的前向传播与反向传播,前向传播比较简单直接计算即可,反向传播分为两步
score = W2h1+b2
根据softmax损失函数的定义梯度,我们可以计算出dL/dscore,再根据之前推导,dL/dw2 = dL/dscore * dscore/dw2 = h1.t() * dL/dscore
dL/dh1 = dL/dscore * w2.t()
dL/db2 = dL/dscore,偏置项这里的梯度计算就是累和,注意维度一致
同样h1 = W1
x+b1 也可以这样计算

反向传播也可以计算高阶导数,只需要把低阶导数作为计算图的一部分,然后反向传播即可
umich cv-3-2文章来源地址https://www.toymoban.com/news/detail-711521.html

到了这里,关于umich cv-3-2的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • umich cv-6-2 注意力机制

    这节课中介绍了循环神经网络的第二部分,主要引入了注意力机制,介绍了注意力机制的应用以及如何理解,在此基础上建立了注意力层以及transformer架构 注意力机制 注意力机制 应用与理解 注意力层 transformer 上次我们没有提到sequence to sequence的RNN结构: 以文字翻译应用为例

    2024年02月07日
    浏览(32)
  • umich cv-4-2 经典卷积网络架构

    这节课中主要讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络经典结构 AlexNet VGG GoogleNet Residual Network 在2012年的时候,Alexnet神经网络提出,这时网络的架构比如说各个层之间要如何排列组合,使用多少卷积层池化层,每个层又如何设置超参数其实没有

    2024年02月08日
    浏览(39)
  • umich cv-5-2 神经网络训练2

    这节课中介绍了训练神经网络的第二部分,包括学习率曲线,超参数优化,模型集成,迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 在训练神经网络时,一个常见的思路就是刚开始迭代的时候学习率较大,然后随着迭代次数的增加,学习率逐渐下降,下

    2024年02月08日
    浏览(35)
  • umich cv-5-1 神经网络训练1

    这节课中介绍了训练神经网络的第一部分,包括激活函数的选择,权重初始化,数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 这部分主要讨论我们之前提到的几种激活函数的利弊: 首先我们看sigmoid函数,这种激活函数有着激活函数

    2024年02月08日
    浏览(48)
  • umich cv-6-1 循环神经网络基本知识

    这节课中介绍了循环神经网络的第一部分,主要介绍了循环神经网络的基本概念,vanilla循环网络架构,RNN的一些应用,vanilla架构的问题,更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM 在之前的讨论中,我们往往以图

    2024年02月08日
    浏览(44)
  • umich cv-4-1 卷积网络基本组成部分介绍

    这节课中介绍了卷积网络的基本组成部分(全连接层,激活函数,卷积层,池化层,标准化等),下节课讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络组成部分 前言 卷积层 池化层 normalization 在之前提到的全连接神经网络中,我们直接把一个比如说

    2024年02月08日
    浏览(44)
  • Simple Neural Network

    B 站白板推导系列二十三(没有任何数学推导,能够看得很舒服) 李沐-动手学深度学习 相信能看到神经网络的朋友对于机器学习的基础算法已经了解了个大概了,如果你没有听说过感知机算法,那么你可以将它简单理解为你很熟悉的一个算法的弱化版:支持向量机。 感知机

    2024年04月28日
    浏览(32)
  • LSTM Siamese neural network

    本文中的代码在Github仓库或Gitee仓库中可找到。 Hi, 你好。我是茶桁。 大家是否还记得,在「核心基础」课程中,我们讲过CNN以及LSTM。 卷积神经网络(CNN)已经在计算机视觉处理中得到广泛应用,不过,2017年开创性的Transformer神经网络的开创性使其称为一种可行的替代方案,

    2024年02月03日
    浏览(43)
  • neural network basics2-1

    key words:simple neuron ; multilayer;feedforward;non-linear; (artificial)neural network inspired by the biological neural networls in brains 生物细胞处理信息后,从轴突中输出若干个信号 受神经网络和生物神经元的启发,设计出由计算机能够计算的人工神经元:接受n个数作为输入,然后产生一个数的

    2024年01月20日
    浏览(36)
  • RNN:Recurrent Neural Network(上)

    目录 1  为什么提出 RNN 1.1  什么是 Slot Filling 1.2  为什么 FFN 做不好 Slot Filling 1.3  为什么 RNN 能做好 Slot Filling 2  RNN 的整体结构 3  更高级的 RNN 结构 3.1  Deep RNN 3.2  Elman Network Jordan Network 3.3  Bidirectional RNN 原视频: 李宏毅 2020:Recurrent Neural Network (Part I) 李宏毅老师用了一个

    2024年01月19日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包