Resnet结构的有效性解释

这篇具有很好参考价值的文章主要介绍了Resnet结构的有效性解释。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Resnet结构的有效性解释

先看一看Resnet网络的块结构:
Resnet结构的有效性解释,深度学习,人工智能,深度学习,机器学习

根据上图,设有函数
z ( l ) = x ( l − 1 ) + F ( x ) ( l − 1 ) (1) \mathbf{z}^{(l)}=\mathbf{x}^{(l-1)}+\mathcal{F}(\mathbf{x})^{(l-1)}\tag{1} z(l)=x(l1)+F(x)(l1)(1)
考虑由式 ( 1 ) (1) (1)组成的前馈神经网络,假设残差块不使用激活函数,那么整个式子仍然是线性变换,可得:
x ( l ) = z ( l ) (2) \mathbf{x}^{(l)}=\mathbf{z}^{(l)}\tag{2} x(l)=z(l)(2)
考虑任意两个层数 l 2 > l 1 l_2>l_1 l2>l1,联合 ( 1 ) (1) (1)式和 ( 2 ) (2) (2)式,将 x \mathbf{x} x进行递归展开
x ( l 2 ) = x ( l 2 − 1 ) + F ( ( x ( l 2 − 1 ) ) = ( x ( l 2 − 2 ) + F ( ( x ( l 2 − 2 ) ) ) + F ( ( x ( l 2 − 1 ) ) = x l 1 + ∑ l = l 1 l 2 − 1 F ( x ( l ) ) \begin{align*} \mathbf{x}^{(l_2)}&=\mathbf{x}^{(l_2-1)}+\mathcal{F}\left((\mathbf{x}^{(l_2-1)}\right)\\ &=\left(\mathbf{x}^{(l_2-2)}+\mathcal{F}\left((\mathbf{x}^{(l_2-2)}\right)\right)+\mathcal{F}\left((\mathbf{x}^{(l_2-1)}\right)\\ &=\mathbf{x}^{l_1}+\sum_{l=l_1}^{l_2-1}{\mathcal{F}(\mathbf{x}^{(l)})}\tag{3} \end{align*} x(l2)=x(l21)+F((x(l21))=(x(l22)+F((x(l22)))+F((x(l21))=xl1+l=l1l21F(x(l))(3)
根据式 ( 3 ) (3) (3),前向传播时,输入信号可以从任意低层直接传播到高层。这种天然的恒等映射在一定程度上解决了网络退化问题。

利用链式求导法则,网络前向传播的损失 L L L对某低层输出的梯度可以展开为:
∂ L ∂ x ( l 1 ) = ∂ L ∂ x ( l 2 ) ∂ x ( l 2 ) ∂ x ( l 1 ) = ∂ L ∂ x ( l 2 ) ( 1 + ∂ ∂ x ( l 1 ) ∑ l = l 1 l 2 − 1 F ( x ( l ) ) ) = ∂ L ∂ x ( l 2 ) + ∂ L ∂ x ( l 2 ) ∂ ∂ x ( l 1 ) ∑ l = l 1 l 2 − 1 F ( x ( l ) ) \begin{align*} \frac{\partial L}{\partial \mathbf{x}^{(l_1)}}&=\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}\frac{\partial \mathbf{x}^{(l_2)}}{\partial \mathbf{x}^{(l_1)}}\\ &=\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}\left(1+\frac{\partial}{\partial \mathbf{x}^{(l_1)}}\sum_{l=l_1}^{l_2-1}{\mathcal{F}(\mathbf{x}^{(l)})}\right)\\ &=\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}+\frac{\partial L}{\partial \mathbf{x}^{(l_2)}}\frac{\partial}{\partial \mathbf{x}^{(l_1)}}\sum_{l=l_1}^{l_2-1}{\mathcal{F}(\mathbf{x}^{(l)})}\tag{4} \end{align*} x(l1)L=x(l2)Lx(l1)x(l2)=x(l2)L(1+x(l1)l=l1l21F(x(l)))=x(l2)L+x(l2)Lx(l1)l=l1l21F(x(l))(4)

根据式 ( 4 ) (4) (4),损失对某低层输出的梯度,被分解成了两项,第一项表明在反向传播时,信号可以直接传播到低层,从而缓解了梯度消失问题,即使中间层权重矩阵很小,梯度也不容易消失。文章来源地址https://www.toymoban.com/news/detail-803921.html

到了这里,关于Resnet结构的有效性解释的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 认识excel篇3之数据的有效性(数据验证)

      数据有效性不仅能够对单元格的输入数据进行条件限制,还可以在单元格中创建下拉列表菜单方便用户选择输入。如果没有做数据验证,单元格内默认可以输入任意类型的数据。数据验证就是限制单元格输入数据(必须输入符合要求的才能输入)。但是往往都希望有一定

    2024年02月12日
    浏览(38)
  • 网络:如何使用curl命令测试HTTP代理的有效性

    在我们的日常工作中,代理服务器扮演着重要的角色,它帮助我们访问局部网络无法直接访问的资源。然而,代理的设置和验证有时候会比较复杂。幸运的是,作为一名开发者应该熟悉curl,一个强大的工具来测试和验证代理服务器的设置。本文将引导我们如何使用curl命令测

    2024年04月22日
    浏览(42)
  • 论证有效性分析专题[1] – 因果关系的可靠性

    专题[1] – 因果关系的可靠性 一、因果关系的过度简单化 特征:根据一些不够充分的必要因素来解释事件,过分强调某一个或某几个因素对事件的作用。可以联想到“板蓝根”思维。 例如:西方人普遍不接受中医,是因为他们不理解中国的传统文化。 解读:西方人不理解中

    2024年02月08日
    浏览(36)
  • 如何实现 Java SpringBoot 自动验证入参数据的有效性

    Java SpringBoot 通过javax.validation.constraints下的注解,实现入参数据自动验证 如果碰到 @NotEmpty 否则不生效,注意看下 @RequestBody 前面是否加上了 @Valid Validation常用注解汇总 Constraint 详细信息 @Null 被注释的元素必须为 null @NotNull 被注释的元素必须不为 null @NotBlank 被注释的元素不能

    2023年04月13日
    浏览(44)
  • 在阿里云上测试Web应用防火墙的有效性

    在实现公有云服务提供的各种安全服务时,您可能会有这样的疑问:我真的能防范来自外部的安全攻击吗? 在本文中,九河云将使用阿里云 Web 应用防火墙 (WAF) 来验证安全性。WAF可以实时识别和阻止Web攻击和恶意Web请求。我们将对网站服务发起攻击,以测试阿里云 WAF 是否

    2024年02月02日
    浏览(39)
  • EasyExcel+POI制作带有有效性校验及下拉联动的Excel模板

    最近在做一个CRM系统的人员销售目标导入的相关需求,需要将销售人员的目标导入到系统中,就要求在Excel导入模板中 填写销售人员Id 和销售人员姓名。在使用的时候,这是一个易错的点,因为这两个字段交给了使用者去自由填写的话,是很容易填错的。除了文字本身填多填

    2024年02月11日
    浏览(40)
  • 用Adobe Reader PDF阅读器来验证电子签名有效性

    正常情况下,Adobe的阅读器打开PDF会显示“已签名且所有签名都有效”,表明这份PDF是一份没有经过篡改的电子文档,即 该PDF上所添加的 数字证书 是有效的数字证书; 该PDF上所添加的 数字签名 没有经过篡改; 该PDF上的 所有内容 没有经过篡改。 通过Adobe Reader阅读器打开签

    2024年02月07日
    浏览(53)
  • Java 操作 Excel:生成数据、设置单元格样式、设置数据有效性(hutool)

    该篇文章,主要通过 Java 代码对 Excel 文件的常用操作,包括:生成表格、修改单元格样式、设置数据有效性。 该篇文章,在官网文献下增加个人的看法和理解,如文中有出现不符、错误或需要补充的地方,欢迎指正,非常感谢。 该篇文章操作 Excel 使用了 hutool 的工具包以及

    2024年02月04日
    浏览(36)
  • 【蓝图】p40-p43对象引用、变量有效性、实现键盘控制物体自转、简单点名系统

    当在一个节点上需要连的线太多,或者需要连接到另一个图标中时,可以创建一个变量,把引脚传到变量里面,则此变量代替了节点的蓝图 操作方法1:新建一个变量,在变量类型里选择想要代替的蓝图 操作方法2:拉出蓝图引脚,选择提升为变量 注意:操作方法12创建出的变

    2024年02月15日
    浏览(33)
  • 基于美日 627 例患者的临床数据,谷歌证实 AI 辅助肺癌筛查的群体有效性

    2024 年 2 月,国家癌症中心基于肿瘤登记及随访监测最新数据,形成了《2022年中国癌症发病率和死亡率》报告。报告显示,在我国,肺癌仍是恶性肿瘤发病和死亡的首位原因。 尽管医学界对于肺癌的关注度与日俱增,但在肺癌诊疗领域仍存在大量诊断延误、过度治疗等临床难

    2024年04月28日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包