【深度学习Week3】ResNet+ResNeXt-Toy模板网

这篇具有很好参考价值的文章主要介绍了【深度学习Week3】ResNet+ResNeXt。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、ResNet

Ⅰ.视频学习

ResNet在2015年由微软实验室提出，该网络的亮点：

1.超深的网络结构（突破1000层）

简单堆叠卷积层和池化层，会导致梯度消失或梯度爆炸和退化问题；
ResNet使用深度残差学习框架来解决退化问题。

2.提出residual模块

【深度学习Week3】ResNet+ResNeXt,2023新征程,深度学习,人工智能

3.使用Batch Normalization加速训练（丢弃dropout）
【深度学习Week3】ResNet+ResNeXt,2023新征程,深度学习,人工智能

Ⅱ.论文阅读

Deep Residual Learning for Image Recognition，CVPR2016
深度学习论文：Deep Residual Learning for Image Recognition
深度学习经典论文分析（六）

网络不是越深越好,随着网络深度的增加，精度会饱和，然后迅速退化，且这并不是由过拟合引起的。文中通过引入一个深度残差学习框架来解决退化问题。不是让网络直接拟合原先的映射，而是拟合残差映射。实际上，把残差推至0和把此映射逼近另一个非线性层相比要容易的多。

二、ResNeXt

Ⅰ.视频学习

1.更新block
【深度学习Week3】ResNet+ResNeXt,2023新征程,深度学习,人工智能
2.组卷积

Ⅱ.论文阅读

Aggregated Residual Transformations for Deep Neural Networks， CVPR 2017
Aggregated Residual Transformations for Deep Neural Networks（论文翻译）
【论文阅读】Aggregated Residual Transformations for Deep Neural Networks Saining（ResNext）

现代的网络设计中通常会次堆叠类似结构，从而减少网络中超参数的数量，简化网络设计。

Inception使用了split-transform-merge策略，即先将输入分成几部分，然后分别做不同的运算，最后再合并到一起。这样可以在保持模型表达能力的情况下降低运算代价。但是Inception的结构还是过于复杂了。

本文中提出了一个简单的架构，它采用了 VGG/ResNets 的重复层策略，同时以一种简单、可扩展的方式利用了 split-transform-merge 策略。网络中的一个模块执行一组转换，每个转换都在一个低维嵌入上，其输出通过求和聚合现——要聚合的变换都是相同的拓扑结构（例如，图 1（右））。这种设计允许我们在没有专门设计的情况下扩展到任何大量的转换。这种结构可以在保持网络的计算量和参数尺寸的情况下，提高分类精度。