正则项只在训练时使用，他们在更新权重时让模型复杂度降低一点点，
dropout正则项方法之一，深度学习崛起前，最早提出的算法。
动机：一个好的模型，需要对你的输入数据鲁棒，无论加入多少噪音都有稳定的输出
使用有噪音的数据等价于一个正则，这个是随机噪音
丢弃法：在层之间增加噪音，相当于正则
通常适用：隐藏全连接层的输出上，丢弃是在训练过程中，推理过程中不丢弃
方法：随机选择一部分参数丢弃置为0 ，其余参数同比例增大，均值不变
实际应用场景：一个更深，更复杂的模型，使用dropout往往效果更好。
例如，模型a是一层128个参数的感知机，模型b有两层感知机，每层128个参数，dropout为0.5，实际效果往往模型2更好。
总结：
丢弃法(dropout)是通过将输出项随机置为0来控制模型复杂度
常用于多层感知机的隐藏层输出上
丢弃概率是控制模型复杂度的超参数
问题：
1.丢弃法的丢弃依据是什么？不合理的丢弃对输出结果影响很大么？
dropout可以看做一个正则项，所谓不合理的丢弃就是超参数丢弃概率没设置好，设置低了，可能过拟合，设高了，可能欠拟合，这个可以调。文章来源：https://www.toymoban.com/news/detail-689508.html
丢弃概率常用值：0.5,0.1,0.9文章来源地址https://www.toymoban.com/news/detail-689508.html
到了这里，关于13 Dropout（丢弃法）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
