神经网络与深度学习第四章前馈神经网络习题解答-Toy模板网

这篇具有很好参考价值的文章主要介绍了神经网络与深度学习第四章前馈神经网络习题解答。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

[习题4-1] 对于一个神经元 $神经网络与深度学习第四章前馈神经网络习题解答,均值算法,算法$ ，并使用梯度下降优化参数时，如果输入恒大于0，其收敛速度会比零均值化的输入更慢。

首先看一下CSDN的解释：

如果输入x恒大于0，使用sigmoid作为激活函数的神经元的输出值将会处于饱和状态，导致其梯度接近于0，这会使得梯度下降算法的收敛速度变慢。而如果输入经过零均值化处理，可以使得输出值的均值为0，避免了sigmoid函数的非0均值问题，从而减少了梯度消失的风险，提高了梯度下降算法的收敛速度。因此，使用零均值化的输入可以加速神经网络的训练过程。

结合图1理解一下：

神经网络与深度学习第四章前馈神经网络习题解答,均值算法,算法

图1

说一下我的理解：

首先，神经元对求导后的结果为，此处作sigmod激活函数，我们知道sigmod的激活函数图如下：

神经网络与深度学习第四章前馈神经网络习题解答,均值算法,算法

可以看出，如果是恒大于0的，其次，若x恒大于0,会导致进入神经元后，经过的输出值接近饱和状态（在0.5-1范围内），而的最大为0.5，说明当x大于0的时候，肯定不是沿着最大的负梯度方向进行下降的，而是以曲折抖动的方式进行下降（结合图1），但是以零均值化的方式，可以最大程度的保证数据沿着最大的负梯度方向进行下降，所以当恒大于0时，收敛速度要慢于零均值化的输入。

再举个形象的例子，比如你要从山顶走到山谷，你直线走下去即为最大负梯度方向，收敛快，但是你要很贪心的曲折的走，虽然在朝着山谷的方向走，但不是最快的方向，你同样可以到达终点，但是你的速度相较于直线走肯定是要慢的，条条大路通罗马，但是不可能全部人都走最快的大路，也有人走蜿蜒曲折的小路。文章来源地址https://www.toymoban.com/news/detail-735031.html

到了这里，关于神经网络与深度学习第四章前馈神经网络习题解答的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！