机器学习 day26（多标签分类，Adam算法，卷积层）-Toy模板网

这篇具有很好参考价值的文章主要介绍了机器学习 day26（多标签分类，Adam算法，卷积层）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 多标签分类
机器学习 day26（多标签分类，Adam算法，卷积层）,机器学习,学习

2. 为多标签分类构建神经网络模型
机器学习 day26（多标签分类，Adam算法，卷积层）,机器学习,学习

3. Adam算法
机器学习 day26（多标签分类，Adam算法，卷积层）,机器学习,学习

在梯度下降中，学习率α控制着每一步的大小，如果α太小，可能会导致每一步走的太小，从而使梯度下降执行的太慢；相反，如果α太大，可能会导致每一步走的太大，从而使梯度下降来回振荡。
Adam算法可以自动调整α的大小，来保证可以用最短、最平滑的路径到达成本函数的最小值，通常它比梯度下降算法的速度要更快
adam算法并没有对模型中的所有α都采用同一个值。相反，它使模型中每一个w、b都对应一个α
在w、b参数每次改变都朝着大致相同的方向移动时，adam算法会加大学习率α
在w、b参数每次改变都不断来回振荡时，adam算法会减小学习率α
使用adam算法时，需要在compile()函数中，添加一个参数，指定使用adam优化器
adam优化算法需要设定默认的初始学习率α，在实际实践中，可以多试几个默认α值，看看哪个α的速度最快