分类目录：《深入理解深度学习》总目录
在某些情况下，为了正确定义机器学习问题，正则化是必要的。机器学习中许多线性模型，包括线性回归和PCA，都依赖于对矩阵 X T X X^TX XTX求逆。只要 X T X X^TX XTX是奇异的，这些方法就会失效。当数据生成分布在一些方向上确实没有差异时，或因为例子较少（即相对输入特征的维数来说）而在一些方向上没有观察到方差时，这个矩阵就是奇异的。在这种情况下，正则化的许多形式对应求逆 X T X + α I X^TX+\alpha I XTX+αI。这个正则化矩阵可以保证是可逆的。
相关矩阵可逆时，这些线性问题有闭式解。没有闭式解的问题也可能是欠定的。一个例子是应用于线性可分问题的逻辑回归。如果权重向量 w w w能够实现完美分类，那么 2 w 2w 2w也会以更高似然实现完美分类。类似随机梯度下降的迭代优化算法将持续增加 w w w的大小，理论上永远不会停止。在实践中，数值实现的梯度下降最终会达到导致数值溢出的超大权重，此时的行为将取决于程序员如何处理这些不是真正数字的值。
大多数形式的正则化能够保证应用于欠定问题的迭代方法收敛。例如，当似然的斜率等于权重衰减的系数时，权重衰减将阻止梯度下降继续增加权重的大小。使用正则化解决欠定问题的想法不局限于机器学习。同样的想法在几个基本线性代数问题中也非常有用。
正如我们在《机器学习中的数学——Moore-Penrose伪逆》看到的，我们可以使用Moore-Penrose求解欠定线性方程。回想
X
X
X伪逆
X
+
X^+
X+的一个定义：
X
+
=
lim
α
↘
0
(
X
T
X
+
α
I
)
−
1
X
T
X^+=\lim_{\alpha\searrow0}(X^TX+\alpha I)^{-1}X^T
X+=α↘0lim(XTX+αI)−1XT
现在我们可以将《机器学习中的数学——Moore-Penrose伪逆》看作进行具有权重衰减的线性回归。具体来说，当正则化系数趋向 0 0 0时，式 X + = lim α ↘ 0 ( X T X + α I ) − 1 X T X^+=\lim_{\alpha\searrow0}(X^TX+\alpha I)^{-1}X^T X+=limα↘0(XTX+αI)−1XT是式 ( X T X + α I ) − 1 X T y (X^TX+\alpha I)^{-1}X^Ty (XTX+αI)−1XTy的极限。因此，我们可以将伪逆解释为使用正则化来稳定欠定问题。文章来源：https://www.toymoban.com/news/detail-525653.html
参考文献：
[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015
[2] Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola. Dive Into Deep Learning[J]. arXiv preprint arXiv:2106.11342, 2021.文章来源地址https://www.toymoban.com/news/detail-525653.html
到了这里，关于深入理解深度学习——正则化（Regularization）：正则化和欠约束问题的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
