机器学习-方差和偏差理论
关于机器学习方差和偏差的内容其实很重要,这个方差和偏差可以帮助我们去分析,模型的泛化能力和过拟合的程度。
下面我们先给存储方差和偏差的公式:
注意,下式当中,
f
(
x
;
D
)
表示在数据集
D
上训练出的模型,
f
−
(
x
)
表示无穷多个不同数据集训练出的加权平均模型,
y
表示假设中的最优模型。
f(x;D)表示在数据集D上训练出的模型,f^{-}(x)表示无穷多个不同数据集训练出的加权平均模型,y表示假设中的最优模型。
f(x;D)表示在数据集D上训练出的模型,f−(x)表示无穷多个不同数据集训练出的加权平均模型,y表示假设中的最优模型。
注:下面说的不同数据集,实质上是同源的,也就是本质上来源于一个性质的数据源。
其实我们从上式可以看出,方差就是不同数据集训练出的模型内方差。
偏差就是不同数据集训练出的模型,在对其计算平均模型,平均模型与最优模型的平方差就是偏差。
如果你有着很多的机器学习实战,或许,你可以推导出,泛化能力、过拟合程度和方差与偏差的联系。
下面博主就总结一下,泛化能力、过拟合程度和方差与偏差的联系:
(1)很显然,方差越大,说明在不同数据集上的参数差异大,即模型差异大,也就是模型对于数据集过于敏感,也就是过拟合的可能性越大,所以,方差越大模型越可能过拟合。
(2)那么偏差呢?偏差越大说明模型和最优模型的结果差异越大,也就是模型效果不好,即泛化能力越差。
所以理想状态下,我们希望,方差和偏差都比较小,这是最好的。文章来源:https://www.toymoban.com/news/detail-529348.html
对于方差和偏差的实验应该也是挺有趣的,但是时间有限,博主就不做了,不过我知道怎么做这个实验,感兴趣的同学可以咨询我啊。文章来源地址https://www.toymoban.com/news/detail-529348.html
到了这里,关于机器学习-方差和偏差理论的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!