赤池信息量准则（AIC）和贝叶斯信息准则（BIC）-Toy模板网

这篇具有很好参考价值的文章主要介绍了赤池信息量准则（AIC）和贝叶斯信息准则（BIC）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一 AIC

赤池信息量准则（Akaike information criterion，AIC）是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性(Goodness of fit)的一种标准，是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。

在一般的情况下，AIC可以表示为：

AIC=2k−2ln(L)

其中：k是参数的数量，L是似然函数。

假设条件是模型的误差服从独立正态分布。设n为观察数，RSS为残差平方和，那么AIC变为：

AIC=2k+nln(RSS/n)

残差平方和（Residual Sum of Squares，即RSS），又称剩余平方和。统计学上，数据点与它在回归直线上相应位置的差异称为残差，把每个残差平方之后加起来称为残差平方和，它表示随机误差的效应。

BIC越小，模型越好。

贝叶斯信息准则，（Bayesian Information Criterion，BIC）。贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。公式为：

BIC=ln(n)k–2ln(L)

其中，k为模型参数个数，n为样本数量，L为似然函数

ln(n)k惩罚项在维数过大且训练样本数据相对较少的情况下，可以有效避免出现维度灾难现象。

与AIC相似，训练模型时，增加参数数量，也就是增加模型复杂度，会增大似然函数，但是也会导致过拟合现象，针对该问题，AIC和BIC均引入了与模型参数个数相关的惩罚项，BIC的惩罚项比AIC的大，考虑了样本数量，样本数量过多时，可有效防止模型精度过高造成的模型复杂度过高。

赤池信息准则,机器学习,算法,开发语言

最优模型选择准则：AIC和BIC - 知乎 (zhihu.com)

贝叶斯信息准则_哔哩哔哩_bilibili 文章来源地址https://www.toymoban.com/news/detail-798782.html

到了这里，关于赤池信息量准则（AIC）和贝叶斯信息准则（BIC）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！