交叉验证
交叉验证既可以解决数据集的数据量不够大问题,也可以解决参数调优的问题。
主要有三种方式:
- 简单交叉验证(HoldOut检验)、
- k折交叉验证(k-fold交叉验证)、
- 自助法。
本文仅针对k折交叉验证做详细解释。
简单交叉验证
方法:将原始数据集随机划分成训练集和验证集两部分。比如说,将样本按照70%~30%的比例分成两部分,70%的样本用于训练模型;30%的样本用于模型验证。
缺点:
(1)数据都只被所用了一次,没有被充分利用;
(2)在验证集上计算出来的最后的评估指标与原始分组有很大关系。
k折交叉验证
为了解决简单交叉验证的不足,提出k-fold交叉验证。
1、首先,将全部样本划分成k个大小相等的样本子集;
2、依次遍历这k个子集,每次把当前子集作为验证集,其余所有样本作为训练集,进行模型的训练和评估;
3、最后把k次评估指标的平均值作为最终的评估指标。在实际实验中,k通常取10.
举个例子:这里取k=10,如下图所示:
(1)先将原数据集分成10份
(2)每一将其中的一份作为测试集,剩下的9个(k-1)个作为训练集
此时训练集就变成了k * D(D表示每一份中包含的数据样本数)
(3)最后计算k次求得的分类率的平均值,作为该模型或者假设函数的真实分类率
交叉验证的方式,要简单于数学理解,而且具有说服性。需要谨记一点,当样本总数过大,若使用 留一法时间开销极大。文章来源:https://www.toymoban.com/news/detail-758585.html
具体API和参数介绍参考原文:
参考文章: https://blog.csdn.net/weixin_42211626/article/details/100064842文章来源地址https://www.toymoban.com/news/detail-758585.html
到了这里,关于交叉验证以及scikit-learn实现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!