在进行预测或分类对比实验时，通常需要比较两个或两个以上的模型性能，因此，下面将介绍两个常用的多模型性能对比评价方法，一种是交叉验证t检验，该方法主要用于同一个数据集上两个模型的性能比较，另一种是Friedman检验与Nemenyi后续检验，这一方法主要用于同一组数据集上两个以上模型的性能比较。
1、交叉验证t检验
之前介绍过k折交叉验证方法，该方法将同一个数据集随机平均分成k份，然后让每一份依次作为测试数据集，余下数据作为训练数据集，使模型在训练数据集上训练后在测试数据集上进行测试以获得该模型在每份数据集上的误差，最后将误差值进行平均即为模型在此数据集上的最终误差值。而交叉验证t检验则是专门针对两个不同的模型在同一个数据集上进行k折交叉验证后的性能比较方法。
假设对于两个不同的模型A与模型B，在同一个数据集上进行k折交叉验证后得到的每份数据集上的误差分别如下：
文章来源：https://www.toymoban.com/news/detail-463740.html
则需要将这两个模型在k份测试数据集上的误差进行一对一的比较，而当这两个模型的性能相同时，则这两个模型在同一份测试数据集上误差应该相同，即：
文章来源地址https://www.toymoban.com/news/detail-463740.html
到了这里，关于机器学习基础知识之多模型性能对比评价方法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
