模型评估方法(AUC等)

这篇具有很好参考价值的文章主要介绍了模型评估方法(AUC等)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 混合矩阵介绍

预测1

预测0

实际1

TP

FN

实际0

FP

TN

  • TP (True Positive):实际为正,预测为正。
  • FP(False Positive):实际为负,预测为正。
  • TN (True Negative):实际为负,预测为负。
  • FN (False Negative):实际为正,预测为负。

2. 模型评估方法

2.1 准确度

模型评估方法(AUC等)

        Accurray使用范围广,计算容易,但容易造假,即很容易训练一个准确较高的但用处不大的模型。如正样本90,负样本10个,直接把样本全部判正,则准确度90%,实际是没有意义的。

2.2. F1-score

  • 精准率precision = TP / (TP + FP),即被分类器判正的数据中正样本占比,对象是模型判定结果。用于判断是否有误判。
  • 召回率recall = TP / (TP + FN),即正样本数据中被模型判正的占比,对象是所有正样本数据。用于判断是否有漏判。

模型评估方法(AUC等)

        F1-score计算的是precision和recall的调和平均数,综合考量了模型查全率和查准率的计算结果,结果更偏向于较小的那个。

2.3 ROC & AUC

定义两个概念:伪阳率FPR和真阳率TPR

  • 伪阳率FPR = FP / (FP + TN)
  • 真阳率TPR = TP / (TP + FN)

        ROC(Receiver Operating Characteristic)曲线,即在二维平面画的曲线-ROC curve,横坐标为FPR(false positive ratio),纵坐标为TPR。针对一个分类器,取不同的阈值,可以得到多组(FPR,TPR),即可绘制ROC曲线。由橙色曲线可知,曲线越靠近左上角,说明分类器效果越好;如果在对角线附近,则说明分类器接近随机猜测。

模型评估方法(AUC等)

    AUC(Area under ROC curve)是ROC曲线的数值化表示,即曲线下的面积大小,通常取值范围为[0.5, 1](如果在对角线下侧,则反向分析),值越大则表明分类器效果越好。

  • AUC = 1,是完美分类器,分类器不管选择哪个阈值均能完美分类。
  • 0.5 < AUC < 1,优于随机猜测,分类器合理设置阈值,具有预测价值。
  • AUC = 0.5,随机猜测,分类没有预测价值。
  • AUC < 0.5,比随机猜测还差;但反预测而行,效果优于随机猜测。

  建议值:AUC取值>0.7模型才有意义。

2.4 KS曲线

        KS曲线即为KS值分布曲线,一般使用曲线最大值作为模型的评估结果,值越大,模型越具有区分能力。

  1. <= 20,模型无区分能力
  2. > 20 & <= 40, 模型具有一定的预测能力。
  3. > 40 & <= 60, 模型预测能力较为突出。
  4. > 60 & <= 75,模型预测能力非常突出。
  5. > 75 模型预测能力难以置信,需要评估验证。

模型评估方法(AUC等)

         KS和AUC区别,两者都是通过TPR和FPR计算,KS取的是TPR与FPR差值的最大值,对于分类器能够找到一个合理的阈值;而AUC没有指定如何划分使模型效果最好,只是评估了模型的整体训练效果。

2.5 均方根误差(RMSE)/标准误差

        在介绍RMSE前先介绍一下均方误差(MSE),它是通过模型预测值和实际值之间的距离的平方来衡量模型的效果,预测值和实际值越接近则模型效果越好。计算公式如下:

模型评估方法(AUC等)

        其中, N是训练集的个数,为每个训练集的真实输出,为模型对每个训练数据的预测结果。

        而均方根误差也即标准差,是均方误差的算术平方根。引入标准差的目的是解决均方误差的结果和实际数据的量纲不同问题,则RMSE的公式如下:

模型评估方法(AUC等)

 文章来源地址https://www.toymoban.com/news/detail-459236.html

到了这里,关于模型评估方法(AUC等)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包