机器学习系列(二)——评价指标Precision和Recall

这篇具有很好参考价值的文章主要介绍了机器学习系列(二)——评价指标Precision和Recall。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Precision 和 Recall 是常考的知识点,就其区别做一个详细总结

1. Precision 

中文翻译 “精确率”,“查准率”。 “查准率”这个名字更能反应其特性,就是该指标关注准确性。 

计算公式如下:

precision指标,人工智能

这里TP,FP的概念来自统计学中的混淆矩阵,TP指 “预测为正(Positive), 预测正确(True)” (可以这里记忆:第一位表示该预测是否正确,第二位表示该预测结果为正还是负)    , 于是,我们可以这样理解 Precision :  所有预测为正例的案例中,预测准确的比例        

Precision适用什么样的场景呢?

适用于 需要尽可能地把所需的类别检测准确,而不在乎这些类别是否都被检测出来 , 宁可放过一些坏人,也不冤枉一个好人(识别坏人(正例)的准确性很高,但不一定能识别所有坏人)   

具体来说,银行人脸识别系统,B来识别,系统能预测为B即可,至于A C来识别是否真的预测为A C不重要.

2.Recall 

中文翻译 “查全率” “召回率”,等价于 “灵敏度(Sensitivity)” , “真正率(TPR)” (真正率就是ROC曲线的纵轴,我们总是期望一个学习器的TPR越高越好,理想情况就是1) 

计算公式如下 :


precision指标,人工智能 

Recall的解释是:所有预测准确的案例中,正例所占的比例      

适用的场景是:要尽可能地把所需的类别检测出来,而不在乎结果是否准确  , 也就是 宁可错杀一千,也不放过一个  

具体来说,地震预测,我们希望把所有的地震都预测到,可以牺牲 Precision(存在误报) 

总结一下查全率和查准率的区别:

(1). Recall 和 Precision是相互矛盾的。如果想要更高的recall,那么就要让模型的预测能覆盖到更多的样本,但是这样模型就更有可能犯错,也就是说precision会比较低。如果模型很保守,只能检测出它很确定的样本,那么其precision会很高,但是recall会相对低。

(2). Recall(TPR)的分母是样本中正类的个数,因此样本一旦确定,其分母即为定值,也就是说recall的变化随分子增加而单调递增;precision的分母是样本中预测为正类的个数,其会随着分类阈值的变化而变化,因此Precision的变化受TP和FP的综合影响,不单调,变化情况不可预测。

3. 一些相关参数 

真阳性率 TPR (见上文),假阳性率(FPR), FPR 公式为 :

FPR= FP / (FP + TN)   

FPR的意义:所有实际为负的例子中,预测错误的比例。 FPR = 1 - Specificity (特异性)  

假阴性率:FNR = 1 - Sensitivity  (灵敏度,Recall, TPR)

在现实中,人们往往对查全率和查准率都有要求,但是会根据应用场景偏向某一边. 此时需要用到PR曲线。 

PR曲线应用场景:需要根据需求找到对应的precision和recall值。如果偏向precison,那就是在保证recall的情况下提升precision;如果偏向recall,那就是在保证precision的情况下提升recall文章来源地址https://www.toymoban.com/news/detail-602082.html

到了这里,关于机器学习系列(二)——评价指标Precision和Recall的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分类问题的评价指标(Precision、Recall、Accuracy、F1-Score、Micro-F1、Macro-F1)以及混淆矩阵、ROC曲线

    真阳性:预测为正,实际为正。把正样本 成功 预测为正。  TP ——True Positive 假阳性:预测为正,实际为负。把负样本 错误 预测为正。  FP ——False Positive  ——误报 真阴性:预测为负、实际为负。把负样本 成功 预测为负。  TN ——True Negative 假阴性:预测与负、实际

    2024年01月19日
    浏览(44)
  • 机器学习模型优劣评价指标:混淆矩阵,P-R曲线与平均精确度(附代码实现)

    文章参考:Mean Average Precision (mAP) Explained | Paperspace Blog 目录 一. Confusion Metrics混淆矩阵 二. Precision-Recall Curve, Average precision P-R曲线,平均精确度 三. 举例与代码实现 (1)从预测分数到类别标签(From Prediction Score to Class Label) (2)精确度-召回度曲线(Precision-Recall Curve) (3)平均

    2024年02月05日
    浏览(41)
  • YOLO等目标检测模型的非极大值抑制NMS和评价指标(Acc, Precision, Recall, AP, mAP, RoI)、YOLOv5中mAP@0.5与mAP@0.5:0.95的含义

    YOLOv5正负样本定义 yolov5输出有3个预测分支,每个分支的每个网格有3个anchor与之对应。 没有采用IOU最大的匹配方法,而是通过计算该bounding-box和当前层的anchor的宽高比,如果最大比例大于4(设定阈值),则比例过大,则说明匹配度不高,将该bbox过滤,在当前层认为是背景

    2024年02月03日
    浏览(48)
  • 人工智能技术基础系列之:机器学习基础

    作者:禅与计算机程序设计艺术 在互联网的飞速发展和计算机的高计算性能的驱动下,人工智能迎来了新的时代。机器学习作为人工智能领域的一个重要分支,是实现这一目标的一种方法。本文将从机器学习的基本概念出发,介绍机器学习的一些基本术语、概率论基础、算法

    2024年02月07日
    浏览(56)
  • 深度学习1:通过模型评价指标优化训练

    在深度学习和机器学习领域,模型评价指标用于衡量训练得到的模型在处理数据时的性能和效果。常见的模型评价指标包括: 准确率(Accuracy): 准确率是最直观和常用的评价指标之一,表示分类正确的样本数占总样本数的比例。然而,在不平衡数据集中,准确率可能会产生

    2024年02月12日
    浏览(47)
  • 架构师必知必会系列:人工智能与机器学习架构

    作者:禅与计算机程序设计艺术 机器学习(ML)是一个正在蓬勃发展的新领域,它可以用来解决复杂的问题、提升产品的性能、改善用户体验等方面的应用场景。随着机器学习技术的不断进步,越来越多的公司和个人将人工智能(AI)技术纳入到自己的产品或服务中,实现更加智

    2024年02月08日
    浏览(46)
  • 基于sklearn计算precision、recall等分类指标

    在前面的文章中,我们已经介绍了分类指标Precision,Recall,F1-Score的定义和计算公式:详解分类指标Precision,Recall,F1-Score 我们可以知道, 精度(precision)、查全率(recall)、F1的计算,是针对于二分类器来定义的。他们的计算,只与y_true和y_pred有关,要求y_true和y_pred中只含有0和

    2024年02月16日
    浏览(39)
  • 2023年B题人工智能对大学生学习影响的评价

    B题(问卷题,主要是评价算法,难度系数比较小,但是要注意前面的一些选项只是受访者的标签,后面的才是影响指标,对于这种问卷指标的量化,按照选项的好到坏给4、3、2、1分值就好,对于多选题,就把选项作为指标并用01表示,推荐编程能力不足的小组选择,基本算法

    2024年02月06日
    浏览(57)
  • 【2023B题】人工智能对大学生学习影响的评价(思路、代码)

    目录 💥1 概述 📚2 Matlab代码实现 🎉3 参考文献 🌈4 运行结果 人工智能简称AI,最初由麦卡锡、明斯基等科学家于1956年在美国达特茅斯学院开会研讨时提出。 2016年,人工智能AlphaGo 4:1战胜韩国围棋高手李世石,期后波士顿动力公司的人形机器人Atlas也展示了高超的感知和控

    2024年02月06日
    浏览(51)
  • 详解分类指标Precision,Recall,F1-Score

    在使用机器学习算法的过程中,我们需要对建立的模型进行评估来辨别模型的优劣,下文中主要介绍常见的几种评估指标。以下指标都是对分类问题的评估指标。 在二分类任务中,假设只有正类(1)和负类(0)两个类别,True(1)和False(0)分别表示预测结果对或错;Posi

    2024年02月16日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包