前言
对于我们训练处的模型的泛化性能进行评估,不仅需要有效可行的实验估计方法,还需要有衡量模型泛化能力的评价标准,这就是性能度量(performance measure).
性能度量反映了任务需求,在对比不同模型的能力时,使用不同的性能度量往往会导致不同的评判结果;这意味着模型的"好坏"是相对的,什么样的模型是好的?不仅取决于算法和数据,还决定于任务需求.
对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive) 、假正例 (false positive) 、真反倒(true negative)假反例 (false negative) 四种情形,令 TP FP TN FN 分别表示其对应的样例数,则显然 TP+FP+TN+FN=样例总数.分类结果的"混淆淆矩" (co usion matrix)如下 :
混淆矩阵
图 1 混淆矩阵 一 (摘自西瓜书)
TP一一 将正类预测为正类数(预测对了)
FN一一 将正类预测为负类数(预测错了)
FP一一 将负类预测为正类数(预测错了)
TN 一一将负类预测为负类数(预测对了)
图 2 混淆矩阵 二
查准率和查全率
查准率(precision):模型预测的所有目标中,预测正确的比例。查准率有利于突出结果的相关性
查全率(recall) :查全率又称召回率。所有的真实(正)目标中,预测正确的目标比例。
查准率和查全率是一对矛盾的度量.一般来说,查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低.
P–R曲线
以查准率为纵轴、查全率为横轴作图 ,就得到了查准率–查全率曲线,简称 P-R 线,显示该曲线的图称为 “P-R图"
P-R图 (取自西瓜书)
P-R图直观地显示出学习器在样本总体上的查全率、 查准率。每一个模型都有相应的P-R曲线,通过比较不同模型的P-R曲线,来评判模型的优劣,若一个模型A的 P-R 曲线被另一个模型B的曲线完全"包住 则可以说B的性能优于A,但是实际中很少出现这种情况。大部分曲线间都含有交叉。 因此我们需要一个综合的度量"平衡点",它是"查准率= 查全率"时的取值。此时查准率等于查全率,他们的值越高,则模型的效果越好。
为什么PR曲线面积越大模型就会越好呢(排除过拟合的情况)?
我们训练出的模型,在该模型下我们希望我们所想要预测的对象尽可能多的预测出来,而且预测的对的结果,尽可能的都是对的。查准率就是我们预测出来的正样本,有多少实际为正。查全率就是预测为正的样本占真实为正的样本比例。所以PR曲线越凸越好(p:y,r:x),故面积越大。
IOU(交并比)
在目标检测任务中,通常会使用交并比(Intersection of Union,IoU)作为衡量指标,来衡量两个矩形框之间的关系。例如在基于锚框的目标检测算法中,我们知道当锚框中包含物体时,我们需要预测物体类别并微调锚框的坐标,从而获得最终的预测框。此时,判断锚框中是否包含物体就需要用到交并比,当锚框与真实框交并比足够大时,我们就可以认为锚框中包含了该物体;而锚框与真实框交并比很小时,我们就可以认为锚框中不包含该物体。此外,在后面NMS的计算过程中,同样也要使用交并比来判断不同矩形框是否重叠。
摘自百度图库
交并比公式
MAP(Mean Average precision)
即各个类别AP的平均值
AP:P-R曲线下的面积
下图不同交并比下的map曲线,展现了目标检测在VOCO和COCO数据集中的性能
摘自 object detection in 20 years a survey 文章来源:https://www.toymoban.com/news/detail-448962.html
论文地址
object detection in 20 years a survey.文章来源地址https://www.toymoban.com/news/detail-448962.html
到了这里,关于yoloV5(二)目标检测中常见指标的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!