目标检测常见评价指标
1. 公开数据集
评价标准:pascal voc, coco,目前基本都在使用coco数据集。
2.评价指标
mAP: mean Average Precision, 即所有类别AP的平均值。下面将介绍相关参数含义。
理论知识:
TP(True Positive):与目标框(ground truth) IoU>0.5的检测框数量 (同一个Ground Truth 只计算一次)
FP(False Positive):与目标框 IoU<=0.5的检测框(或者说是除了最终作为输出结果的框,其余所有网络输出的框)
FN(False Negative): 没有被检测到的真实目标框(ground_truth)的数量
Precision(查准率): TP/(TP + FP)即:所有预测正确的框,与所有预测出来的框(网络最终输出的全部预测框)的比例
Recall(召回率/查全率):TP/(TP + FN) 即:所有预测正确的框,与所有真实框(ground truth)的比例
P-R曲线:Precision-Recall 曲线,一般来说Precision和Recall一个变大,另一个就会变小,我们以Recall为横坐标,Precision为纵坐标做图如下:
AP: P,和R单独出现时均不能完整的表征网络的预测效果, 我们希望的是P和R同时为较大的值,也就是希望PR曲线与坐标轴围成的面积更大。由此得到AP的概念,即PR曲线与坐标轴围成的面积.😛
一个类AP计算方法:
-
将一张图片中预测到的框,按照confidence由大到小排序:
-
依次选择前一个,前两个,前三个…(依次减小confidence阈值,没有达到阈值的框认为是没有检测到物体的,当作FN)去计算Precision和Recall。例如我们把confidence限定为
0.89
,通过表格我们可以发现仅有两个框可以认定为TP, 无FP, 一共检测到7个框,所以剩下的五个均为FN。即Precision=2/(2+0)=1.0;Recall=2/(2+5)=0.28 -
画PR曲线,计算曲线下方面积:
计算面积时需要先去掉Recall重复的部分(因为要以Recall为x轴)。得到下一步的表格后,AP也可通过公式计算如下,*(第n项Recall - 第n-1项Recall)从n项起往下的最大Precision(n=1时n-1项Recall取0)
由此得到各类的AP值,取平均即可以得到mAP。
3. COCO评价指标
COCO较为主要的评价指标为第一项,其含义为在IoU=0.5~0.95间隔0.05, 一共10个IoU阈值下各类AP的均值,再求10个mAP的均值。
其他各项评价指标需要根据数据集和实际应用场景判断,用哪个取主要评价模型的好坏。例如当模型主要检测小物体时, A P s a m l l AP^{samll} APsamll就表示针对小面积的目标检测,含义为 a r e a < 3 2 2 area<32^{2} area<322的物体检测结果的mAP.
Average Recall
A R m a x = 10 AR^{max=10} ARmax=10 : 每张图片最多10个预测边界框时,其相应的Recall值。
Across Recall
不同目标尺度AR的值。文章来源:https://www.toymoban.com/news/detail-405690.html
4. 扩展
4.1 在分类任务中recall和precision指标
在分类任务中recall(查全率)表示所有预测正确的正样本占实际正样本的比例。precision(查准率)表示所有预测正确的正样本占所有预测出的正样本的比例。我们以一个二分类的输出pred和target为例:文章来源地址https://www.toymoban.com/news/detail-405690.html
pred = [0, 1, 0, 1, 0]
target = [0, 1, 1, 1, 0]
### metrics
recall = 2 / 3
precision = 2 / 2
到了这里,关于目标检测重要评价指标——mAP的含义及计算的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!