目标检测评价指标Precision、Recall、mAP
目标检测评价指标Precision、Recall、mAP
参考：
Object-Detection-Metrics
A Survey on Performance Metrics for Object-Detection Algorithms
1.重要定义
1.1.交并比(IOU)
Intersection Over Union (IOU)交并比用来衡量两个框的重合率，其计算公式如下：
I
O
U
=
area
(
B
p
∩
B
g
t
)
area
(
B
p
∪
B
g
t
)
\mathrm{IOU}=\frac{\operatorname{area}\left(B_{p} \cap B_{g t}\right)}{\operatorname{area}\left(B_{p} \cup B_{g t}\right)}
IOU=area(Bp∪Bgt)area(Bp∩Bgt)
其中
B
p
B_{p}
Bp为模型预测的框，
B
g
t
B_{g t}
Bgt为ground truth。直观点：
实验评估过程中会设置一项IOU阀值，用来评判
B
p
B_{p}
Bp为正样本或负样本，例如设置IOU阀值为0.5，代表：
- IOU ≥ 0.5 ：
B
p
B_{p}
Bp为正样本；
- IOU < 0.5 ：
B
p
B_{p}
Bp为负样本。
阀值经常被设为50%, 75%或95%。
1.2.TP , FP , FN
- True Positive (TP) : 一次正确的检测，即
B
p
B_{p}
Bp与
B
g
t
B_{g t}
Bgt的IOU ≥ threshold（初始设定的IOU阀值）；
- False Positive (FP) ：一次错误的检测，代表模型预测的
B
p
B_{p}
Bp与真值
B
g
t
B_{g t}
Bgt的IOU < threshold；
- False Negative (FN) : 代表真值
B
g
t
B_{g t}
Bgt没有被检测出来，即模型预测的所有
B
p
B_{p}
Bp里没有与该
B
g
t
B_{g t}
Bgt重合的；
1.3.Precision（准确率），Recall（召回率）
- Precision（准确率）：指模型在一张图片上预测的所有框中，为正确检测的比率，表达式
Precision
=
T
P
T
P
+
F
P
=
T
P
all detections
\text { Precision }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}=\frac{\mathrm{TP}}{\text { all detections }}
Precision =TP+FPTP= all detections TP
- Recall（召回率）：指所有ground truth中被正确匹配到的比率
Recall
=
T
P
T
P
+
F
N
=
T
P
all ground truths
\text { Recall }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{\mathrm{TP}}{\text { all ground truths }}
Recall =TP+FNTP= all ground truths TP
2.Average Precision（AP）
AP 是0到1之间的所有Recall对应的Precision的平均值。从Precision和Recall的公式可以看出，随着模型在图片上预测的框（all detections）越多，而TP会有上限，所以对应的Precision会变小；当all detections越多，就代表有越多的ground truth可能会被正确匹配，即TP会有少量增加，此时Recall会变大。反过来也一样，所以我们需要检测器保持随着Recall增加（越来越多的ground truth被正确匹配），Precision也保持较高准确率。
Average Precision (AP)用来计算Precision x Recall曲线的面积，如下图所示，方式是插值法。
以上参考文章中有举例，这里进行分析：
这里共有7幅图像，其中绿色边界框表示15个ground truth，红色边界框表示24个pre-box。每一个预测的框pre-box都包含一个置信度。接下来的表格展示了每一个pre-box和对应置信度，需注意：
- 只要一个pre-box与某个ground truth的IOU大于设定阈值，则标记为TP，否则为FP。
- 在一些图片上，一个ground truth与不止一个pre-box有重合，则与其IOU最大的pre-box为TP，其余为FP。
因为Precision和Recall都是靠FP，TP来计算的，所以Precision x Recall 曲线也是通过计算累积的 TP 或 FP 检测的准确率召回率值绘制的。首先，我们需要根据检测的可信度来排序，然后计算每个累积检测的Precision和Recall，如下表所示：
其中Acc TP是累计出现了几个TP。根据当前的Acc TP和Acc FP计算当前的Precision和Recall。画出来折线图：
上文提到用插值法计算AP，这里有两种插值方法：
2.1 11点插值
计算公式：
A
P
=
1
11
∑
r
∈
{
0
,
0.1
,
…
,
1
}
ρ
interp
(
r
)
\mathrm{AP}=\frac{1}{11} \sum_{r \in\{0,0.1, \ldots, 1\}} \rho_{\operatorname{interp}(r)}
AP=111r∈{0,0.1,…,1}∑ρinterp(r)
其中
ρ
interp
=
max
r
ˉ
:
r
~
≥
r
ρ
(
r
~
)
\rho_{\text {interp }}=\max _{\bar{r}: \tilde{r} \geq r} \rho(\tilde{r})
ρinterp =rˉ:r~≥rmaxρ(r~)
该公式的含义是在11个level的recall下，即
r
∈
{
0
,
0.1
,
…
,
1
}
r \in\{0,0.1, \ldots,1\}
r∈{0,0.1,…,1}下，进行插值。例如：
- 当
r
=
0
r=0
r=0时，
ρ
interp
=
max
r
ˉ
:
r
~
≥
0
ρ
(
r
~
)
\rho_{\text {interp }}=\max _{\bar{r}: \tilde{r} \geq 0} \rho(\tilde{r})
ρinterp =maxrˉ:r~≥0ρ(r~)，而在所有
r
~
≥
0
\tilde{r} \geq 0
r~≥0的点中，能令
ρ
(
r
~
)
\rho(\tilde{r})
ρ(r~)最大的
r
~
\tilde{r}
r~为其等于0.0666时，此时Precision=1。
- 当
r
=
0.1
r=0.1
r=0.1时，
ρ
interp
=
max
r
ˉ
:
r
~
≥
0.1
ρ
(
r
~
)
\rho_{\text {interp }}=\max _{\bar{r}: \tilde{r} \geq 0.1} \rho(\tilde{r})
ρinterp =maxrˉ:r~≥0.1ρ(r~)，在所有
r
~
≥
0.1
\tilde{r} \geq 0.1
r~≥0.1的点中，能令
ρ
(
r
~
)
\rho(\tilde{r})
ρ(r~)最大的
r
~
\tilde{r}
r~为其等于0.1333时，此时Precision=0.6666。
- 以此类推，没有
r
>
=
0.5
r>=0.5
r>=0.5的情况，所以之后为0，得到下式：
A
P
=
1
11
∑
r
∈
{
0
,
0.1
,
…
,
1
}
ρ
interp
(
r
)
A
P
=
1
11
(
1
+
0.6666
+
0.4285
+
0.4285
+
0.4285
+
0
+
0
+
0
+
0
+
0
+
0
)
A
P
=
26.84
%
\begin{array}{l} A P=\frac{1}{11} \sum_{r \in\{0,0.1, \ldots, 1\}} \rho_{\text {interp }(r)} \\ A P=\frac{1}{11}(1+0.6666+0.4285+0.4285+0.4285+0+0+0+0+0+0) \\ A P=26.84 \% \end{array}
AP=111∑r∈{0,0.1,…,1}ρinterp (r)AP=111(1+0.6666+0.4285+0.4285+0.4285+0+0+0+0+0+0)AP=26.84%
2.1 全点插值
这个看图很好理解，即计算面积：
计算公式：
A
P
=
A
1
+
A
2
+
A
3
+
A
4
A
1
=
(
0.0666
−
0
)
×
1
=
0.0666
A
2
=
(
0.1333
−
0.0666
)
×
0.6666
=
0.04446222
A
3
=
(
0.4
−
0.1333
)
×
0.4285
=
0.11428095
A
4
=
(
0.4666
−
0.4
)
×
0.3043
=
0.02026638
A
P
=
0.0666
+
0.04446222
+
0.11428095
+
0.02026638
A
P
=
0.24560955
A
P
=
24.56
%
\begin{array}{l} A P=A _1+A _2+A _3+A _4\\ A _1=(0.0666-0) \times 1=\mathbf{0 . 0 6 6 6} \\ A_ 2=(0.1333-0.0666) \times 0.6666=\mathbf{0 . 0 4 4 4 6 2 2 2} \\ A _3=(0.4-0.1333) \times 0.4285=\mathbf{0 . 1 1 4 2 8 0 9 5} \\ A _4=(0.4666-0.4) \times 0.3043=\mathbf{0 . 0 2 0 2 6 6 3 8} \\ A P=0.0666+0.04446222+0.11428095+0.02026638 \\ A P=0.24560955 \\ A P=\mathbf{2 4 . 5 6} \% \end{array}
AP=A1+A2+A3+A4A1=(0.0666−0)×1=0.0666A2=(0.1333−0.0666)×0.6666=0.04446222A3=(0.4−0.1333)×0.4285=0.11428095A4=(0.4666−0.4)×0.3043=0.02026638AP=0.0666+0.04446222+0.11428095+0.02026638AP=0.24560955AP=24.56%
本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/121f4ba7a8.html
相关推荐
-
【加速计算】从硬件、软件到网络互联，AI时代下的加速计算技术
AI、元宇宙、大模型…每一个火爆名词的背后都代表着巨大的算力需求。据了解，AI模型所需的算力每100天就要翻一倍，远超摩尔定律的18-24个月。5年后，AI所需的算力规模将是今天的…
-
跨镜头跟踪（多源跟踪）方案
跨镜头跟踪（多源跟踪）方案 前言： 对于多个镜头下对于目标物体的持续跟踪，需要跨镜头跟踪算法来解决 譬如当目标从一个镜头切换到另一个镜头，会出现目标跟丢的情况。 本篇以2个…
-
第八章：AI大模型的安全与伦理8.2 模型安全8.2.2 模型抵抗力评估
1.背景介绍 随着人工智能技术的快速发展，AI大模型在各个领域取得了显著的成果。然而，随着模型规模的增长和应用场景的扩大，模型的安全性和伦理问题也日益凸显。在这个背景下，评估模型的…
-
用python做人工智能,python人工智能技术
大家好，小编来为大家解答以下问题，用python做人工智能，python人工智能技术，现在让我们一起来看看吧！ python 怎么实现人工智能 一、Python是解释语言，程序写起…
-
可解释性AI：在教育技术中的应用和挑战
1.背景介绍 教育技术在过去的几年里发生了巨大的变化，尤其是在人工智能(AI)和大数据领域。这些技术已经成为教育领域的一部分，为教育系统提供了更多的可能性。然而，在这些技术的应用中…
-
无需翻墙,免费AI代码生成网站
AI Code Converter | AI Code Translator | AI Code Generator 使用方法:左边输入想要的功能 推荐还是转成python吧,代码…
-
10分钟训练属于你的AI变声器
今天推荐一款开源AI变声器，安装过程很友好，不用经历各种麻烦的环境问题， 作者提供了windows下的安装包，一键安装启动很方便。 目前好像对显卡有要求，nvidia显卡支持，am…
-
听6位专家畅谈AI大模型落地实践：场景和人才是关键
本文分享自华为云社区《听6位专家畅谈AI大模型落地实践：场景和人才是关键》，作者：华为云社区精选。 随着人工智能技术的不断突破，越来越多的行业开始应用AI技术来提高效率、降低成本、…
-
人工智能与哲学的机器智能研究：人类智能的新发现
1.背景介绍 人工智能(Artificial Intelligence, AI)是一门跨学科的研究领域，涉及计算机科学、数学、统计学、心理学、神经科学、语言学等多个领域的知识和技术…
-
统计数据集中目标大、中、小个数【需要用到yolo的txt标注文件数据，其他格式数据不一定适用】
统计数据集中目标大、中、小个数 最近看到一篇论文，其中在数据集介绍部分统计了大、中、小目标信息。因此，为了获取数据集的统计信息，我参考了作者写的代码基于tensorpack统计co…
