论文:CORA: Adapting CLIP for Open-Vocabulary Detection with Region Prompting and Anchor Pre-Matching
代码:https://github.com/tgxs002/CORA
出处:CVPR2023
一、背景
开集目标检测(Open-vocabulary detection,OVD)最近得到了很大的关注,CLIP 的出现让开集目标检测有了新的解决方式
CLIP 是学习图像和文本之间的关系来进行匹配的,那么能否将 CLIP 用于解决开集目标检测呢
这里会有两个问题:
-
如何将 CLIP 使用到 region-level 的任务上:
一个简单的做法是将 region 扣出来当做一个图像,但这并非好的解决方式,因为 region 和 image 之间本来就有 gap
-
如何学习可泛化的目标 proposal:
ViLD、OV-DETR、Region-CLIP 等都需要使用 RPN 或 class-agnostic 目标检测器来挖掘出没被提及的类别,但这些 RPN 也都是基于训练数据来训练的,不可能将所有目标都检出,所以其实能检出的需要的类别也很少
本文中提出了一个基于 DETR 且引入了 CLIP 的方法,且没有使用额外的 image-text 数据,来实现开集目标检测
二、方法
OVD 是一个希望能检出所有类别的检测任务,本文提出了 CORA 来解决该任务
2.1 总体结构
如图 1 所示,给定一个图像作为输入:
-
首先,使用训练好的 CLIP 中的 ResNet backbone 来提出图像的特征,分类和定位共享这个特征
-
接着,region classification:给定一个待分类的 region(anchor box 或 box prediction),作者使用 RoIAlign 来得到 region 特征,然后使用 CLIP 的 attention pooling 来得到区域编码,可以使用从 CLIP text encoder 得到的 class embedding 来进行分类
-
然后,object localization:对于上面通过 CLIP 得到的图像特征,会使用 DETR-like encoder 进行进一步特征提取,然后输入 DETR-like decoder,anchor box 的 queries 会先使用 CLIP-based region classifier 进行分类,然后会根据预测的标签进行调整,然后使用 DETR-like decoder 来实现更好的定位。decoder 也会根据预测的 label 来估计 query 的匹配。在训练中,预测的框会和 gt 进行一对一匹配,然后使用 DETR 的方式进行训练。推理时,box 的类别直接使用 CLIP-based region classifier 来确定
针对这两个问题,CORA 也提出了解决方案:
- 目标检测是识别和定位图像中的目标,CLIP 模型是在整个图像上训练的,有一定的 gap:作者提出了 region prompt,来调整 region features 以获得更好的定位
- 检测器需要对新类别学习目标的位置,但标注的类别都是基础类别:作者将 anchor pre-matching 提前了,让 class-aware 的目标定位能够在 infer 的时候泛化到新的类别
2.2 region prompting
如图 2 所示,给定一个图像和一系列 RoI,首先对全图使用 CLIP encoder 的前 3 个 blocks 进行编码,然后使用 RoIAlign pooling
由于 CLIP 对全图编码和区域编码是有 gap 的,所以作者提出 region prompting 来通过可学习的 prompt p ∈ R S × S × C p\in R^{S \times S \times C} p∈RS×S×C 来扩展 region feature,对两组特征进行对齐
- S:region feature 的空间尺寸
- C:region features 的维度
给定一个 input region feature f r e g i o n f_{region} fregion,region prompt 计算如下:
- ➕ 表示逐点相加
- P 是 CLIP 中的 attention pooling
如何优化 region prompt:
- 作者使用 base-class 标注的检测数据来训练 region prompt
- loss 为交叉熵
- 保持其他参数冻结,只训练 region prompt
2.3 anchor pre-matching
region prompt 能够帮助解决 image 和 region 的 gap
为了解决 RPN 在新类别上检出能力不足的问题,作者提出了 class-aware query-based 目标定位器,能够提升模型在没见过的类别上的定位能力
如图 1 所示,给定一个从 CLIP image encoder 得到的视觉特征, object query 会和 class name embedding 进行 pre-matched
Anchor Pre-matching:
目标定位是使用 DETR-style 的 encoder-decoder 结构实现的,encoder 用于细化特征图,decoder 用于将 object query 解码到 box
作者使用 DAB-DETR,object query 的类别 c i c_i ci 是根据相关的 anchor box b i b_i bi 来分配的
pre-matching 之后,每个 object query 会根据预测的类别来进行 class-aware box regression,object query 是有下面得到的:
得到模型预测后,gt 和模型预测框的匹配是对每个类别分别使用双边匹配
对类别 c,假设 gt y c y^c yc 匹配到了 N c N_c Nc 个预测框,会通过最小化下面的分布来优化 N c N_c Nc 的排列:
- L m a t c h L_{match} Lmatch:二值分类 loss,这里使用 focal loss
- L b o x L_{box} Lbox:是定位误差,这里使用 L1 和 GIoU 的加权和
模型的最终优化 loss 如下:
三、效果
文章来源:https://www.toymoban.com/news/detail-599879.html
文章来源地址https://www.toymoban.com/news/detail-599879.html
到了这里,关于【多模态】17、CORA | 将 CLIP 使用到开集目标检测的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!