基于自然语言描述的行人检索 Text-based Person Retrieval - 常用数据集 CUHK-PEDES、ICFG-PEDES、RSTPReid-Toy模板网

这篇具有很好参考价值的文章主要介绍了基于自然语言描述的行人检索 Text-based Person Retrieval - 常用数据集 CUHK-PEDES、ICFG-PEDES、RSTPReid。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Text-based Person Retrieval 任务介绍

博主是做多模态相关的，最近刚刚接触了语言行人检索 (Text-based Person Retrieval) 这个任务，觉得挺有意思，开一个专栏来记录一下该任务的常用数据集和一些经典工作。

语言行人检索应该算是 多模态检索 和 行人重识别 两个任务的交叉子任务，任务本身并不难理解，就是给定一段文本描述当作查询 query，然后检索到所描述的行人图片即可，如下图所示。
cuhk-pedes,细粒度跨模态检索,人工智能,计算机视觉,深度学习
同时，在待检索的图像数据库中，是存在同一人物的不同照片的，它们在数据集中标注的id是一样的，跟ReID还有点关系。

综上来看，语言行人检索和普通的跨模态图文匹配的不同点主要包括如下两个方面：

存在重识别相关的任务，即不仅要完成语言到图片的检索，模型还应该具备判断同一人物 id 的能力。
细粒度特点，语言行人检索中，不同的人彼此之间只存在细粒度的差异，而并不存在类别上的差异，属于跨模态细粒度检索，比普通的跨模态检索任务要难。

常用数据集

到目前为止，语言行人检索领域常用的数据集包括CUHK-PEDES、ICFG-PEDES、RSTPReid三个，先看一下 paper with code 上CUHK-PEDES数据集的排行情况，如下所示。
cuhk-pedes,细粒度跨模态检索,人工智能,计算机视觉,深度学习
可以看出该任务的分数已经被刷的比较高了，IRRA的Rank1分数已经能够达到73.38%，再往上刷也不是一容易的事情。接下来大致记录一下该领域常用数据集的基本情况。

CUHK-PEDES 数据集

repo地址：https://github.com/ShuangLI59/Person-Search-with-Natural-Language-Description

CUHK-PEDES是第一个专门用于语言行人检索的数据集，它包含40206张图像和80412个文本描述，共13003个id。根据官方的数据集划分，训练集由11003个身份、34054张图片和68108个文本描述组成；验证集和测试集分别包含3078张和3074张图像，6158张和6156张文本描述，两者都具有1000个身份；

ICFG-PEDES 数据集

repo地址：https://github.com/zifyloo/SSAN

ICFG-PEDES共包含4102个身份的54522张图像，每个图像只有一个对应的文本描述。该数据集分为训练集和测试集，前者包含3102个身份的34674个图文对，后者包含剩余1000个身份的19848个图文对。描述的平均长度为37.2个单词

RSTPReid 数据集

repo地址：https://github.com/NjtechCVLab/RSTPReid-Dataset

RSTPReid共包含来自4101个身份的20505张图像，每个身份都有5张不同相机拍摄的对应图像，每张图像都有2个文本描述，每个描述不少于23个单词。根据官方的数据集划分，训练集、验证集和测试集分别包含3701、200和200个身份。文章来源地址https://www.toymoban.com/news/detail-719754.html

到了这里，关于基于自然语言描述的行人检索 Text-based Person Retrieval - 常用数据集 CUHK-PEDES、ICFG-PEDES、RSTPReid的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！