CVPR 2023 | OpenGait: 步态识别开源框架介绍

这篇具有很好参考价值的文章主要介绍了CVPR 2023 | OpenGait: 步态识别开源框架介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

CVPR 2023 | OpenGait: 步态识别开源框架介绍

Title: OpenGait: Revisiting Gait Recognition Toward Better Practicality

Paper: https://arxiv.org/pdf/2211.06597.pdf

Code: https://github.com/ShiqiYu/OpenGait

导读

今天为大家介绍的OpenGait便是一套基于Pytorch构建的步态识别(Gait Recognition)框架,其涵盖了一系列最先进的步态识别算法,同时提供了一个结构简单但强大的基线模型GaitBas,致力于启发研究人员开发更先进的步态识别方法并将其投入到实际生产应用中。

步态识别

CVPR 2023 | OpenGait: 步态识别开源框架介绍

步态识别同样是生物特征识别技术的一种,其核心思想是通过分析一个人行走的姿态来对比出数据库中人物的身份。大家知道,诸如人脸、指纹、掌纹、虹膜等生物特征在人体中都具备唯一性,为什么步态识别可以作为识别一个人身份的特征呢?这是由于人在行走时其腿部肌肉力量,甚至包括人体的骨骼密度和身体重心等均有所差异,因此完全可以通过分析出这些差异来唯一的辨识出一个人的身份。

此外,与基于其他生物识别技术相比,步态识别的优势在于非接触式、非侵犯性、且具备易于感知、难与隐蔽和伪装等特点。简单点理解便是,步态识别系统压根无需人为主动的配合(例如虹膜、指纹和掌纹等)以及无惧各种遮挡(人脸)和换装(ReID)。因此,步态识别技术在安防监控、门禁系统、医疗诊断等相关领域具备广泛的应用前景和经济价值。

方法

现如今,基于步态识别的算法中大致可以分为两类,一类是基于外观的方法,另一类是基于模型的方法。下面就让我们简单介绍下本文提到的一些相关工作。

Model-based methods

基于模型的方法相对来说比较鲁邦,但如何准确的建模是个难题,实现起来也比较困难且准确率也不高。

<CVPR 2023 | OpenGait: 步态识别开源框架介绍,CVPR 2023 | OpenGait: 步态识别开源框架介绍,CVPR 2023 | OpenGait: 步态识别开源框架介绍>

GaitGraph为代表的的一些方法倾向于将估计的人体底层结构作为输入,例如2D/3D poseSMPL模型。虽然这种方法对一些噪声因素具有天然的鲁棒性,例如携带和穿着,但遇到分辨率不够清晰的情况特别容易失效,缺乏实用性。

注:SMPL出自《A Skinned Multi-Person Linear Model》一文中,这是一种基于skinned vertex的模型,可准确表示自然人体姿势中的各种体型,可用于从数据中学习出人体的各种形状和姿势的相关变化。

Appearance-based methods

基于外观的方法直接从视频中学习目标的形状特征,低分辨率条件下也能正常工作,因此准确率更高且实现起来更加方便,但对外观(如姿态、角度、装备)变化较为敏感。随着深度学习的蓬勃发展,目前大多数基于外观的工作都集中在空间特征提取步态时间建模上。

CVPR 2023 | OpenGait: 步态识别开源框架介绍
GaitSet算是近年来最具影响力的步态识别作品之一,于2019发表在AAAI上,其创新地将步态序列视为一个集合,并利用最大函数来压缩帧级空间特征序列,极具简单性和有效性。

CVPR 2023 | OpenGait: 步态识别开源框架介绍
GaitPart则是发表在CVPR'2020上的方法,其详细探索了输入silhouette的局部细节,并通过微动捕捉模块对时间依赖性进行建模。

CVPR 2023 | OpenGait: 步态识别开源框架介绍
GaitGL发表于ICCV 2021,其认为基于空间全局信息的步态表示通常会忽略细节,同时基于局部区域的描述符无法捕获相邻部分之间的关系,从而开发了全局和局部卷积层来获取更详细的步态信息。

CVPR 2023 | OpenGait: 步态识别开源框架介绍
CSTL发表于ICCV 2021,但其侧重于三个尺度的时间特征,以根据时间上下文信息获得运动表示。

CVPR 2023 | OpenGait: 步态识别开源框架介绍
不局限于2D空间限制,同样发表在ICCV 2021上的3DLocal方法则通过自适应尺度的 3D 局部操作来提取肢体特征。

CVPR 2023 | OpenGait: 步态识别开源框架介绍,

CVPR 2023 | OpenGait: 步态识别开源框架介绍,

CVPR 2023 | OpenGait: 步态识别开源框架介绍

其中GaitEdgeECCV'2022收录,其旨在设计一种可用于边缘特征训练的中间模态来构建端到端的步态识别框架。而GaitSSBBiFusion则分别用于构建数百万个未标记的步态序列和整合骨骼和轮廓信息以捕捉丰富的步态时空特征。

CVPR 2023 | OpenGait: 步态识别开源框架介绍

最后,便是今天介绍的主角之一GaitBase,这是一个基于轮廓的模型,其结构简单,效果鲁邦,无论是在室内还是室外拍摄的测试步行视频均表现优异,可作为进一步研究的新基线(Baseline)。

如图所示,GaitBase 采用类 ResNet 网络作为 Backbone,通过将每个输入轮廓帧转换为具有高度、宽度和通道尺寸的 3D 特征图;然后,采用时间池化模块将通过沿时间维度执行最大化来聚合获得的特征图序列,输出对输入步态序列的集合级理解,即 3D 特征图。随后,将得到的特征图水平分割成几个部分,每个部分经过池化操作展成一个特征向量并进一步使用一个单独的全连接层将它们映射到度量空间中。最后,再采用广泛使用的 BNNeck 来调整特征空间,并利用单独的三元组和交叉熵损失来监督整个训练过程。

数据集

步态数据集对于步态识别研究也是必不可少的和关键的。具体来说,CASIAOU-ISIR是两个使用最广泛的室内步态数据集。随着面临更多的实际应用,与之相对的,GREWGait3D则是两个大型的室外步态数据集。下面详细介绍下这四个数据集。

CVPR 2023 | OpenGait: 步态识别开源框架介绍

CASIA

CASIA是中科院自动化所开源的步态数据集,目前主要收录三个类型:

  • Dataset-A,小规模数据集
  • Dataset-B,多视角数据集
  • Dataset-C,红外场景数据

其中,CASIA-B包含三种步行条件,即正常步行背着包步行穿大衣步行,获取的视频由11个不同拍摄视角的固定摄像机拍摄,并通过旧的背景减法算法进行预处理,生成对应的步态剪影。

详细的数据集介绍可参考官网:http://www.cbsr.ia.ac.cn/china/Gait%20Databases%20CH.asp,该网站还开源了其他生物识别数据集,如虹膜、人脸、指纹、掌纹、笔迹和行为分析,有需要的小伙伴可自行填写协议索取。

OU-ISIR

OU-ISIR是目前最大的室内公共步态数据集之一。OU-ISIR 步态数据库、具有姿势序列的多视图大型人口数据库,旨在帮助开发、测试和评估基于模型的步态识别算法的一般领域的研究工作。该数据集建立在 OU-MVLP 之上,其包含由七个网络摄像机以 15° 的间隔捕获的 10,307 个往返行走序列的主题(考虑到在同一步行路线上的往返,这总计为 14 个视图),图像大小为 1,280 x 980 像素,帧率为 25 FPS。

GREW

GREW则是迄今为止最大的户外步态数据集。它的原始视频是从一个大型公共区域的 882 个摄像机收集的,包含近 3,500 小时的 1,080×1,920 流。除了数以万计的 ID 之外,还有许多其他的人类属性被标注出来,例如,2 种性别、14 种年龄段、5 种携带条件和 6 种穿衣风格。

Gait3D

Gait3D同样也是一个大规模的户外步态数据集。它是在一家超市收集的,包含 1,090 小时的视频,分辨率为 1,920×1,080,帧率为 25 FPS。

OpenGait

CVPR 2023 | OpenGait: 步态识别开源框架介绍

OpenGait是一个基于Python语言和Pytorch深度学习框架构建的新一代开源的步态识别框架,主打模块化设计,代码高效且可复用,可帮助大家轻松复现顶会论文,动动手指,调调超参,一键炼丹!

目前OpenGait也在不断更新,主要包含以下四大特性:

  • 支持多数据集:囊括四大主流步态数据集,即CASIA-BOUMVLPHIDGREW
  • 支持多个算法:OpenGait复现了几种步态识别SOTA方法,都达到了相同甚至更好的性能;
  • 支持分布式训练:训练和测试阶段均使用官方推荐的分布式数据并行(DDP)模式;
  • 支持半精度混合训练:可根据自身需要开启AMP,加速训练过程;
  • 支持漂亮的日志记录:采用tensorboardlogging来更好的记录和呈现结果,同时可自定义添加可视化内容。

此外,OpenGait 还支持通过配置文件便捷构建优化器,调度器和采样器等,同时支持组合损失函数。

写在最后

如果您也对人工智能和计算机视觉全栈领域感兴趣,强烈推荐您关注有料、有趣、有爱的公众号『CVHub』,每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案!

同时欢迎添加小编微信: cv_huber,备注CSDN,加入官方学术|技术|招聘交流群,一起探讨更多有趣的话题!文章来源地址https://www.toymoban.com/news/detail-440899.html

到了这里,关于CVPR 2023 | OpenGait: 步态识别开源框架介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 语音识别开源框架 openAI-whisper

    Whisper 是一种通用的语音识别模型。 它是OpenAI于2022年9月份开源的在各种音频的大型数据集上训练的语音识别模型,也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。 GitHub - yeyupiaoling/Whisper-Finetune: 微调Whisper语音识别模型和加速推理,支持Web部署和Andr

    2024年02月17日
    浏览(60)
  • 【开源威胁情报挖掘1】引言 + 开源威胁情报挖掘框架 + 开源威胁情报采集与识别提取

    目前计划在 网络安全领域的开源威胁情报挖掘 展开进一步实验和论文写作,欢迎交流。 本文基于2022年1月《信息安全学报》崔琳等老师的论文 基于开源信息平台的威胁情报挖掘综述 进行梳理了解。 该论文为我们提供了一个全面的开源威胁情报挖掘框架,涵盖了该领域的关

    2024年02月03日
    浏览(42)
  • 开源人脸识别系统compareface介绍

    Exadel CompreFace是一种免费的open-source人脸识别服务,无需事先具备机器学习技能,即可轻松集成到任何系统中。CompreFace为人脸识别、人脸验证、人脸检测、里程碑检测、年龄和性别识别提供了REST API,并且易于与docker一起部署。 https://www.5axxw.com/wiki/content/cledeb 官网地址:Tech

    2023年04月09日
    浏览(41)
  • 文字识别(OCR)介绍与开源方案对比

    文字识别(OCR)介绍与开源方案对比 一、OCR是什么 二、OCR基本原理说明 三、OCR基本实现流程 四、OCR开源项目调研 1、tesseract 2、PaddleOC 3、EasyOCR 4、chineseocr 5、chineseocr_lite 6、cnocr 7、商业付费OCR 1)腾讯OCR(付费) - AI 基础产品模块 2)阿里OCR(付费) - 阿里灵杰AI开放服务

    2024年02月15日
    浏览(44)
  • 共建、共享开源 EDA 共性技术框架 | 2023 开放原子全球开源峰会开源 EDA 分论坛即将启幕

    电子电路设计自动化(EDA)融合了计算机、微电子、计算数学、图形学和人工智能等众多前沿技术,为集成电路设计、制造和封装等整个产业提供至关重要的自动化辅助设计能力。集成电路是支撑国民经济、社会发展和保障国家安全的基础性、先导性和战略性产业。在集成电

    2024年02月07日
    浏览(54)
  • 开源自动化测试框架介绍

    框架在精而不在多,毕竟还是得以我们测试工程师平常用的最多的为基准。精通以下7个框架,应该能满足你工作中的基本需求了。 https://junit.org/junit5/ Junit是一个面向Java编程语言的单元测试框架。 单元测试:针对最小的功能单元编写测试代码。Java程序最小的功能单元是方法

    2024年02月12日
    浏览(37)
  • 【开源】httprunner(S)框架介绍

    今天来给小伙伴们介绍一下httprunner,废话不多说,一切都在正文中,咱们直接看正文哟,喜欢的可以关注我哟。 HttpRunner 是一款面向 HTTP(S) 协议的通用测试框架,只需编写维护一份YAML/JSON脚本,即可实现自动化测试、性能测试、线上监控、持续集成等多种测试需求。 官方文

    2024年02月08日
    浏览(53)
  • 【步态识别】GaitSet 算法学习+配置环境+代码调试运行《GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition》

    关于GaitSet核心算法,建议直接跳到 “4. 算法核心代码——4.1 gaitset.py” 论文地址: https://ieeexplore.ieee.org/document/9351667 CASIA-B数据集下载地址: http://www.cbsr.ia.ac.cn/china/Gait%20Databases%20CH.asp 代码下载地址: https://github.com/AbnerHqC/GaitSet 1. 确定显卡型号 右键“此电脑”——“管理”

    2023年04月08日
    浏览(61)
  • JVS开源基础框架:平台基本信息介绍

    JVS是面向软件开发团队可以快速实现应用的基础开发脚手架,主要定位于企业信息化通用底座,采用微服务分布式框架,提供丰富的基础功能,集成众多业务引擎,它灵活性强,界面化配置对开发者友好,底层容器化构建,集合持续化构建。 JVS是定位为辅助研发团队的快速脚

    2024年02月12日
    浏览(52)
  • 开源全球地理空间数据可视化框架——Cesium学习(2023.8.21)

            作为一个开源的、世界级的、展现3D全球地图的 JavaScript 类库,Cesium毫无疑问已然成为 WebGIS 开发中三维地球框架的首选,         截止当前,Github上的Cesium已经收获了10.8K的 star ,因其具有良好的文档、示例、问答及讨论社区、扎实的生态而广受好评,目测版

    2024年02月12日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包