【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling

这篇具有很好参考价值的文章主要介绍了【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

发表时间:CVPR 2023

作者团队:北航,美团,JD Explore

代码链接:GitHub - dingfengshi/TriDet: [CVPR2023] Code for the paper, TriDet: Temporal Action Detection with Relative Boundary Modeling[CVPR2023] Code for the paper, TriDet: Temporal Action Detection with Relative Boundary Modeling - GitHub - dingfengshi/TriDet: [CVPR2023] Code for the paper, TriDet: Temporal Action Detection with Relative Boundary Modelinghttps://github.com/dingfengshi/TriDet

        这篇文章是关于action detection的一篇工作,目标是识别出帧所属的动作类别,以及该动作的时间跨度。大体看上去没有吸引我的novelty,但是motivation比较有意思:

        首先,在时序动作检测(TAD)任务里,动作的边界很多时候是不明确的,本文的方法是利用不同时刻之间的相对关系来建模边界,即本文提出的Trident-head,这个不是我接触的领域,就不研究了。

        重点在第二个motivation。近年来,Transformer在TAD领域也有不少应用,但本文实验发现,单纯使用Transformer并不能显著提升检测性能,相反,pipeline的设计往往更重要。比如对于Actionformer,本文实验发现,即使去掉了它的self-attention,性能也不会下降太多。所以是什么让原始self-attention版本的Transformer在TAD任务里哑火,这个问题引起了作者的好奇。[1]里推导了self-attention会使输入特征矩阵以双指数速度收敛到秩为1(丢帙问题)。换句话说,self-attention会让输入序列变得越来越相似,但是残差连接和MLP可以减缓这个问题。这个结论启发了作者:作者发现动作识别任务上pretrain过的backbone提取到的特征往往具有较高的相似性,在HACS数据集上跟踪原始self-attention的Transformer每层输出特征时,我们也观察到self-attention降低了每个时刻特征的可区分性,这对TAD任务来讲是非常不利的

【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling,Transformer,Models & Modules,深度学习,人工智能,计算机视觉

        那么针对第二个motivation,作者提出了一个Scalable-Granularity Perception模块,但是感觉可解释性不太好,毕竟是纯卷积结构。

The SGP layer

        目前基于Transformer的TAD任务方法主要依赖于Transformer的宏观体系结构,而不是self-attention (SA)。具体来说,SA主要遇到两个问题:跨时间维度的秩损失问题及其高计算开销

Limitation 1: the rank loss problem

        秩损失问题的出现是由于自注意力的概率矩阵 (即)是非负的,每行的和为1,这表明SA的输出是Value feature的凸组合。考虑到纯Layer Normalization将特征投影到高维空间的单位超球上,本文通过研究瞬时特征(instant features)之间的最大角度来分析它们的可区分程度。本文证明了凸组合后特征之间的最大角小于或等于输入特征的最大角,导致特征之间的相似性增加(如补充材料所述),这可能对TAD有害。

二维的球是圆,三维是球,四维及以上是超球。

Limitation 2: high computational complexity

        此外,自注意力中的密集的pair-wise computation(在瞬时特征之间)带来了较高的计算开销,从而降低了推理速度。


【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling,Transformer,Models & Modules,深度学习,人工智能,计算机视觉

        基于上述发现,本文提出了一种Scalable-Granularity Perception (SGP) layer来有效地捕获动作信息并抑制秩损失。Transformer Layer和SGP Layer之间的主要区别是后者用全卷积模块替换了自注意力模块,连续的Layer Normalization被替换为Group Normalization

        如图4所示,SGP包含两个主要分支:一个instant-level branch和一个window-level branch。

        instant-level branch的目标是通过扩大action and non-action instant feature与视频级平均特征的距离来提高action and non-action instant feature的可辨别性。window-level branch的目的是从更广泛的感受野中引入语义内容,其分支有助于动态地聚焦于哪个尺度的特征。在数学上,SGP可以写成:

【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling,Transformer,Models & Modules,深度学习,人工智能,计算机视觉

        其中,FC和分别表示全连接层和窗口大小为的时间维度的1D深度卷积。作为SGP的关键设计,k是一个可缩放因子,旨在捕获更大粒度的时间信息。视频级平均特征和分支可表示为:

【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling,Transformer,Models & Modules,深度学习,人工智能,计算机视觉

        由此得到的基于SGP的特征金字塔可以比基于Transformer的特征金字塔获得更好的性能,同时效率更高。

References

[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth

[2] CVPR2023|TriDet:高效时序动作检测网络,刷新三个数据集SOTA! - 知乎 (zhihu.com)文章来源地址https://www.toymoban.com/news/detail-744069.html

到了这里,关于【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文解读:BIT | Remote Sensing Image Change Detection with Transformers

    论文解读:BIT | Remote Sensing Image Change Detection with Transformers 论文地址:https://arxiv.org/pdf/2103.00208.pdf 项目地址:https://github.com/justchenhao/BIT_CD 现代变化检测(CD)凭借其强大的深度卷积识别能力取得了显著的成功。然而,由于场景中物体的复杂性,高分辨率遥感CD仍然具有挑战性

    2024年02月04日
    浏览(46)
  • BEV学习--Sparse4D Multi-view 3d object detection with Sparse Spatial-Temporal Fusion

    BEV方法最近在多视图3D检测任务中取得了很大进展。Sparse4D通过sparsely sampling和fusing spatial-temporal features 对anchor box进行迭代改进: (1)Sparse 4D Sampling: 对于每个3D anchor,我们分配多个4D关键点,然后将其投影到多视图/尺度/时间戳图像特征,用来采样相应的特征。 (2)Hierarc

    2024年04月13日
    浏览(45)
  • 【论文解读】2017 STGCN: Spatio-Temporal Graph Convolutional Networks

    使用历史速度数据预测未来时间的速度。同时用于序列学习的RNN(GRU、LSTM等)网络需要迭代训练,它引入了逐步累积的误差,并且RNN模型较难训练。为了解决以上问题,我们提出了新颖的深度学习框架 STGCN ,用于交通预测。 符号 含义 M 历史时间序列长度 n 节点数 C i C_i C i ​

    2024年02月16日
    浏览(39)
  • cvpr2023-目标检测-Combating noisy labels in object detection datasets

    我们都知道数据对于深度学习模型的重要性,但是如何省时省力的得到高质量的数据呢?这就是此文章探讨的问题。 目录 1. 论文下载 2. 背景  3. 相关技术 4. 创新点 5. 算法 5.1 置信学习(Confident learning)  5.2 目标检测中的CL算法 https://arxiv.org/abs/2211.13993 对于深度学习模型来

    2024年02月06日
    浏览(44)
  • TPS Motion(CVPR2022)视频生成论文解读

    论文: 《Thin-Plate Spline Motion Model for Image Animation》 github: https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model 问题: 尽管当前有些工作使用无监督方法进可行任意目标姿态迁移,但是当源图与目标图差异大时,对当前无监督方案来说仍然具有挑战。 方法: 本文提出无监督TPS Motio

    2023年04月11日
    浏览(64)
  • 【论文阅读笔记】UNSUPERVISED REPRESENTATION LEARNING FOR TIME SERIES WITH TEMPORAL NEIGHBORHOOD CODING

     本文提出了一种自监督框架,名为“时间邻域编码”(Temporal Neighborhood Coding,TNC),用于学习非平稳时间序列的可泛化表示。该方法利用信号生成过程的局部平滑性来定义具有平稳性质的时间邻域。通过使用去偏差对比目标,该框架通过确保在编码空间中,来自邻域内的信

    2024年02月21日
    浏览(62)
  • CVPR 2023 | 主干网络FasterNet 核心解读 代码分析

    本文分享来自CVPR 2023的论文,提出了一种 快速的主干网络,名为FasterNet 。 论文提出了 一种新的卷积算子,partial convolution,部分卷积(PConv) ,通过 减少冗余计算 和 内存访问 来更有效地提取空间特征。 创新在于部分卷积(PConv), 它选择一部分通道的特性进行常规卷积 , 剩余

    2024年02月06日
    浏览(38)
  • 【论文合集】CVPR2023年 部分论文

    参考: CVPR 2023 最全整理:论文分方向汇总 / 代码 / 解读 / 直播 / 项目(更新中)【计算机视觉】-极市开发者社区 (cvmart.net) amusi/CVPR2023-Papers-with-Code: CVPR 2023 论文和开源项目合集 (github.com)   [7]Fine-Grained Face Swapping via Regional GAN Inversion paper [6]Cross-GAN Auditing: Unsupervised Identifica

    2024年02月12日
    浏览(53)
  • CVPR2023(论文笔记)

    基于抽象的鲁棒图像分类模型高效训练与验证方法: 针对问题: 深度神经网络在面对对抗性攻击时的鲁棒性问题 提出了一种基于抽象的、经过认证的训练方法,用于提高深度神经网络对抗性攻击的鲁棒性;提出黑盒验证方法,该方法与神经网络的大小和架构无关,可扩展到

    2024年02月09日
    浏览(59)
  • CVPR2023对抗攻击相关论文

    Feature Separation and Recalibration for Adversarial Robustness 论文链接:http://arxiv.org/abs/2303.13846v1 代码地址:GitHub - wkim97/FSR: Feature Separation and Recalibration (CVPR 2023) 摘要:由于特征层面的扰动积累,深度神经网络容易受到对抗性攻击,许多研究通过停用导致模型错误预测的非鲁棒特征激活

    2024年02月09日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包