[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.-Toy模板网

这篇具有很好参考价值的文章主要介绍了[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

论文: 论文地址

代码: 代码地址

作者在这篇文章中直接用GNN对目标的轨迹时空特征进行建模, 并用时序CNN进行预测, 代替了训练难度较大和速度较慢的RNN类方法.

0. Abstract

行人轨迹预测是一个比较有挑战性的任务, 有着许多的应用. 一个行人的轨迹不仅是由自己决定的, 而且受其周围目标的影响. 过去的方法都是学习每个行人自己的运动状态, 然而本文的方法是用一个GNN对整个场景的行人之间的interaction进行建模. 本文提出的方法叫Social-STGCNN, 是在STGCNN(一个基于骨架的action recognization的方法) 的基础上拓展到轨迹预测任务中的.

1. Introduction

过去的一些方法(例如Social-LSTM)是对每一个行人, 都分配一个循环结构的神经网络(lstm)来预测轨迹. 此外也有一些方法利用GAN来去生成未来的轨迹. 但是作者认为, 这些方法的训练成本都是相当高的, 能不能用一个统一的网络, 对行人之间的interaction进行建模.

作者还另起一段在道理上分析了为什么过去的网络是次优的. 主要是如下两个方面:

对每个行人用单独的网络进行预测, 并用池化来衡量行人之间的interaction. 这种方式是缺乏可解释性的. 相比之下, 本文用graph这种天然能够衡量节点之间关系的结构就具有了直观的可解释性.
池化会对信息造成损失.

因此, 作者提出了Social-STGCNN以解决上面的两个问题. 作者用一个具有时空(spatial-temporal)信息的GNN来衡量interaction, 并且显式地建模目标之间的影响力, 以此组成邻接矩阵, 然后用图卷积进行进一步的特征提取. 最后, 作者采用时序CNN来预测轨迹.

2. Related Work

这部分主要包含三个方面: 轨迹预测过去的工作, 图卷积的工作和时序CNN的工作.

3. Method

整个的Social-STGCNN由两部分组成, 一个是提取时空特征的STGCNN部分, 一个是预测轨迹的时序CNN(TXP-CNN)部分.

3.1. 空域建图

对于第 $t$ 帧, 我们考虑为第 $t$ 帧建图 $G_t=(V_t,E_t)$ . 我们以每个点在画面中的坐标表示为节点特征:

$V_t = \{v_t^i\}|_{i=1}^N, ~~v_t^i=(x_t^i, y_t^i)$

边 $e_t^{ij}$ 仅仅表示节点 $i$ 和 $j$ 之间是否相连. 然而, 对于邻接矩阵 $A_t=[a_{sim, t}^{ij}]$ 的构造, 是通过节点之间的欧氏距离定义的:

[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.,读文献,多目标跟踪,MOT,论文阅读,笔记,人工智能,深度学习,目标跟踪

在建图之后, 我们就可以通过图卷积层来得到更新的node features了. 图卷积的公式如下:

[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.,读文献,多目标跟踪,MOT,论文阅读,笔记,人工智能,深度学习,目标跟踪
其中 $B(\cdot)$ 表示邻居节点的集合, $p(\cdot)$ 表示聚合函数, $\mathbf{w}(\cdot)$ 表示卷积核.

注意 $B(\cdot)$ 是通过最短路定义的:

$B(v^i) = \{v^j|d(v^i, v^j\le D)\}$

其中 $d$ 表示最短路.

3.2. 时域建图

我们对每一帧进行上面的建图, 对于 $T$ 帧, 就可以得到一个时空图 $G = (V, E)$ . 其中 $V=\{v^i\}$ , $v^i=\{v_t^i\}|_t$ . 边同理. 邻接矩阵也同理.

3.3. 轨迹预测

在得到时空的节点嵌入特征后, 时序CNN从时间维度对该嵌入进行特征提取即可预测未来的轨迹.

整个框图如下:

[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.,读文献,多目标跟踪,MOT,论文阅读,笔记,人工智能,深度学习,目标跟踪

3.4. 具体实现

在实现时, 需要将图利用图的Lapalace矩阵进行归一化, 然后在进行卷积. 这是常规做法, 如下式:

$A_t = \Lambda_t^{-1/2}(A_t+I)\Lambda_t^{1/2}, \Lambda_t = diag(A_t)$

4. 实验

在消融实验部分, 作者比较了以下三种构造邻接矩阵的方式, 发现还是朴素的欧氏距离最好:

[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.,读文献,多目标跟踪,MOT,论文阅读,笔记,人工智能,深度学习,目标跟踪
通过以下实验对比, 发现速度确实快很多:
文章来源地址https://www.toymoban.com/news/detail-603782.html

到了这里，关于[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！