【2019/CVPR】Learning Actor Relation Graphs for Group Activity Recognition

文章链接：https://arxiv.org/pdf/1904.10117.pdf

TL;DR

文章中提出了一种基于GCN的多人场景动作识别的模型. 为了学习到actors之间的relation, 文中提出了Actor Relation Graph(ARG), 包含了actors之间的纹理和位置特征. 除此之外, 基于不同的metrics, 文章提出了不同的ARG, 值得借鉴.

Dataset/Algorithm/Model

文章主要解决的问题如下图所示, 在一个多人的场景中识别或者推断出出每个人物的动作以及group activity.

文章中提出的模型pipeline如下图所示:

文章中主要的创新点在于如何构建Actor Relation Graph(ARG), 因此主要介绍一下构建ARG的过程.

首先根据采样的视频帧卷积之后得到bounding box和features, 那么scene中每个actor的特征为:

$A=\left\{\left(\mathbf{x}_{i}^{a}, \mathbf{x}_{i}^{s}\right) | i=1, \cdots, N\right\}$

其中 $x^a$ 表示appearance features, $x^s$ 表示bounding box中心的坐标.

假设构建的graph表示为G, $G_{ij}$ 表示node i和node j之间的联系. 重点在于如何计算 $G_{ij}$ , 文中同时考虑了appearance和locations.计算公式如下:

$\mathbf{G}_{i j}=\frac{f_{s}\left(\mathbf{x}_{i}^{s}, \mathbf{x}_{j}^{s}\right) \exp \left(f_{a}\left(\mathbf{x}_{i}^{a}, \mathbf{x}_{j}^{a}\right)\right)}{\sum_{j=1}^{N} f_{s}\left(\mathbf{x}_{i}^{s}, \mathbf{x}_{j}^{s}\right) \exp \left(f_{a}\left(\mathbf{x}_{i}^{a}, \mathbf{x}_{j}^{a}\right)\right)}$