【2018/NeurIPS】Beyond Grids：Learning Graph Representations for Visual Recognition

文章链接：https://papers.nips.cc/paper/8135-beyond-grids-learning-graph-representations-for-visual-recognition.pdf

TL;DR

文章中介绍如何利用GCN学习图片中大范围内不同regions之间依赖关系的方法（我认为主要是利用GCN扩大了网络的receptive field）。为了将图片feature map转换为图结构，提出了Graph Convolutional Unit。

Graph Convolutional Unit (GCU)架构如下：

大概分为三部分：

Graph Projection（feature map→ graph representation(A, node features)）
对于一个feature map，相同特征的pixels构成同一个顶点（顶点的数量是预先确定的）。顶点的特征是根据各个像素点的特征聚合而成，计算公式如下：
$q_{i j}^{k}=\frac{\exp \left(-\left\|\left(x_{i j}-w_{k}\right) / \sigma_{k}\right\|_{2}^{2} / 2\right)}{\sum_{k} \exp \left(-\left\|\left(x_{i j}-w_{k}\right) / \sigma_{k}\right\|_{2}^{2} / 2\right)}$
，其中 $\sigma$ 是和 $w$ 是可更新的值， $q$ 是映射矩阵（后面的re-projection用到，有点玄乎的东西）。再对顶点的特征归一化：
$z_{k}=\frac{z_{k}^{\prime}}{\left\|z_{k}^{\prime}\right\|_{2}}, \quad z_{k}^{\prime}=\frac{1}{\sum_{i j} q_{i j}^{k}} \sum_{i j} q_{i j}^{k}\left(x_{i j}-w_{k}\right) / \sigma_{k}$
Graph Convolution （features propagation）
多层的GCN堆积（加上了BN和ReLU）：
$\tilde{Z}=f\left(\mathcal{A} Z^{T} W_{g}\right)$
Graph Re-Projection (node features→ feature map)
将每个pixel的特征还原，反映射公式如下：
$\tilde{X}=\mathcal{Q} \tilde{Z}^{T}$