【2018/NeurIPS】Structure-Aware Convolutional Neural Networks

论文链接：http://papers.nips.cc/paper/7287-structure-aware-convolutional-neural-networks.pdf

TL;DR

文章中提出了一种新的卷积方式:structure-aware convolution, 这种方式能够同时处理Euclidean和non-Euclidean结构的数据.

Dataset/Algorithm/Model

作者利用单变量函数filters(univariate functions)来代替传统的filters, 因此能够对局部不同结构的数据进行卷积运算. 至于单变量函数, 根据函数近似理论, 能够通过切比雪夫多项式来近似.
传统的filter运算:

$\bar{y}_{i}=\mathbf{w}^{\mathrm{T}} \mathbf{x}_{i}=\sum_{i-m<j<i+m} w_{j-i+m} \cdot x_{j}, \quad i \in\{1,2, \cdots, n\}$

假设

$\bar{y}_{i}=\mathbf{f}_{\mathcal{R}}^{\mathrm{T}} \mathbf{x}_{i}=\sum_{i-m<j<i+m} f(j-i+m) \cdot x_{j}, \quad i \in\{1,2, \cdots, n\}$

由于vertex i的局部特征由neighbors及其自身表示:

$\mathcal{R}_{i}=\left\{r_{j i} | e_{j i} \in \mathcal{E}\right\}, \quad i \in\{1,2, \cdots, n\}$

所以structure-aware convolution可以表示为:

$\bar{y}_{i}=\mathbf{f}_{\mathcal{R}_{i}}^{\mathrm{T}} \mathbf{x}_{i}=\sum_{e_{j i} \in \mathcal{E}} f\left(r_{j i}\right) \cdot x_{j}, \quad i \in\{1,2, \cdots, n\}$

卷积图示:

主要的两个创新点

用切比雪夫多项式来近似单变量函数filters

$y_{i}=\sum_{e_{j i} \in \mathcal{E}} f\left(r_{j i}\right) \cdot x_{j}=\sum_{e_{j i} \in \mathcal{E}}\left(\sum_{k=1}^{t} v_{k} \cdot h_{k}\left(r_{j i}\right)\right) \cdot x_{j}, \quad i \in\{1,2, \cdots, n\}$

局部结构特征学习

$\mathcal{R}_{i}=\left\{r_{j i}=T\left(\overline{\mathbf{x}}_{j}^{\mathrm{T}} \mathbf{M} \overline{\mathbf{x}}_{i}\right) | e_{j i} \in \mathcal{E}\right\}, \quad i \in\{1,2, \cdots, n\}$