【2020/WWW】Structural Deep Clustering Network

文章链接：https://arxiv.org/abs/2002.01633
源码链接：https://github.com/bdy9527/SDCN

TL;DR

本文提出了一种结构深度聚类网络（SDCN），将结构信息集成到深度聚类中。设计了一个传递算子将autoencoder学习到的表示传递到相应的GCN层，并设计了双重自监督机制来统一这两种不同的深层神经结构并指导整个模型的更新。通过这种方式，从低阶到高阶的多重数据结构，自然地与自动编码器学习到的多重表示相结合。

模型/算法

如图所示。首先构造一个基于原始数据的KNN（K-Nearest Neighbor）图。然后将原始数据和KNN图分别输入到自动编码器和GCN中。将自动编码器的每一层与GCN的相应层连接起来，通过传递操作符将特定于自动编码器的表示集成到结构感知的表示中。用一种双重自我监督机制来监督自动编码器和GCN的训练进度。

kNN Graph

构建KNN图两种常用的方法:

Heat Kernel（用于连续数据）
$\mathrm{S}_{i j}=e^{-\frac{\left\|x_{i}-\mathrm{x}_{j}\right\|^{2}}{t}}$
Dot-product（用于离散数据）
$\mathrm{S}_{i j}=\mathrm{x}_{j}^{T} \mathrm{x}_{i}$

在计算相似矩阵后，选取每个样本的top-K个相似点作为其近邻，构造无向k近邻图。这就可以从非图数据中得到邻接矩阵A。

DNN Module

构造一个有 $L$ 层的autoencoder， $H(\ell)$ 表示 encoder 的第 $\ell$ 层：

$\mathbf{H}^{(\ell)}=\phi\left(\mathbf{W}_{e}^{(\ell)} \mathbf{H}^{(\ell-1)}+\mathbf{b}_{e}^{(\ell)}\right)$

$H(0)$ 为原始数据 $X$ 。

在encoder部分之后是decoder部分，decoder部分也是几个全连接层来重构输入数据：

$\mathbf{H}^{(\ell)}=\phi\left(\mathbf{W}_{d}^{(\ell)} \mathbf{H}^{(\ell-1)}+\mathbf{b}_{d}^{(\ell)}\right)$

decoder的输出是原始数据的重建误差： $\hat{X}=H^{(L)}$ ，目标函数是：

$\mathcal{L}_{r e s}=\frac{1}{2 N} \sum_{i=1}^{N}\left\|\mathbf{x}_{i}-\hat{\mathbf{x}}_{i}\right\|_{2}^{2}=\frac{1}{2 N}\|\mathbf{X}-\hat{\mathbf{X}}\|_{F}^{2}$

GCN Module

常规的 $L$ 层图卷积网络，最后一层为Softmax多分类层：

$Z=\operatorname{softmax}\left(\widetilde{\mathbf{D}}^{-\frac{1}{2}} \widetilde{\mathbf{A}} \widetilde{\mathbf{D}}^{-\frac{1}{2}} \mathbf{Z}^{(L)} \mathbf{W}^{(L)}\right)$

Dual Self-Supervised Module

Student’s t-distribution作为内核来衡量数据的表示向量 $h_i$ 和聚类中心向量 $u_i$ 的相似性：

$q_{i j}=\frac{\left(1+\left\|\mathbf{h}_{i}-\boldsymbol{\mu}_{j}\right\|^{2} / v\right)^{-\frac{v+1}{2}}}{\sum_{j^{\prime}}\left(1+\left\|\mathbf{h}_{i}-\boldsymbol{\mu}_{j^{\prime}}\right\|^{2} / v\right)^{-\frac{v+1}{2}}}$