文章链接：https://arxiv.org/pdf/1703.06103.pdf

TL;DR

由于知识图谱中知识的不完整性，文中提出了Relational Graph Convolutional Networks (R-GCNs) 来预测图谱中缺少的实体类别（entity classification）和实体之间的关系（link prediction）。

Algorithm/Model

简单的知识图谱如下所示，主要的任务就是预测出红色字体表示的实体的类别和实体之间的关系：

一般的GNN模型如下所示：

hi(l+1)=σ(∑m∈Migm(hi(l),hj(l)))h_{i}^{(l+1)}=\sigma\left(\sum_{m \in \mathcal{M}_{i}} g_{m}\left(h_{i}^{(l)}, h_{j}^{(l)}\right)\right)

其中Mi\mathcal{M}_{i} 表示入边。

文中基于知识图谱构造的R-GCN如下所示：

hi(l+1)=σ(∑r∈R∑j∈Nir1ci,rWr(l)hj(l)+W0(l)hi(l))h_{i}^{(l+1)}=\sigma\left(\sum_{r \in \mathcal{R}} \sum_{j \in \mathcal{N}_{i}^{r}} \frac{1}{c_{i, r}} W_{r}^{(l)} h_{j}^{(l)}+W_{0}^{(l)} h_{i}^{(l)}\right)

其中Nir\mathcal{N}_{i}^{r} 表示关系rr下ii 的邻居。

下图表示某个entity在R-GCN模型下特征融合过程：

对于实体分类和链路预测，文中提出了两种不同的模型如下所示：

  1. Entity classification
    loss如下：

L=−∑i∈Y∑k=1Ktikln⁡hik(L)\mathcal{L}=-\sum_{i \in \mathcal{Y}} \sum_{k=1}^{K} t_{i k} \ln h_{i k}^{(L)}

  1. Link prediction
    loss 如下：

L=−1(1+ω)∣E∣∑(s,r,o,y)∈Tylog⁡l(f(s,r,o))+(1−y)log⁡(1−l(f(s,r,o)))\mathcal{L}=-\frac{1}{(1+\omega)|\mathcal{E}|} \sum_{(s, r, o, y) \in \mathcal{T}} y \log l(f(s, r, o))+(1-y) \log (1-l(f(s, r, o)))

Experiment Detail

Thoughts

文中对于不同的任务基于GCN提出不同的模型来解决，entity classification 和 link prediction任务而且取得了比较好的效果。但是文中知识图谱都有对应的label信息，对于只有图结构的数据不能适用。

联系作者