原文

Modeling Relational Data with Graph Convolutional Networks

出版

The Semantic Web. ESWC 2018. Lecture Notes in Computer Science(), vol 10843. Springer, Cham. https://doi.org/10.1007/978-3-319-93417-4_38

申明

版权归原文作者及出版单位所有，如有侵权请联系删除

摘要

知识图谱支持多种多样的应用，包括问题回答和信息检索。尽管在它们的创建和维护上投入了巨大的努力，即使是最大的(例如，Yago、DBPedia或Wikidata)仍然是不完整的。

我们引入关系图卷积网络(R-GCNs)并将其应用于两个标准知识库完成任务:链接预测(缺失事实的恢复，即主谓宾三元组)和实体分类(缺失实体属性的恢复)。RGCNs与最近一类对图形进行操作的神经网络相关，并且被专门开发来处理现实知识库的高度多关系数据特征。

我们证明了R-GCNs作为独立的实体分类模型的有效性。我们进一步表明，用于链接预测的因子分解模型(如DistMult)可以通过使用编码器模型来丰富它们以在关系图中的多个推理步骤上积累证据而得到显著改善，这表明FB15k-237比仅使用解码器的基线有29.8%的大幅改善。

文章贡献

1. 我们是第一个表明GCN框架可以应用于建模关系数据，特别是链接预测和实体分类任务。
2. 我们引入了参数共享和增强稀疏约束的技术，并使用它们将R-GCNs应用于具有大量关系的多重图。
3. 我们展示了因子分解模型的性能，以DistMult为例，可以通过在关系图中执行多步信息传播的编码器模型来丰富它们，从而显著提高它们的性能。

算法

在第l轮迭代的更新公式如下：

正则化

在上述计算公式中存在一个问题就是，苏子和图中关系数量的增加，参数数量会快速增长。这在实践中，很容易导致稀有关系的过度拟合并且将模型变得非常大。
我们采用基底分解和块对角分解这两种策略来正则化R-GCN层的权重。
使用基底分解，权重定义为如下：

使用块对角分解，权重定义为如下：

实体分类

对于节点（实体）的监督分类，我们先堆叠R-GCN层，然后在最后一层输出层使用softmax激活函数，我们使用交叉熵损失函数如下：

其架构图如下图所示：

数据集

AIFB、MUTAG、BGS、AM
上述的数据集具体信息如下表

基线模型

FEAT、WL、RDF2Vec

试验结果

实体分类的准确率结果如下表：

注意: 由实验结果总结，在多度图中，R-GCN效果不太好。

链接预测

图自编码器原理介绍：链接
为了解决链接预测问题，本文使用了一个图自编码器架构，即由一个实体编码器和一个评分函数（解码器）组成，编码器将每个实体映射到向量空间中，而解码器依靠顶点来重建图形的边。
在我们的实验中，我们使用DistMult因式分解模型作为评分函数，三元组(s, r, o)的得分函数如下：

损失函数如下：

数据集

FB13k、WN18、FB15k-237
上述三个数据集的具体信息如下表

基线模型

LinkFeat、DistMult、CP、TransE、ComplEx、HolE

试验结果

具体实验结果如下图所示：


对于FB15k，RGCN+比ComplEx产生更好的性能，即使R-GCN解码器(DistMult)没有明确地对关系中的不对称建模（与ComplEx相反）。

**注意: **将复杂的评分函数（解码器）应用于R-GCN将是未来工作的一个很有希望的研究方向。