原文

Multi-Scale Dynamic Convolutional Network for Knowledge Graph Embedding

出版

• IEEE Transactions on Knowledge and Data Engineering
• Volume: 34
• Issue: 5
• 01 May 2022

申明

版权归原文作者及出版单位所有，如有侵权请联系删除

摘要

知识图是具有不完全或部分信息的大型图结构知识库。许多研究集中于知识图嵌入，以识别实体和关系的嵌入表示，从而预测实体之间缺失的关系。先前的嵌入模型主要将(主体实体、关系和客体实体)三元组视为向量空间中的平移距离或语义匹配。然而，这些模型仅学习少量的表达特征，难以处理知识图中的复杂关系，即1对N、N对1和N对N。

为了克服这些问题，我们引入了一个多尺度动态卷积网络(M-DCN)模型来嵌入知识图。这种模型具有一流的性能，并且能够生成比它的同类产品更丰富、更有表现力的特性嵌入。M-DCN中的主体实体和关系嵌入在输入层中以交替模式组成，这有助于提取额外的特征交互并增加表达能力。在卷积层生成多尺度滤波器，以学习输入嵌入之间的不同特征。

具体而言，这些过滤器的权重与每个关系动态相关，以模拟复杂的关系。通过实验测试了M-DCN在五个基准数据集上的性能。结果表明，该模型能够有效地处理复杂关系，并在大多数评估指标上获得最先进的链路预测结果。

文章贡献

1. 提出了一种新的基于CNN的M-DCN模型来模拟KGs中的复杂关系。M-DCN生成与每个关系相关的动态卷积滤波器的权重。它允许实体在不同关系的卷积下生成特殊的特征表示。结果表明，与现有基线相比，M-DCN在复杂关系建模方面取得了显著的改进。

2. 据我们所知，我们是第一个利用多尺度处理来优化KGE卷积层质量的公司。M-DCN生成不同大小的卷积滤波器来学习实体和关系嵌入之间的不同特征。与浅层结构相比，M-DCN在可接受的计算需求增加的情况下具有相当大的性能改进。

3. 在五个有代表性的基准数据集上进行了实验，以验证所提方法的有效性。结果表明，M-DCN在链接预测和三联体分类任务的大多数评价指标上取得了显著和一致的改进。因此，该模型是可推广的和有效的。

模型

整体框架

我们的模型整体架构如下：

M-DCN可以归纳为三个阶段，即嵌入表示、编码部分和评分部分。对于三联体（es, r, eo），我们首先将主体实体es、关系r映射到它们的分布式嵌入表示中，并生成与关系r相关的过滤器向量。然后，这些过滤器被重塑并在嵌入上进行卷积，在编码部分得到特征图张量和隐层向量。最后，在评分部分，它与所有的候选对象嵌入相匹配，以预测该三联体是否正确。

嵌入表征

本文利用了嵌入的交替组合方法，因为它可以在实体和关系之间建立更多的特征互动模型, 如下图所示：

为了对知识图谱中的复杂关系进行建模，我们打算生成特定关系的过滤器Fr，其目的是一个实体应该在具有不同关系r的事实三联体中提取不同的特征表示。

编码组件

在编码过程中，通过各种滤波器对输入层M进行卷积运算来生成特征图。编码结构的主要优点是，它大大增加了卷积层的互动数量，而不会造成计算上的困难。它的灵感来自于实际的直觉，即每个实体都有不同的特征，应该在不同的尺度上进行处理，然后再进行汇总。因此，下一阶段可以同时从不同尺度上提取特征。

分数组件

为了得到三联体（es, r, eo）的得分，可以将隐层向量U与对象实体嵌入eo相乘，加上偏置后再通过激活函数，具体公式如下：

注意： 以下内容没有看懂
为了尽量减少卷积运算的数量，加快我们模型的计算速度，我们在评分过程中采用了1-N评分技术。具体来说，与1-1评分相比，（es，r）被当作一对，同时对所有实体E进行评分。1-N评分在训练和测试时间上有明显的加速，并且与1-1评分相比提高了准确性。

评估

数据集

我们在以下基准数据集上对链接预测任务进行了广泛的实验。FB15k, WN18, FB13, WN11, FB15k-237, WN18RR, 和YAGO3-10。这些数据集的细节显示在下表：

评估结果

具体评估结果如下面表：

卷积网络模型通常比以前的模型有更好的性能。此外，语义匹配模型很容易训练，可以快速建立知识图谱模型。然而，由于它们的冗余性，容易出现过拟合，导致性能比卷积网络模型差。此外，卷积网络对KGE的表现力和鲁棒性得到了证实。其次，MDCN在大多数评价指标上取得了新的最先进的结果。与FB15k-237、WN18RR和YAGO3-10上的最佳基线模型相比，M-DCN在MRR上有0.8%、2.6%和3.6%的相对改善，在Hits@1上有4.8%、6.3%和6.3%的相对改善。 它证明了我们模型的有效性和通用性。第三，M-DCN比DCN有更好的性能，因为它利用了多尺度过滤器来学习不同的特性。因此，多尺度卷积架构可以潜在地提高我们模型的性能。

总之，实验结果证明，MDCN是一个用于链接预测和三联体分类的高表现力的KGE模型。基于其架构，我们的模型通过对KGs中的复杂关系进行建模，在所有评价指标上都取得了明显的改进。它还可以通过使用多尺度过滤器来学习实体和关系的嵌入之间的不同特征，从而提高模型的有效性。

上面主要论述链接预测任务，分类任务结果见原文