代码

原文地址

预备知识：

1.什么是K-L散度（Kullback-Leibler Divergence）？

2.什么是自训练（self-training）?

1 Introduction

2 Preliminary

2.1 Problem Formulation

给定一个文档，它由一组句子和一组实体组成。DocRE的目标是预测文档中每一对实体之间的所有可能的关系。文档中的每一个实体至少有一个专有名词指称，用表示。文档中的每一对实体可以有多种关系，构成一个关系子集，其中是一个预定义的关系集合。用表示两个实体之间没有关系，也属于。另外，如果两个实体之间有一个有效的关系，ER的目标是从文档中找出能够支持预测三元组的证据句子集合。

2.2 ATLOP

Text Encoding

编码前，在每个实体提及的首尾加上一个特殊的标记“*” 。然后，用一个基于Transformer的预训练语言模型对文档中的词元进行编码，得到每个词元的嵌入和跨词元的依赖。虽然原始的ATLOP只使用了最后一层的输出，但本文采用了最后三层的平均值（试点实验表明，使用最后3层比只使用最后一层的性能更好）。具体来说，对于每个Transformer层有d个隐藏维度的预训练语言模型，词元嵌入和跨词元依赖的计算公式如下：

其中是每个词元在最后三层的隐藏状态的平均值，是最后三层所有注意力头的注意力权重的平均值。

Entity Embedding

ATLOP用表示每个实体的嵌入，它是由它的所有提及的信息汇总而来的。具体而言，ATLOP采用了logsumexp池化方法。logsumexp池化的公式是：

其中是提及开始位置的特殊标记“*”的嵌入。

Localized Context Embedding

ATLOP提出了一种利用长文本信息的局部上下文嵌入方法，它根据实体对的重要性来选择词语。直观地说，对和都有贡献的词语应该被更多地考虑。每个词语的重要性由公式1得到的词语之间的依赖关系决定。对于实体，它的所有提及的词语依赖关系被收集并平均，得到每个词语对的重要性。然后，每个词语对实体对的重要性，由和计算得到：

其中表示哈达玛积。是一个分布，反映了每个词语对实体对的重要性。接下来，ATLOP执行一个局部上下文池化：

其中是所有词语嵌入的加权平均，权重由决定。

Relation Classification

为了预测实体对之间的关系，ATLOP 首先生成了考虑上下文的头实体和尾实体表示：

表示两个向量的拼接，其中为可训练参数。然后，在上下文感知表示上应用双线性分类器来计算关系分数:

其中，和是可训练参数。因此，实体与之间关系成立的概率为，其中为sigmoid函数。

Loss Function

ATLOP 提出了一种自适应阈值损失（ATL），它在训练过程中学习一个虚拟的阈值类，作为每个关系类的动态阈值。对于每一对实体，ATL 强制模型对正向关系类产生高于的分数，对负向关系类产生低于的分数，如下式所示：

3 Proposed Method: DREEAM

3.1 Teacher Model

本文用一个证据分布来为每一对实体生成一个基于证据的局部上下文嵌入。可以给出和的词级别的重要性，但句级别的证据只能从人工标注中得到，如图1所示。为了弥补这个差距，本文对每个句子中的每个词的权重求和。具体来说，对于一个由词组成的句子，计算句子级别的重要性为：

然后把所有句子的重要性汇总成一个分布，它反映了文档中每个句子对实体对的重要性。本文还用人工标注的证据分布来指导。首先，对于每个有效的关系标签，定义一个二值向量，它标记了文档中的每个句子是否是关系三元组的证据。如果是，就设为1，否则为0。例如，如果是的证据，那么就设为1，否则为0。

然后，对所有有效的关系求和，并归一化，得到：

其中是一个全1向量。公式9的原理是，在关系分类器之前的模块并不显式地知道具体的关系类型。因此，引导编码器中的注意力模块产生与关系无关的词依赖。

Loss Function

为了生成一个能够反映实体对之间关系的局部上下文嵌入，本文利用人工标注的证据来指导每个实体对的证据分布。用K-L散度损失来训练模型，使

尽可能地接近，从而减少两者之间的统计差异：

同时，用一个超参数来调节ER损失和RE损失的权重，使模型能够同时优化两个目标：

3.2 Student Model

为了在大规模数据上进行ER自训练，本文使用在人工标注数据上训练的系统作为教师模型。这些大规模数据是通过关系远程监督得到的，它们只有RE的噪声标签，没有ER的信息。本文在这些数据上训练一个学生模型，它的监督由两部分组成：一个是RE的二元交叉熵损失，另一个是ER的自训练损失。本文用教师模型的预测作为ER训练的监督信号。具体来说，先让教师模型在远程监督数据上进行推理，得到每个实体对的证据分布。然后，让学生模型学习复现每个实体对的证据分布。

Loss Function

其中是学生模型对实体对的证据分布，由公式2得出。和有两点不同。第一，是用句子级别的监督信号，而是用词级别的监督信号。这是因为词级别的证据分布更容易获得。在人工标注的数据上，要从句子级别的标注中得到词级别的证据分布很困难。在远程监督的数据上，词级别的证据分布可以从教师模型的预测中直接得到。所以，本文用词级别的证据分布来给ER自训练提供微观的监督。第二，只在有有效关系的实体对上计算，而在文档中的所有实体对上计算。这是因为远程监督数据上的关系标签不太可靠。这些关系标签是自动收集的，可能有些标注的关系和文档无关。所以，从自动标注中很难分辨哪些关系是有效的，哪些是无效的。为了避免漏掉重要的实例，本文对所有实体对计算损失。总的损失是由公式11中的超参数来平衡的，公式如下：

3.3 Inference

本文根据Zhou等人(2021)的方法，用自适应阈值法得到RE的预测，选出得分超过阈值的关系类别。对于ER，用静态阈值法，选出重要性超过阈值的句子作为证据。本文还采用了Xie等人(2022)提出的推理阶段融合策略。具体来说，对于每个预测的关系三元组和它的证据预测，从中收集证据句子，构建一个伪文档。然后，把伪文档输入训练好的模型，重新给关系三元组评分。为了把伪文档和整个文档的预测结合起来，用一个只有一个参数的混合层，是一个阈值。只有当一个三元组在整个文档和伪文档上的得分之和大于时，才把它作为最终的预测结果。调整，让RE在开发集上的二元交叉熵损失最小。

4 Experiments

4.1 Setting

Dataset

Configuration

为了实现DREEAM，本文基于Hugging Face的Transformers框架，使用和作为预训练语言模型（PLM）编码器。参考前人的工作，通过网格搜索从中选取了合适的参数，分别为的0.1和的0.05，来平衡ER损失和RE损失。在训练和评估DREEAM时，使用单个Tesla V100 16GB GPU来运行，使用单个NVIDIA A100 40GB GPU来运行。超参数和运行时间的细节见附录A。

Evaluation

本文在推理阶段，根据公式8得到的值，筛选出大于0.2的句子，作为证据的来源。在评估阶段，使用DocRED的官方评估指标，分别对RE和ER进行Ign F1和F1、Evi F1的评估。Ign F1是在去除了训练集中已有的关系后，对开发集和测试集进行的评估，以消除训练集的影响。用不同的随机种子，对系统进行了五次训练，并给出了这些训练的平均分数和标准误差。

4.2 Main Results

Performance of the Student Model

表2显示，利用远程监督数据的学生模型在RE上优于现有系统。尤其是，当使用BERTbase作为PLM编码器时，DREEAM在开发集上的Ign F1/F1比先前的最先进系统KD-DocRE高出0.6/1.0个百分点。在测试集上，Ign F1和F1都提高了1.1个百分点。值得注意的是，DREEAM使用甚至能够与在弱监督设置下使用的SSAN (Xu等人, 2021a)相比肩。当使用作为PLM编码器时，DREEAM在开发集和测试集上仍然保持优势。这些结果证明了本文的假设，即ER自训练能够改善RE，这是之前的工作未能展示的。

Performance of the Teacher Model

Effectiveness of ER Self-Training

4.3 Ablation Studies

Teacher Model

本文探索了如何利用证据指导注意力来提升人工标注数据的RE训练效果，训练了一个不包含ER训练的教师模型，并在DocRED开发集上进行了评估。结果显示，如果关闭ER训练，教师模型的RE性能会降到与ATLOP相似的基线水平。如表3(a)所示，没有ER训练的情况下，DREEAM的RE性能有所下降。这一观察验证了利用证据指导注意力可以提高RE性能的假设。本文还进一步可视化了一些实例的词元重要性，以分析证据指导训练的影响，发现本文的方法能够有效地将注意力集中在相关的上下文上。更多细节可以参见附录B。此外，本文还从关闭ER训练的教师模型中检索出证据，作为重要性超过预设阈值的句子。通过这种方式，发现Evi F1与开启ER训练的教师模型相差无几。这一观察说明，ER是一个与RE紧密相关的任务。

Student Model

4.4 Memory Efficiency

这一小节分析了之前的ER方法存在的内存效率问题，以及DREEAM如何克服它。之前的方法把ER当作一个与RE相独立的任务，需要额外的神经网络层来完成。为了进行ER，它们都采用了一个双线性证据分类器，它的输入是一个实体对相关的嵌入和一个句子嵌入。例如，EIDER用以下公式计算句子对于实体对的证据分数：

其中是一个句子嵌入，是根据公式3得到的局部上下文嵌入，和是可训练的参数。EIDER和其他现有的系统因此需要对所有的（句子，实体对）组合进行计算。具体来说，假设一个文档有个句子，和个实体，则有个实体对。为了得到证据分数，EIDER必须通过公式14进行次双线性分类，导致巨大的内存消耗。相比之下，DREEAM直接用注意力权重在词上的求和作为证据分数，因此无需引入新的可训练参数，也无需进行昂贵的矩阵计算。因此，可以看到，DREEAM比它的竞争对手更节省内存。

表4展示了当使用作为预训练语言模型（PLM）编码器时，现有方法和提出的方法的内存消耗和可训练参数的数量。数值是在使用相应的官方仓库和批量大小为四的情况下训练系统时测量的。本文发现，DREEAM的内存消耗只有EIDER的27.4%和SAIS的25.5%。值得注意的是，DREEAM的内存消耗也比KD-DocRE少，突出了本文提出的方法的内存效率。

4.5 Performance on Re-DocRED

5 Related Work

6 Conclusion

Limitations