CIKM 2022最佳论文提名：证据感知的文档级关系抽取方法

2022-11-15 05:11

©作者 | 徐天玉

学校 | 苏州大学硕士生

来源 | 知识工场

研究背景

文档级关系抽取（Document-level Relation Extraction）旨在从长文本中识别多个实体对之间的关系。在一个文档中往往存在多个实体以及他们的提及，并且分散在各个句子中。图一是公开的文档级关系抽取数据集 DocRED 的一个例子。与句子级关系抽取相比，文档级关系抽取更为复杂且更有前景。

▲ 图1：来自DocRED数据集的关系抽取样例

在大多数情况下，我们仅可以通过文档中的一小部分句子（即证据句）来充分表达一个关系事实。因此，预先抽取证据以排除大量噪声句子的影响对于文档级关系抽取非常重要。然而现有的方法要么忽略了证据句子，依靠模型设计或者将文档建模成图结构去习得实体对之间的长距离依赖；要么将证据句子抽取简单地定义为对单个句子进行二分类的任务。我们认为证据句之间往往存在很强的语义相关性，这些证据句共同描述了一种特定的关系，现有的方法对于该问题的建模过于简单化。

为了解决上述挑战，我们为文档级关系抽取提出了一种新的证据感知的方法。我们将证据抽取建模成一个序列决策问题，并利用精心设计的强化学习机制去抽取证据。考虑到句子的排列组合会导致搜索空间爆炸式增长，我们提出了一个有效的路径搜索策略，启发式地获取证据的候选集来缩小搜索空间，通过在两个公开数据集上的实验证明了我们方法的有效性。

该工作目前已被 CIKM 2022 接收，并被评为 Best Paper Honorable Mention。文章链接如下：

论文标题：

Evidence-aware Document-level Relation Extraction

论文链接：

https://dl.acm.org/doi/10.1145/3511808.3557313

证据感知的文档级关系抽取流程

首先，我们提出路径选择策略来预先获取可能成为证据的句子候选集。然后，在强化学习范式下我们把证据抽取建模成序列决策任务，在无关关系类型的情况下获取每个实体对的潜在证据句。这些证据句可以组合成为一个噪声更少的伪文档。最后，通过融合在原始文档和证据文档上关系抽取的结果，我们完成了整个关系抽取流程。

2.1 路径选择策略

我们首先将整个文档抽象成图的形式，图中的每个节点代表文档中的一个特定实体。如果两个实体或者它们的提及出现在同一个句子中，我们就将这两个实体节点连接起来，并将共现的句子记录为边的信息。一条边上可能存在多个句子，这对应于一些实体对在多个句子中同时出现。通过上述步骤，我们的图可以获取实体的共现和共引结构。

▲ 图2：文档图的构建与路径选择策略

我们假设有更多连接边的实体节点包含更多的信息，使用这些实体作为中间实体将尽可能多地包含有用信息。因此，我们采用特征向量中心性来度量节点的重要性或边的权值。特征向量中心性定义为，其中表示图的邻接矩阵，表示每个节点的度。最后，我们采用 beamsearch 算法来获取实体对之间的路径，并将路径上的句子作为候选句子集合。

2.2 基于RL的证据抽取

我们的 Agent 是一个句子选择器，它的任务是选择所有可以被视为目标实体对之间的证据句，而不管实体对存在的潜在关系是什么。我们的模型基于 DoubleDQN 网络，框架如图 3 所示：

▲ 图3：基于DDQN的证据抽取框架图

接下来分别介绍强化学习下动作、状态和奖励的定义。

Action：

在一个 episode 中，定义已被选择为证据的句子集合和一组由路径搜索策略提取的候选句子集。我们将时刻从集合中选择一个句子视为动作。当所选句子的总数达到时，我们停止选择并达到终止状态。需要注意的是，在预测时我们选择值最大的决策序列作为最终的证据，如后文算法 2 所述，这意味着我们抽取的证据句的数量是不固定的。

State：

前文假设已被选作证据的句子会影响我们下一步的决策。那么时刻的已选句子集合定义为，经过 Transformer 层融合它们的特征。公式如下，其中为句子的嵌入表示。

我们还添加了目标实体对的嵌入表示以及实体对与句子的交互表示作为状态的表示，其中：

Reward：

我们定义时刻执行动作的即时奖励为，公式如下：

详细的训练和预测过程如算法 1、2 所示：

2.3 关系抽取与结果融合

我们沿用经典的 BERT-base 方法来获取实体对特征，以及采用自适应阈值损失函数优化关系抽取模型。我们将上一步抽取的证据句子按原文顺序组合成为更纯净的伪文档作为 RE 的输入。由于我们的证据抽取结果并非 100% 正确，我们同样采用 EIDER 的方法获取融合了原文档与伪文档的 RE 结果。对于需要汇报 Evidence F1 指标的数据集，可以在最后环节进一步添加一个简单的细粒度证据抽取步骤，具体细节可参考原文。

实验结果

3.1 主实验结果

我们在 DocRED 和 DWIE 两个广泛使用的文档级关系抽取数据集上进行了实验，并采用以往具有推理能力或者证据抽取能力的方法作为 baseline 进行对比，具体结果如下表所示：

如表 2 所示，我们引入了一个新的指标 positive evidence F1 来评估非 NA 关系的实体对的证据抽取结果。可以看到，路径搜索策略可以覆盖 94% 左右的证据并获得最高的召回率。在这些候选句子集上进一步进行基于强化学习的证据抽取之后，准确率达到了 90.88% 并取得了最高的 F1 值。这表明考虑句子之间的联系对证据抽取的重要性。此外，我们发现显式建模推理类型（如 GAIN、DRN 和 SIRE）比隐式建模（如 LSR）更有效。

3.2 辅助实验结果

我们还对关系抽取结果进行了消融实验，可以观察到只有原始或伪文档时， F1 都会下降，而这两个结果可以相互补充。表 5 中的最后的设置表示朴素二分类证据抽取结果作为伪文档进行关系抽取，与我们对证据之间的联系进行建模的强化学习方法相比有轻微的下降。我们将原始文档上的训练时间与在路径搜索策略提取的候选对象上的训练时间进行比较。如表 6 所示，我们的路径搜索策略可以节省 40% 的训练时间，进一步验证了该策略在减少搜索空间方面的有效性。综上所述，我们的方法显著提高了证据抽取的性能，并进一步增强了关系抽取。

3.3 错误分析

▲ 图4：证据抽取错误分析

我们还讨论了证据抽取模型能否在不考虑关系类型的情况下进行学习。我们用关系标签聚集了抽取的证据句，并在图 4 中列出了一些典型的关系类型。绿色代表抽取出所有正确的证据句，黄色代表抽取了部分证据，红色代表抽取的证据完全错误。

从图4中我们可以观察到时间关系很容易被发现，总正确率为 89.13%。我们相信这种关系类型的信息通常是非常清楚的，从而使决策更容易。此外，高频和低频的关系没有太大的差异，这说明我们的模型对样本的数量不敏感，因为它没有关系的指导。最后，当某些关系需要背景知识（例如，宗教）时，模型出现两极分化现象，我们认为背后的原因是这些关系需要常识或额外的知识来帮助识别。

总结

在本文中，我们提出了一种证据感知的文档级关系抽取的流水线方法。通过建模句子之间的联系，我们将证据抽取建模为一个序列决策问题。我们的方法基于强化学习的 Double DQN 框架为每个实体对选择可能的证据。我们还提出了一种文档图的路径搜索策略，以减少证据抽取的搜索空间。抽取出的证据句可以构成一个伪文档，为关系抽取提供补充信息。我们在两个公共数据集（DocRED 和 DWIE）上验证了该方法的有效性。

更多阅读