AAAI 2023 | 基于历史对比学习的时序知识图谱推理
©PaperWeekly 原创 · 作者 | 徐奕
单位 | 上海交通大学Acemap
研究方向 | 数据挖掘
论文链接：
代码链接：
时序知识图谱
在现实世界中，由于知识不断发展，时序知识图谱（TKG）的构建和应用成为领域热点，其中三元组（s, p, o）扩展为四元组，增加了时间戳 t，即（s, p, o, t）。下图是由一系列国际政治事件组成的 TKG。
▲ 图1. 时序知识图谱（子图）
时序知识图谱推理
预测这些新事件非常具有挑战性，因为它们在历史时间轴上具有较少的交互痕迹。例如，图 2 的右侧部分显示了查询（the United States, Negotiate, ?, t+1）及其相应的新事件（the United States, Negotiate, Russia, t+1），其中大多数现有方法由于过度关注频繁的重复事件，因此在此类查询中通常会获得错误的结果。
▲ 图2. 现有模型存在的问题
另一方面，在推理过程中，现有方法在对整个图中所有候选实体的概率得分进行排名时，而没有任何的 bias。我们认为，在处理不同事件的缺失实体时，这种 bias 是十分必要的，这在现实社会中也是如此，例如，对于重复或周期性事件，我们应该优先考虑一些频繁发生的实体，而对于新事件，则需更多地关注历史交互较少的实体。
基于历史对比学习的时序知识图谱推理
在这项工作中，我们将超越历史信息的限制，从整个知识中挖掘潜在的时序模式。为了更清晰地阐述我们的设计，我们将与当前查询中的实体相关联的过去事件称为该查询历史事件，其他事件称为非历史事件。我们直观地认为，TKG 中的事件不仅与其历史事件相关，还与未观察到的潜在因素间接相关。我们所能看到的历史事件只是冰山一角（图2）。
给定真实的尾实体为 o 的查询（s, p, ?, t），CNENT 考虑其历史和非历史事件，并通过对比学习识别重要实体。具体而言，模型首先采用基于复制机制的评分策略来建模历史事件和非历史事件的相关性（公式 1 和 2）。
我们选择了五个基准数据集，包括三个基于事件的 TKG 和两个公共 KG。这两种类型的数据集以不同的方式构建。前三个基于国际政治事件的 TKG 由 ICEWS18、ICEWS14 和 GDELT 组成，事件是离散的。后两个公共 KG（WIKI 和 YAGO）中的事件可能会连续地存在很长时间。
▲ 表1. 数据集
4.2 对比实验
▲ 表3. 公共 KG 对比实验结果
4.3 消融实验
我们分析了模型中每一个关键组成的性能，下表给出了消融实验的结果。可以看到，同时考虑历史和非历史依赖项比只单独考虑历史依赖能取得更好的效果，历史对比学习策略以及基于掩码的推断均能取得优越的性能。
4.4 案例分析
▲ 图5. 案例分析
在本文中，我们提出了一种新的用于事件预测的时序知识图谱模型——对比事件网络（CENET）。CENET 的关键思想是学习整个实体集的令人信服的分布，并在对比学习框架中从历史和非历史依赖性中识别重要实体。实验结果表明，CENET 在大多数指标上都显著优于所有现有方法，尤其是在 Hits@1 的指标上。未来工作包括探索知识图中的对比学习能力，例如找到更合理的对比学习对（contrastive pairs）。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者