从局部到全局：语义相似度的测地线距离

2022-12-13 13:12

©PaperWeekly 原创 · 作者 | 苏剑林

单位 | 追一科技

研究方向 | NLP、神经网络

前段时间在最近的一篇论文《Unsupervised Opinion Summarization Using Approximate Geodesics》[1] 中学到了一个新的概念，叫做“测地线距离（Geodesic Distance）”，感觉有点意思，特来跟大家分享一下。

对笔者来说，“新”的不是测地线距离概念本身（以前学黎曼几何的时候就已经接触过了），而是语义相似度领域原来也可以巧妙地构造出测地线距离出来，并在某些场景下发挥作用。如果乐意，我们还可以说这是“流形上的语义相似度”，是不是瞬间就高级了不少？

论文梗概

首先，我们简单总结一下原论文的主要内容。顾名思义，论文的主题是摘要，通常我们的无监督摘要是这样做的：假设文章由 n 个句子组成，给每个句子设计打分函数（经典的是 tf-idf 及其变体），然后挑出打分最大的若干个句子作为摘要。

当然，论文做的不是简单的摘要，而是“Opinion Summarization”，这个“Opinion”，我们可以理解为实现给定的主题或者中心 c，摘要应该倾向于抽取出与 c 相关的句子，所以打分函数应该还应该跟 c 有关，即。

自从“万物皆 Embedding”后，的一种主流设计方式就是将句子和主题 c 都编码为相应的句向量，然后用某种距离的倒数作为打分函数：

在这种设计中，句向量的编码模型和距离函数都是可设计的空间。原论文在和上都做了一些工作，其中不是本文关心的内容，暂且略过，有兴趣的读者自行看原论文。至于论文在上的贡献，就是将常见的简单距离，换成了本文的主题“测地线距离”。

原理分析

为什么要用到测地线距离？这要从我们训练句向量的方案说起。

学习句向量的方式既可以是有监督的，也可以是无监督的。以有监督为例，一般就是正样本对和负样本对做对比学习（参考《CoSENT：比Sentence-BERT更有效的句向量方案》），正样本对就是标记出两个语义基本相同的句子，我们可以认为它们相似度很高，或者距离很小。

问题出在负样本对，作为两个语义不相同的句子，它们可能是特意标记出来的困难样本，也可能是随机挑出来的两个不相关样本，原则上这两种情况应当赋予不同的距离，但实际都只是标记了同一个标签，即“负”。

这就导致了一个结果，我们用句向量算出来的距离数值，理论上是对语义比较相近的句子才比较准确，对于语义差距比较大的句子，距离数值只能够用来区分出正负样本，但不能在邻近范围内做比较。举个例子，我们可以说距离为 1 的比距离为 2 的更相似，也可以说距离为 1 的比距离为 10 的更相似，但没法说距离为 10 的比距离为 11 的更相似，因为距离大了，其绝对数值就不准了。

检索场景下，通常要召回相似度很高（也就是距离很小）的样本，因此直接用简单的距离函数去检索就行。但是，对于原论文的“Opinion Summarization”场景，要计算的是句子与主题 c 的距离，“句子”与“主题”的相似度就未必很大了（距离偏大），也就是说，它是要在距离相似度偏大的区间做相对比较，这就适合用到测地线距离了。

测地距离

测地线距离，简单来说就是两点之间的最短距离，由于流形未必是平直的，因此该距离未必是两点之间的直线距离（欧式距离），经典例子就是从地球的南极走到北极，我们没法穿过地心走直线，只能沿着地球表面先走到赤道然后再走到南极，走了一条曲线（半圆）距离。

在局部范围内（此时距离比较小），地球还是平的，所以欧式距离还是可用的，但是放到“南极-北极”、“南极-赤道”这样的大距离就不够准确了，这就跟刚才的语义相似度场景很相似了——已知的距离（比如欧式距离）在近距离内比较准确，在远距离不准确，本质上就是因为流形不是平直的。

幸运的是，有局部距离就够了，我们将其转化为一个图的问题，可以利用“最短路径”的算法估算出近似的测地线距离。

具体来说，我们可以用现有的距离函数算出每个点与剩余点的距离，然后只保留距离最近的 k 个点（也可以按阈值截断，看具体情况），在它们之间连一条边并标记上距离，这样一来所有点和边构成了一个加权图（我们称之为“k 邻近图”），我们就可以用 Dijkstra 算法来搜索出图上任意两点的最短路径，并计算出它的长度，这就是测地线距离的近似结果。

总的来说，在“相近点的距离比较准、较远点的距离比较不准”的假设下，我们可以 k 邻近图加最短路径的方法，估算较远点的测地线距离来作为替代品。由于测地线距离考虑了向量空间的流形状况，所以有可能取得比较好的效果（参考原论文的 Table 8）。