陈丹琦重新定义了文本相似性问题，提出C-STS，GPT-4也不能很好解决

陈丹琦的这个工作不错，之前的文本相似度基本只是一个分数，而其实可以分为很多不同视角下的相似情况，这里相当于重新定义了任务。另外，数据构建也是通过模型生成，一切都很方便快捷。最后实验也表明GPT4也时而会出错，这个开拓的方向可以继续深入研究个探讨。

下面站在作者角度具体了解下吧。

论文：C-STS: Conditional Semantic Textual Similarity
地址：https://arxiv.org/abs/2305.15093
单位：Princeton、Allen AI等

进NLP群—>加入NLP交流群

语义文本相似性（STS）一直是NLP中的一项基石任务，它测量一对句子之间的相似程度，在信息检索，问答和嵌入方法中得到了应用。

然而，这是一项固有的模棱两可的任务，句子相似性取决于感兴趣的特定方面。

我们通过提出一项称为条件STS（C-STS）的新任务来解决这种歧义，该任务以自然语言阐明的方面（此处为条件）来衡量相似性。

例如，句子“NBA球员投三分球”和“一个人将网球抛向空中发球”之间的相似性对于“球的运动”条件更高（向上）。和较低的“球的大小”（一大一小）。

C-STS具有双重优势：（1）它降低了STS的主观性和模糊性， （2）可以使用不同的条件进行细粒度的相似性评估。

C-STS 包含来自不同领域的近 20，000 个实例，我们评估了几个最先进的模型，以证明即使是性能最高的微调和上下文学习模型（GPT-4、Flan、SimCSE）也发现它具有挑战性，Spearman 相关分数为 <50。

我们鼓励社区在 C-STS 上评估他们的模型，以提供更全面的语义相似性和自然语言理解视图。

实验与分析

进NLP群—>加入NLP交流群