无痛缓解多模态大模型幻觉！基于注意力惩罚与回退机制的解码方法「OPERA」

2023-12-06 06:12

©PaperWeekly 原创 · 作者 | 黄启栋

单位 | 中科大+上海AI Lab

研究方向 | 多模态大模型

介绍

幻觉（Hallucination）作为多模态大模型的一个非常严重的问题，一直受到广泛的关注。具体来说，大多数多模态大模型（MLLMs）有时会对用户提供的图像和提示给出错误的回答，例如说出与图像无关或荒谬的事物，识别出与图像上物体的颜色、数量和位置不符的对象。这种现象在多模态大模型生成较长回答时尤其常见。

为了缓解多模态大模型的幻觉问题，许多工作提出了不同类型的方法。他们有的构造额外的训练数据，有的求助于外部知识与模型作为辅助，但是都引入了大量的额外开销。那么有没有一种方法可以在不需要额外的知识与训练的情况下，就可以无痛缓解多模态大模型幻觉这一个“老大难”问题呢？

答案是肯定的。为此，中科大和上海 AI Lab 的研究者们最近提出了一种基于注意力惩罚与回退策略的解码方法 OPERA，有效缓解多模态大模型幻觉！

论文题目：

OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation

论文链接：

https://arxiv.org/abs/2311.17911

代码链接：

https://github.com/shikiw/OPERA

研究者们从一个有趣的发现入手，他们发现多模态大模型在生成幻觉内容时，其自注意力权重上通常具有“过度信赖”的现象。具体来说，当我们将多模态大模型最后一层的自注意力权重进行可视化，会很容易在模型给出幻觉句子之前看到一个明显的“柱状”特征。这里以多模态大模型 InstructBLIP 来举个栗子：

可以很明显地看到在幻觉句子出现之前会有一个 token 对后续所有的 token 都具有很高的注意力权值。通常这是不符合常理的，因为从输出的回答上来看这一个词并不具有那么丰富的信息量。对此，研究者们分析称这种现象可能是多模态大模型在输出较长语句时存在的一种“自动总结”的本能。

就如同人类一样，在输出的内容不断增长的情况下，为了减小负荷且提升效率可能会进行阶段性的总结，而后续的所有回答会基于这些总结来给出。同时，这种阶段性总结也可能导致之前的一些具体信息的丢失，后续的 token 由于“过度信赖”这些总结而忽视先前的信息，从而出现幻觉内容。研究者们把这样的现象称为“partial over-trust”，发现大模型的这种阶段性总结可能是真正导致幻觉问题的“元凶”！

同时，研究者进行了数值上的统计，他们在不同模型中都观察到了这一现象与幻觉之间的伴生关系：

如图，研究者们随机采样了 100 张图像对不同的多模态大模型进行提问，发现在所有出现幻觉的回答中，有 80%～90% 的部分都表现出“过度信赖”现象与幻觉之间存在的伴生关系。

方法

研究者们希望通过改变解码策略来缓解这种“过度信赖”现象的出现，从而来减轻幻觉问题。在经典解码方法 Beam Search 的基础上，他们首先在解码过程中对每个 token 的输出概率引入了一个额外的惩罚项，来惩罚其出现“过度信赖”的注意力特征。

具体来说，他们首先在自注意力的权重图上划分出一个局部窗口，然后将这些权重在数值进行放大，同时使用列乘法得到一个得分向量，最后选择得分向量中的最大得分作为惩罚得分。这个惩罚得分越大说明出现生成句子中存在“过度信赖”的特征越明显，越可能出现幻觉。最后，这个惩罚得分的作用会体现在每个序列的 Beam 得分上，得分较低的序列最后将被淘汰。

由于这种“过度信赖”的特征具有“滞后性”，即只有在解码的过程中输出了若干 token 之后才能发现这样的特征。为了解决这种滞后带来的局限性，研究者们还提出了“回退-再分配”的策略。具体来说，可以计算最近几个 token 的得分向量的最大值下标，并检查该下标连续出现的次数是否大于一定阈值。如果高于阈值，则将当前序列的解码过程回退到这一下标所在 token 的位置，并重新选择词表中概率次高的词（除了之前已经选择的词之外）。