零成本突破多模态大模型瓶颈！多所美国顶尖高校华人团队，联合推出自增强技术CSR

多模态大模型展现出了多种多样的能力，这些能力都通过SFT和预训练从庞大的训练数据集中学习。

但是模态之间的简单对齐可能会使得模型存在幻觉，细粒度图像感知能力差等各种问题。

已有的多模态大模型对齐方案一般采用DPO，POVID等偏好优化方法，或是蒸馏 GPT-4等昂贵闭源模型的方式来提升模型能力。

这些方法大多需要外源模型数据，这些数据构造存在很多问题，一是需要昂贵的价格，二是缺乏质量和多样性的保证。

再者说，这真的适合需要提升模型本身的分布偏好吗？

在Calibrated Self-Rewarding Vision Language Models文中，通过模型自身输出概率证明了，外来模型构造的偏好数据可能不适合用于模型的偏好学习，相较于模型自身的response，外源模型所构造的数据模型自己说出的概率很小，简单来说对于偏好数据中的负样本模型并不会犯一样的错误，对于偏好数据中的正样本模型也不会讲出那么好的response。

这种偏好数据用于偏好学习可能会引入模型自身分布的偏差导致其他错误，同时因为模型自身说同样话的概率低，用这样的数据来偏好学习增强模型收益很小。

同时传统纯文本大模型领域的Self-rewarding范式存在一定缺陷。

在此前self rewarding提供reward的模型是模型自身，当模型自身无法准确分辨偏好、所具有的知识不够强大的时候，它所提供的反馈可能不够精准或者没用导致所更新的模型的分布无法向着目标分布更新。

为了解决上述问题，来自UNC ,芝加哥大学，UMD和罗格斯大学的研究团队提出了Calibrated Self-Rewarding（CSR），多模态大模型的自我增强因为会存在一个真实图像的参照，这会使得self-rewarding的过程更加可靠。

论文地址: https://arxiv.org/pdf/2405.14622

项目地址：https://github.com/YiyangZhou/CSR

项目页面：https://dongjie-cheng.github.io/CSR.html

整个Calibrated Self-Rewarding（CSR）框架如下：

1. 通过模型本身在beam search过程中的输出构造偏好数据对，过程中的奖励来自于校准的自我奖励：LVLM对于每句话的自我生成概率 + 结合视觉约束奖励，用于奖励校准。

2. 基于每一轮构造的偏好数据在线通过DPO迭代学习。