ACL 2024 Oral|我们离真正的多模态思维链推理还有多远?
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]
(Multi-Domain Multi-step Multi-modal Chain-of-Thought),旨在解决上述问题,并推动多领域、多步和多模态思维链的进步。研究者们还进行了全面的评估,涉及丰富的多模态推理设置与方法。
研究者们还发现当前的多模态大模型在 上的表现存在巨大的性能缺陷,尽管它们在以前的传统多模态思维链基准上表现优异。最后,研究团队希望
能够成为一个有价值的资源,为多领域、多步和多模态思维链的研究提供开创性的基础。
榜单地址:https://lightchen233.github.io/M3CoT.github.io/leaderboard.html 论文地址:https://arxiv.org/abs/2405.16473 代码地址:https://github.com/LightChen233/M3CoT
视觉模态推理缺失样本移除:首先,为解决视觉模态推理缺失的问题, 利用自动和手动相结合的方式移除了那些无需图像即可得出答案的样本。
多步多模态样本构建:这一阶段中,为了保证基准满足多步多模态的要求, 首先自动的去除了推理路径过短的样本,随后通过手动去除和优化样本,确保每一个样本确实需要跨模态的多步推理。
多模态 CoT 领域增强:此外, 通过引入数学和常识领域的数据,将 LaTeX 代码转为图片,并利用大模型生成更多的问题、推理路径和答案,增强了基准的多样性和挑战性。
质量检查:为了保证数据集的质量, 实施了多轮人工审核和自动检测,确保数据的一致性和准确性。
开源模型与 GPT4V 仍有差距:尽管这些模型在现有基准测试中表现优异,但在 上的表现仍有显著差距。尤其是当前的开源 VLLMs 在多步多模态推理方面表现不佳,与 GPT4V 相比存在显著差距。
GPT4V 与人类仍有差距:此外,尽管 GPT4V 在 上的表现优于其他 VLLMs,但与人类表现相比仍存在显著差距。这表明,当前的 VLLMs 在处理复杂的多模态推理任务时仍需进一步改进。
多模态思维链涌现现象:视觉大模型在参数级别超过 100 亿(≥13B)时表现出思维链涌现现象。
单步推理任务的表现远优于多步推理任务。模型在解决多步多模态推理时性能与单步多模态推理有接近 30% 的差距,且随步骤数增加,性能递减。这表明模型在处理复杂多步骤推理时仍存在困难。
提高模型生成的推理过程质量对于提升 的表现至关重要。通过评估多维度的推理质量,研究者们观察到推理质量的提升与
的性能呈现指数级相关关系。提升多模态推理的逻辑质量是解决
的关键瓶颈之一。
多模态信息交互的增加能够显著提升模型的推理性能。由于 要求推理时动态的包含多个跨模态推理步骤,则至少有 2 步跨模态推理,而现有模型推理过程中,平均的跨模态推理步骤数小于 1。这说明未来的研究应注重提高推理过程的质量和多模态信息的交互,以解决当前模型在
上的表现不足。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章