Redian新闻
>
多模态LLM幻觉问题降低30%!业内首个“啄木鸟”免重训方法诞生|中科大

多模态LLM幻觉问题降低30%!业内首个“啄木鸟”免重训方法诞生|中科大

公众号新闻
丰色 发自 凹非寺
量子位 | 公众号 QbitAI

还在用指令微调解决多模态大模型的“幻觉”问题吗?

比如下图中模型将橙色柯基错认为“红狗”,还指出周围还有几条

现在,中科大的一项研究想到了一个全新办法:

一个免重训、即插即用的通用架构,直接从模型给出的错误文本下手,“倒推”出可能出现“幻觉”之处,然后与图片确定事实,最终直接完成修正。

他们将这个方法命名为“啄木鸟”(Woodpecker)

就像这位所谓的“森林医生”先找出树木的虫洞再吃掉里面的虫子一样,本文中所提出的“啄木鸟”也是多模态大模型们的“幻觉”医生,能够将问题先诊断出来再一一纠正。

结果是“医术确实高明”,成功将:

(1)MiniGPT-4的准确性从54.67%提高到了85.33%

(2)mPLUG Ow的准确性从62%提到了86.33%

如下图所示,各种难以检测到的小对象、复杂的计数场景,它都能没问题。

那么,它具体是如何诊断的呢?

“啄木鸟法”治疗多模态LLM幻觉

目前,业内对于大模型幻觉问题的解决办法基本都是用特定数据进行指令微调。

比如说,一些多模态大模型(MLLM)在回答问题时总是倾向于肯定答案(eg. 面对一个光头人物图,问它头发是什么颜色,张口就说“黑”),那么我们再喂给模型一些包含负样本的数据,就能解决它“无中生有”的幻觉,遇到没有的就说“no”。

除了指令微调,也有的会进行架构调整,反正都要重新训练一个新的模型。

本文提出的“啄木鸟”框架,是业内第一个无需此操作就能解决“幻觉”的全新办法。

它一共分为5个步骤,每一步都采用了清晰透明的设计方式,因此具备良好的可解释性。

具体而言:

第一步,关键概念提取。

指找出模型给出的答案中提到的主要对象,即最有可能解除“幻觉”的元素。

例如对于下图,多模态大模型最开始可能描述图中有一辆自行车停在一个垃圾桶旁边,还说图上有几个人从垃圾桶旁边走过。

那么,我们就可以得到三个关键概念:自行车、垃圾桶和人。

第二步,问题构造。

指在获取关键概念后,围绕它们提出一些问题有助于检验“幻觉”所在的问题。

可主要分为对象层面和属性层面,前者可以问“图中有几辆自行车?”,后者可问“垃圾桶位于什么位置?”。

在此,由于属性问题比较依赖于上下文,作者也用了一些带有上下文的例子来提示模型,以便提出的问题更有意义

第三步,视觉验证。

指引用专家模型回答上步提出的所有问题,方便后续校正。

对于对象层面的问题,例如我们利用GroundingDINO来进行目标检测,确定关键目标是否存在以及关键目标的数量。

对于属性问题,则用BLIP-2来搞定。这类传统VQA模型输出答案的长度有限,"幻觉"问题更少。

第四步,视觉断言生成。

简单来说,就是基于于前两步中获得的问题以及对应的视觉信息,合成结构化的“视觉断言”。

格式如下:

最后,“幻觉”纠正。

即根据上步的总结比对模型原始的输出,得出新的答案。

具体实施环节中,“啄木鸟”采用GPT-3.5-turbo来完成关键概念提取、提问和最后一步的纠正。

由于一些多模态模型的指令跟随能力较弱,导致结果可能输出无关文本(例如表情、特殊符号),再加上有时一些模型只输出一个“是”或“否”,这让实际的校正过程也面临挑战。

不过,我们两个简单措施就可以搞定:

(1)将模型回答的“是”或“否”与“啄木鸟”给出的答案组合起来,比如“是的,图像中有一只狗”,就不怕模型原本只是给出一个简单的“yes or no”逃过校正了。

(2)在校正过程中,将原始问题添加到LLM,以便LLM更好地掌握文本和任务要求。

效果验证:幻觉减少30%

整个方法看起来非常好理解,效果如何呢?

在此,作者在POPE、MME和LLaVA-QA90数据集上进行了全面的定量和定性实验。

基线模型选用这四个主流多模态大模型:

MiniGPT-4、mPLUG Owl、LLaVA和Otter。

最终,POPE数据集上的结果如下:

(w/Ours表示由“啄木鸟”校正的MLLM响应,x为未采用,对勾为采用)

可以看到,“啄木鸟”都能给这几个模型带来不同程度的提升,同时大幅降低模型回答“yes”的概率。

其中在随机设定下,它给MiniGPT-4和mPLUG-Owl和在准确率指标上分别带来了30.66%和24.33%的提升

在更全面的MME数据集上,“啄木鸟”也有效减少了多模态大模型在对象级和属性级层面的“幻觉”,也就是某物是否存在、数量多少,以及它的位置和颜色。

比如LLaVA的颜色得分从78.33分大幅提升到155分。

不过,位置方面的“幻”提升不是特别大,作者推测可能是VQA模型BLIP-2在位置推理方面的能力相对较弱等原因造成的。

为了更直接地衡量修正表现,更直接的方式是使用开放评测

不同于以往将图片转译后送入纯文本GPT-4的做法,作者利用OpenAI最近开放的视觉接口,提出使用GPT-4V对修正前后的图片描述直接对下列两个维度进行打分:

(1)准确度:模型的答复相对于图片内容是否准确;

(2)细节程度:模型答复的细节丰富度。 

在该实验条件下,实验结果如下表所示(满分为10)


结果表明经过“啄木鸟“修正后图片描述的准确性有一定的提升,这说明该框架可以有效修正描述中幻视的部分。

另一方面,“啄木鸟“修正后引入的定位信息丰富了文本描述,提供了进一步的位置信息,从而提升了细节丰富度。

GPT-4V辅助的评测样例如下图所示:

试玩

还有Demo供大家测试使用。

如下图所示,上传图片并输入请求,就可以得到修正前以及修正后的模型答复,以及供参考验证的新图片。

 

Woopecker论文地址:
https://arxiv.org/abs/2310.16045 
Woopecker代码地址:
https://github.com/BradyFU/Woodpecker

「量子位2023人工智能年度评选」开始啦!

今年,量子位2023人工智能年度评选从企业、人物、产品/解决方案三大维度设立了5类奖项!欢迎扫码报名 

MEET 2024大会已启动!点此了解详情


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Continuous Batching:解锁LLM潜力!让LLM推断速度飙升23倍,降低延迟!深圳内推 | 微信视觉团队招聘AIGC/多模态/LLM等方向算法实习生5147 血壮山河之武汉会战 崩溃 7低成本扩大输入分辨率!华科大提出Monkey:新的多模态大模型实现输入到输出「模态自由」, NUS华人团队开源NExT-GPT,最接近AGI的大一统多模态大模型来了破解一切模态,无限接近AGI!新加坡华人团队开源全能「大一统」多模态大模型红色日记 51-15DreamLLM:多功能多模态大型语言模型,你的DreamLLM~论文指导 | QS前50欧洲博后1v1带发ACL2024,NLG/LLM/多模态幻觉降低30%!首个多模态大模型幻觉修正工作WoodpeckerOppenheimer 观后感带我家来的小留去吃生鱼片(图)北大&腾讯打造多模态15边形战士!语言作“纽带”,拳打脚踢各模态,超越Imagebind多模态物体幻觉下降23%!UNC斯坦福等推出通用修正器LURE:兼容任意LVLM,专攻三大幻觉成因无痛缓解多模态大模型幻觉!基于注意力惩罚与回退机制的解码方法「OPERA」无需额外知识或训练!中科大等提出OPERA:缓解多模态大模型幻觉问题的基于注意力惩罚与回退策略的解码方法UC伯克利团队开源MemGPT大模型上下文内存管理方案;AgentLM、多模态Fuyu-8B、数学LLEMMA等专用大模型开源多模态大模型幻觉降低30%!中科大等提出首个幻觉修正架构「Woodpecker」啄木鸟怎么让幻觉降低30%?CNN能搞多模态了!UniRepLKNet:大核CNN一统多种模态,图像/视频/点云/时序/音频均达SOTA水平!中科大&字节提出UniDoc:统一的面向文字场景的多模态大模型国产大模型黑马诞生,千亿级拿下双榜第一!知识正确性能力突出,大幅降低LLM幻觉问题天工大模型登顶多模态榜单!解决幻觉、跨语言两大难题港科大唐本忠院士、深圳大学王东/张志军JACS|多则优也:双受体工程构筑高效的近红外二区多模态AIEgens原来这些问题降低了人们居住在麻州的可能性官方批复:同意破产!业内首家,目前已停业一文详解大模型归因机制,幻觉问题有救了!港大&百度提出LLMRec:基于LLM增强的多模态图神经网络推荐华为“啄食”,从“穷者”下手你有多高调我就能多低调!AI海洋中的海妖之歌:腾讯AI Lab大模型幻觉问题综述上海内推 | 小红书多模态算法组招聘多模态CV/NLP算法实习生LLM幻觉问题全梳理!哈工大团队50页综述重磅发布刚刚开源!中科大提出利用GPT4-V构建大规模高质量图文数据集ShareGPT4V,助力模型霸榜多项多模态榜单!传OpenAI秘密训练GPT-5;腾讯混元大模型或本周亮相;首个中英语音多模态LLM开源
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。