Redian新闻
>
MiniGPT-4升级到MiniGPT-v2了,不用GPT-4照样完成多模态任务

MiniGPT-4升级到MiniGPT-v2了,不用GPT-4照样完成多模态任务

公众号新闻

机器之心专栏

机器之心编辑部

MiniGPT-v2 将大语言模型作为视觉语言多任务学习的统一接口。


几个月前,来自 KAUST(沙特阿卜杜拉国王科技大学)的几位研究者提出了一个名为 MiniGPT-4 的项目,它能提供类似 GPT-4 的图像理解与对话能力。

例如 MiniGPT-4 能够回答下图中出现的景象:「图片描述的是生长在冰冻湖上的一株仙人掌。仙人掌周围有巨大的冰晶,远处还有白雪皑皑的山峰……」假如你接着询问这种景象能够发生在现实世界中吗?MiniGPT-4 给出的回答是这张图片在现实世界中并不常见,并给出了原因。


短短几个月过去了,近日,KAUST 团队以及来自 Meta 的研究者宣布,他们将 MiniGPT-4 重磅升级到了 MiniGPT-v2 版本。


论文地址:https://arxiv.org/pdf/2310.09478.pdf
论文主页:https://minigpt-v2.github.io/
Demo: https://minigpt-v2.github.io/

具体而言,MiniGPT-v2 可以作为一个统一的接口来更好地处理各种视觉 - 语言任务。同时,本文建议在训练模型时对不同的任务使用唯一的识别符号,这些识别符号有利于模型轻松的区分每个任务指令,并提高每个任务模型的学习效率。

为了评估 MiniGPT-v2 模型的性能,研究者对不同的视觉 - 语言任务进行了广泛的实验。结果表明,与之前的视觉 - 语言通用模型(例如 MiniGPT-4、InstructBLIP、 LLaVA 和 Shikra)相比,MiniGPT-v2 在各种基准上实现了 SOTA 或相当的性能。例如 MiniGPT-v2 在 VSR 基准上比 MiniGPT-4 高出 21.3%,比 InstructBLIP 高出 11.3%,比 LLaVA 高出 11.7%。


下面我们通过具体的示例来说明 MiniGPT-v2 识别符号的作用。

例如,通过加 [grounding] 识别符号,模型可以很容易生成一个带有空间位置感知的图片描述:


通过添加 [detection] 识别符号,模型可以直接提取输入文本里面的物体并且找到它们在图片中的空间位置:


框出图中的一个物体,通过加 [identify] ,可以让模型直接识别出来物体的名字:


通过加 [refer] 和一个物体的描述,模型可以直接帮你找到物体对应的空间位置:


你也可以不加任何任务识别符合,和图片进行对话:


模型的空间感知也变得更强,可以直接问模型谁出现在图片的左面,中间和右面:


方法介绍

MiniGPT-v2 模型架构如下图所示,它由三个部分组成:视觉主干、线性投影层和大型语言模型。


视觉主干:MiniGPT-v2 采用 EVA 作为主干模型,并且在训练期间会冻结视觉主干。训练模型的图像分辨率为 448x448 ,并插入位置编码来扩展更高的图像分辨率。

线性投影层:本文旨在将所有的视觉 token 从冻结的视觉主干投影到语言模型空间中。然而,对于更高分辨率的图像(例如 448x448),投影所有的图像 token 会导致非常长的序列输入(例如 1024 个 token),显着降低了训练和推理效率。因此,本文简单地将嵌入空间中相邻的 4 个视觉 token 连接起来,并将它们一起投影到大型语言模型的同一特征空间中的单个嵌入中,从而将视觉输入 token 的数量减少了 4 倍。

大型语言模型:MiniGPT-v2 采用开源的 LLaMA2-chat (7B) 作为语言模型主干。在该研究中,语言模型被视为各种视觉语言输入的统一接口。本文直接借助 LLaMA-2 语言 token 来执行各种视觉语言任务。对于需要生成空间位置的视觉基础任务,本文直接要求语言模型生成边界框的文本表示以表示其空间位置。

多任务指令训练

本文使用任务识别符号指令来训练模型,分为三个阶段。各阶段训练使用的数据集如表 2 所示。


阶段 1:预训练。本文对弱标记数据集给出了高采样率,以获得更多样化的知识。

阶段 2:多任务训练。为了提高 MiniGPT-v2 在每个任务上的性能,现阶段只专注于使用细粒度数据集来训练模型。研究者从 stage-1 中排除 GRIT-20M 和 LAION 等弱监督数据集,并根据每个任务的频率更新数据采样比。该策略使本文模型能够优先考虑高质量对齐的图像文本数据,从而在各种任务中获得卓越的性能。

阶段 3:多模态指令调优。随后,本文专注于使用更多多模态指令数据集来微调模型,并增强其作为聊天机器人的对话能力。

最后,官方也提供了 Demo 供读者测试,例如,下图中左边我们上传一张照片,然后选择 [Detection] ,接着输入「red balloon」,模型就能识别出图中红色的气球:


感兴趣的读者,可以查看论文主页了解更多内容。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
凯利安—墨菲和电影《奥本海默》ChatGPT最重大更新来了:多模态将上线,能说会看了《愿天地安详》&《回来》挑战GPT-4V!清华唐杰&智谱开源多模态14边形战士,在线可玩5139 血壮山河之武汉会战 信罗战役 12清华团队攻破GPT-4V、谷歌Bard等模型,商用多模态大模型也脆弱?闲话枫泾镇报告丨这份AI研究报告,快速搞清楚ChatGPT、Gen-AI、大模型、多模态...7个理由:从Java8升级到Java17笑谈邂逅(34)张必锟先生应邀到农垦中学当顾问CNN能搞多模态了!UniRepLKNet:大核CNN一统多种模态,图像/视频/点云/时序/音频均达SOTA水平!横扫13个视觉语言任务!哈工深发布多模态大模型「九天」,性能直升5%实现输入到输出「模态自由」, NUS华人团队开源NExT-GPT,最接近AGI的大一统多模态大模型来了破解一切模态,无限接近AGI!新加坡华人团队开源全能「大一统」多模态大模型ChatGPT Plus推出邀请制!可以让朋友免费用GPT-4了,最长90天北大&腾讯打造多模态15边形战士!语言作“纽带”,拳打脚踢各模态,超越Imagebind传OpenAI秘密训练GPT-5;腾讯混元大模型或本周亮相;首个中英语音多模态LLM开源挑战GPT-4V,浙大校友推出开源版多模态大模型,获GitHub 6k+星标ColorOS 14×安卓14升级公测计划公布,适配机型和招募时间公开语言、机器人破壁,MIT等用GPT-4自动生成模拟任务,并迁移到真实世界用GPT-4训练机器人,英伟达最新Agent开源:任务越复杂越拿手刚刚开源!中科大提出利用GPT4-V构建大规模高质量图文数据集ShareGPT4V,助力模型霸榜多项多模态榜单!AI搞定谷歌验证码,最新多模态大模型比GPT-4V空间理解更准确 | 苹果AI/ML团队传谷歌开始小范围测试Gemini:比训练GPT-4算力大5倍,多模态能力大提升北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务重磅课程再次升级,一次性搞定大模型多模态AIGC与强化学习 --《2023秋季AIGC大模型与强化学习前沿技术实战》 招生简章MacBookPro新增深空黑配色/华为鸿蒙4升级设备数量破亿/字节跳动宣布除夕统一放假上海内推 | 小红书多模态算法组招聘多模态CV/NLP算法实习生GPT-5明年降临?爆料人泄露多模态Gobi就是GPT-5,已初现自我意识OpenAI最新大模型曝光:剑指多模态,GPT-4之后最大升级ChatGPT多模态解禁,网友玩疯!拍图即生代码,古卷手稿一眼识别,图表总结超6正面硬刚GPT-4V!浙大校友开源多模态大模型LLaVA-1.5,130亿参数8个A100一天训完GPT-5来了?OpenAI被曝加急训练多模态大模型Gobi,一举狙杀谷歌Gimini!GPT-4完成正确率仅6%!北大等提出首个「多轮、多模态」PPT任务完成基准PPTCPICO预研交互升级,自研多模态追踪算法,裁掉手柄大圆环
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。