Redian新闻
>
达摩院猫头鹰mPLUG-Owl亮相:模块化多模态大模型,追赶GPT-4多模态能力

达摩院猫头鹰mPLUG-Owl亮相:模块化多模态大模型,追赶GPT-4多模态能力

公众号新闻

机器之心专栏

机器之心编辑部

纯文本大模型方兴未艾,多模态领域也开始涌现出多模态大模型工作,地表最强的 GPT-4 具备读图的多模态能力,但是迟迟未向公众开放体验,于是乎研究社区开始在这个方向上发力研究并开源。MiniGPT-4 和 LLaVA 问世不久,阿里达摩院便推出 mPLUG-Owl ,一个基于模块化实现的多模态大模型。


mPLUG-Owl 是阿⾥巴巴达摩院 mPLUG 系列的最新工作,延续了 mPLUG 系列的模块化训练思想,把 LLM 升级为一个多模态大模型。在 mPLUG 系列工作中,之前的 E2E-VLP 、mPLUG 、mPLUG-2 分别被 ACL2021 、EMNLP2022、ICML2023 录用,其中 mPLUG 工作在 VQA 榜单首超人类的成绩。



今天要介绍的是 mPLUG-Owl,该工作不仅通过大量 cases 展示出优秀的多模态能力,还第一次针对视觉相关的指令理解提出一个全⾯的测试集 OwlEval,通过人工评测对比了已有模型,包括 LLaVA 、MiniGPT-4 、BLIP-2 以及系统类 MM-REACT 等工作,实验结果表明 mPLUG-Owl 展示出更优的多模态能力,尤其在多模态指令理解能力、多轮对话能力、知识推理能力等方⾯表现突出



论文链接:https://arxiv.org/abs/2304.14178

代码链接:https://github.com/X-PLUG/mPLUG-Owl

ModelScope体验地址:

https://modelscope.cn/studios/damo/mPLUG-Owl/summary

HuggingFace体验地址:

https://huggingface.co/spaces/MAGAer13/mPLUG-Owl


多模态能力展示


我们把 mPLUG-Owl 与现有工作进行对比来感受一下 mPLUG-Owl 的多模态效果,值得一提的是,该工作中评比的测试样例基本上都来自已有工作,避免了 cherry pick 问题。


下图 6 展示了 mPLUG-Owl 很强的多轮对话能力。



从图 7 中可以发现,  mPLUG-Owl 具有很强的推理能力。



如图 9 展示了一些笑话解释例⼦。



在该工作中,除了评测对比外,该研究团队还观察到 mPLUG-Owl 初显一些意想不到的能力,比如多图关联、多语⾔、文字识别和文档理解等能力。


如图 10 所示,虽然在训练阶段并没有进行多图关联数据的训练,mPLUG-Owl 展现出了一定的多图关联能力。



如图 11 所示,尽管 mPLUG-Owl 在训练阶段仅使用了英文数据,但其展现出了有趣的多语⾔能力。这可能是因为 mPLUG-Owl 中的语⾔模型使用了 LLaMA,从而出现了这一现象。



尽管 mPLUG-Owl 没有在带有标注的文档数据上进行训练,但其仍然展现出了一定的文字识别和文档理解能力,测试结果如图 12 所示。



方法介绍


该工作提出的 mPLUG-Owl,其整体架构如图 2 所示。



模型结构:它由视觉基础模块(开源的 ViT-L)、视觉抽象模块以及预训练语⾔模型( LLaMA-7B) 组成。视觉抽象模块将较⻓的、细粒度的图像特征概括为少量可学习的 Token,从而实现对视觉信息的⾼效建模。⽣成的视觉 Token 与文本查询一起输⼊到语⾔模型中,以⽣成相应的回复。


模型训练:采用两阶段的训练方式


第一阶段:主要目的也是先学习视觉和语⾔模态间的对⻬。不同于先前的工作,  mPLUG-Owl 提出冻住视觉基础模块会限制模型关联视觉知识和文本知识的能力。  因此 mPLUG-Owl 在第一阶段只冻住 LLM 的参数,采用 LAION-400M,  COYO-700M,  CC 以及 MSCOCO 训练视觉基础模块和视觉摘要模块。


第⼆阶段:延续 mPLUG 和 mPLUG-2 中不同模态混合训练对彼此有收益的发现,Owl 在第⼆阶段的指令微调训练中也同时采用了纯文本的指令数据 (52kfrom Alpaca+90k from Vicuna+50k from Baize) 和多模态的指令数据 (150k from LLaVA)。作者通过详细的消融实验验证了引⼊纯文本指令微调在指令理解等方⾯带来的收益。第⼆阶段中视觉基础模块、视觉摘要模块和原始 LLM 的参数都被冻住,参考 LoRA,只在 LLM 引⼊少量参数的 adapter 结构用于指令微调。


实验结果


SOTA 对比


为了比较不同模型的多模态能力,该工作构建一个多模态指令评测集 OwlEval。由于⽬前并没有合适的自动化指标,参考 Self-Intruct 对模型的回复进行人工评测,打分规则为:A="正确且令人满意";B="有一些不完美,但可以接受";C="理解了指令但是回复存在明显错误";D="完全不相关或不正确的回复"。


对比结果如下图 3 所示,实验证明 Owl 在视觉相关的指令回复任务上优于已有的 OpenFlamingo 、BLIP-2 、LLaVA、MiniGPT-4。



多维度能力对比


多模态指令回复任务中牵扯到多种能力,例如指令理解、视觉理解、图⽚上文字理解以及推理等。为了细粒度地探究模型在不同能力上的⽔平,本文进一步定义了多模态场景中的 6 种主要的能力,并对 OwlEval 每个测试指令人工标注了相关的能力要求以及模型的回复中体现了哪些能力。


结果如下表格 6 所示,在该部分实验,作者既进行了 Owl 的消融实验,验证了训练策略和多模态指令微调数据的有效性,也和上一个实验中表现最佳的 baseline— MiniGPT4 进行了对比,结果显示 Owl 在各个能力方⾯都优于 MiniGPT4。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
为多模态LLM指明方向,邱锡鹏团队提出具有内生跨模态能力的SpeechGPTGPT-3 计划开源!Sam Altman 自曝急缺 GPU,GPT-4 多模态能力明年开放GPT-4刷屏,这家中国AI企业多模态大模型已落地应用多年,新版本内测了(可申请)中科院发布多模态 ChatGPT,图片、语言、视频都可以 Chat ?中文多模态大模型力作宾州德文(Devon)马术表演,获奖笑容在线可玩:阿里开源多模态大模型mPLUG-Owl,电影问答、梗图理解、多轮聊天……李志飞:关于GPT-4的八点观察,多模态大模型竞赛开始BLIP-2、InstructBLIP稳居前三!十二大模型,十六份榜单,全面测评「多模态大语言模型」原达摩院大模型 M6 带头人杨红霞加入字节,语言生成大模型再迎新玩家VPGTrans: 10%的成本定制你自己的类GPT-4多模态大模型让ChatGPT调用10万+开源AI模型!HuggingFace新功能爆火:大模型可随取随用多模态AI工具GPT-4震撼发布:多模态大模型,升级ChatGPT和必应,开放API,太太太强了!港中文深圳推出检索新范式:模块化检索,可解释性及泛化性更强阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-Owl训练开销骤减,10%成本定制专属类GPT-4多模态大模型清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳我今早把我今年订了还没收到的花整理整理 加深印象给语言大模型加上综合视听能力,达摩院开源Video-LLaMAVPGTrans: 用10%的成本定制一个你自己的GPT-4多模态对话模型360正式发布自研大模型,周鸿祎:国产大模型追赶GPT4的速度远超想象VPGTrans: 用10%的成本定制一个你自己的GPT4多模态对话模型模块化大模型来了!IBM公开WastonX核心架构技术细节达摩院发布大模型测试基准:GPT-4勉强及格,其他模型悉数落败爱尔兰岛自驾(4)-开往野性大西洋之路,Ring of Kerry追赶GPT-4的多模态大模型对比分析去全球化往哪去训练成本不到1000元,直降90%!NUS、清华发布VPGTrans:轻松定制类GPT-4多模态大模型YouKu-mPLUG最大中文视频数据集和Benchmark,助力多模态大型模型发展ICML 2023 | 基于模块化思想,阿里达摩院提出多模态基础模型mPLUG-2三八节,女人不八卦GPT-3计划开源!Sam Altman自曝急缺GPU,GPT-4多模态能力明年开放威大哥大等联合发文!最新多模态大模型LLaVA问世,水平直逼GPT-4微软:多模态大模型GPT-4就在下周,撞车百度?GPT-4震撼发布:多模态大模型,直接升级ChatGPT、必应,开放API,游戏终结了?多模态大语言模型综述来啦!一文带你理清多模态关键技术
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。