Redian新闻
>
280万条多模态指令-响应对,八种语言通用,首个涵盖视频内容的指令数据集MIMIC-IT来了

280万条多模态指令-响应对,八种语言通用,首个涵盖视频内容的指令数据集MIMIC-IT来了

公众号新闻

机器之心报道

编辑:蛋酱

在包含 280 万条多模态上下文指令 - 相应对的数据集上训练之后,Otter 展现出了优秀的问答能力,并在 ChatGPT 及人类的两项评估中获得了很高的评价。


近段时间来,AI 对话助手在语言任务上取得了不小的进展。这种显著的进步不只是基于 LLM 强大的泛化能力,还应该归功于指令调优。这涉及到在一系列通过多样化和高质量指令的任务上对 LLM 进行微调。


借助指令调优获得零样本性能的一个潜在原因是,它内化了上下文。这很重要,特别是当用户输入跳过常识性的上下文时。通过纳入指令调优,LLM 获得了对用户意图的高度理解,即使在以前未见过的任务中也能表现出更好的零样本能力。


然而,一个理想的 AI 对话助手应该能够解决涉及多种模态的任务。这需要获得一个多样化和高质量的多模式指令跟随数据集。比如,LLaVAInstruct-150K 数据集(也被称为 LLaVA)就是一个常用的视觉 - 语言指令跟随数据集,它是使用 COCO 图像、指令和从 GPT-4 中获得的基于图像说明和目标边界框的响应构建的。但 LLaVA-Instruct-150K 具有三个局限性:有限的视觉多样性;使用图片作为单一视觉数据;上下文信息仅包含语言形态。


为了推动 AI 对话助手突破这些限制,来自新加坡南洋理工大学、微软雷蒙德研究院的学者们提出了多模态上下文指令调优数据集 MIMIC-IT,这是一个包含 280 万条多模态上下文指令 - 相应对的数据集,涵盖各种现实生活场景。


论文地址:https://arxiv.org/pdf/2306.05425.pdf


此外,为了高效地生成指令 - 响应对,研究者还介绍了「Sythus」,这是一个受 self-instruct 方法启发的指令 - 响应注释的自动化 pipeline。Sythus 采用系统信息、视觉注释和上下文中的例子来指导语言模型(GPT-4 或 ChatGPT)根据视觉语境生成指令 - 响应对,针对视觉语言模型的三个基本能力:感知、推理和规划。此外,英文的指令和响应被译成七种语言,以支持多种语言的使用。


特别值得注意的是,研究者在 MIMIC-IT 上训练了基于 OpenFlamingo 的多模态模型「Otter」。通过 ChatGPT、人类两个方面的评估,Otter 的多模态能力超越了近期的其他视觉 - 语言模型。


在一系列 Demo 中,研究者展示了 Otter 的多模态问答能力:


Q:接下来出哪张牌?

A:八筒。这样你就能留着四条和五条,等着凑成顺子。



Q:我想着陆了,怎么操作?

A:按一次左下按钮,左转,要着陆时拉右边的手刹。



Q:接下来怎么办?

A:把球传到中路,跑到球门,寻找进球机会。



接下来,让我们看看研究细节。


MIMIC-IT 数据集

MIMIC-IT 数据集包括 280 万个多模态指令 - 响应对,涵盖了基本能力:感知、推理和计划。每个指令都伴随着多模态的对话背景,使在 MIMIC-IT 上训练的 VLM 能够在交互式指令中表现出很好的熟练度,并能进行零样本的概括。



相比于 LLaVA,MIMIC-IT 的特点包括:


(1) 多样化的视觉场景,包含了一般场景、自我中心视角场景和室内 RGB-D 图像等不同数据集的图像和视频;

(2) 多个图像(或一个视频)作为视觉数据;

(3) 多模态的上下文信息,包括多个指令 - 响应对和多个图像或视频;

(4) 支持八种语言,包括英文、中文、西班牙文、日语、法语、德语、韩语和阿拉伯语。


下图进一步展示了二者的指令 - 响应对对比(黄色方框为 LLaVA):



如表 1 所示,MIMIC-IT 的数据源来自七个数据集:COCO、Spot-the-diff (SD)、ScanNetV2 (SN)、VisualStorytelling (VIST) 、DenseCaption/Activity caption(DC)、TVCaption(TVC)和 Ego4D(E4D)。「上下文」这一列的「lang.」表示语言,「vis.」表示视觉。



Sythus:自动化指令 - 响应对生成 pipeline


同时,研究者提出了 Sythus(图 3),这是一个自动化 pipeline,用于生成多种语言的高质量指令 - 响应对。在 LLaVA 提出的框架基础上,研究者利用 ChatGPT 来生成基于视觉内容的指令 - 响应对。为了确保生成的指令 - 响应对的质量,该 pipeline 将系统信息、视觉注释和上下文中的样本作为 ChatGPT 的 prompt。系统信息定义了所生成的指令 - 响应对的预期语气和风格,而视觉注释则提供了基本的图像信息,如边界框和图像描述。上下文中的样本帮助 ChatGPT 在语境中学习。


由于核心集的质量会影响后续的数据收集过程,研究者采用了一个冷启动策略,在大规模查询之前加强上下文中的样本。在冷启动阶段,采用启发式方法,仅通过系统信息和视觉注释来 prompt ChatGPT 收集上下文中的样本。这个阶段只有在确定了令人满意的上下文中的样本后才结束。在第四步,一旦获得指令 - 响应对,pipeline 会将它们扩展为中文(zh)、日文(ja)、西班牙文(es)、德文(de)、法文(fr)、韩文(ko)和阿拉伯语(ar)。进一步的细节,可参考附录 C,具体的任务 prompt 可以在附录 D 中找到。



经验性评估


随后,研究者展示了 MIMIC-IT 数据集的各种应用以及在其上训练的视觉语言模型 (VLM) 的潜在能力。首先,研究者介绍了使用 MIMIC-IT 数据集开发的上下文指令调优模型 Otter。而后,研究者探索了在 MIMIC-IT 数据集上训练 Otter 的各种方法,并讨论了可以有效使用 Otter 的众多场景。


图 5 是 Otter 在不同场景下的响应实例。由于在 MIMIC-IT 数据集上进行了训练,Otter 能够为情境理解和推理、上下文样本学习、自我中心的视觉助手服务。



最后,研究者在一系列基准测试中对 Otter 与其他 VLM 的性能进行了比较分析。


ChatGPT 评估


下表 2 展示了研究者利用 MMAGIBench 框架 [43] 对视觉语言模型的感知和推理能力进行广泛的评估。



人类评估


Multi-Modality Arena [32] 使用 Elo 评级系统来评估 VLM 响应的有用性和一致性。图 6 (b) 显示 Otter 展示了卓越的实用性和一致性,在最近的 VLM 中获得了最高的 Elo 评级。


少样本上下文学习基准评估


Otter 基于 OpenFlamingo 进行微调,OpenFlamingo 是一种专为多模态上下文学习而设计的架构。使用 MIMIC-IT 数据集进行微调后,Otter 在 COCO 字幕 (CIDEr) [27] 少样本评估(见图 6 (c))上的表现明显优于 OpenFlamingo。正如预期的那样,微调还带来了零样本评估的边际性能增益。


图 6:ChatGPT 视频理解的评估。


讨论


缺陷。虽然研究者已经迭代改进了系统消息和指令 - 响应示例,但 ChatGPT 容易出现语言幻觉,因此它可能会生成错误的响应。通常,更可靠的语言模型需要 self-instruct 数据生成。

未来工作。未来,研究者计划支持更多具体地 AI 数据集,例如 LanguageTable 和 SayCan。研究者也考虑使用更值得信赖的语言模型或生成技术来改进指令集。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
为多模态LLM指明方向,邱锡鹏团队提出具有内生跨模态能力的SpeechGPT我的X档案 - 不可思议之事 2(灵魂出窍)(请勿上城头)硬核科普:大语言模型,都是如何生成内容的音频品鉴与歌唱评价——音频内容理解实践碾压ChatGPT?Meta开源多语言大模型,可识别4000多种语言、错误率仅为OpenAI产品的一半Dolly 2.0发布,首个真正开放、可商用的指令调优LLM训练时间减少71.4%,存储成本节省99.9%,厦大指令调优新方案MMA让羊驼模型实现多模态Meta 开源多语言大模型,可识别 4000 多种语言、错误率仅为 OpenAI 产品的一半KDD2023 | GPT时代医学AI新赛道:16万张图片、70万问答对的临床问答数据集MIMIC-Diff-VQA发布国内首个医疗大语言模型问世!多模态打通诊疗全流程,别再叫我做题家对商业分析感兴趣?不如先来实践一下!|《哔哩哔哩视频内容特色数据分析》“AI孙燕姿”爆火后,Meta发布通用语音生成AI:可合成6种语言,支持多种语音功能未来10年,不懂内容的企业将丧失竞争力|《2023 生意型内容白皮书》CVPR 2023 | 多模态新任务和新数据集!NTU提出广义引用分割问题GRES“超越”(MMCU)中文通用大语言模型测试集--国内首个多领域多任务数据集达摩院猫头鹰mPLUG-Owl亮相:模块化多模态大模型,追赶GPT-4多模态能力YouKu-mPLUG最大中文视频数据集和Benchmark,助力多模态大型模型发展KDD 2023 | GPT时代医学AI新赛道:16万张图片、70万问答对的临床问答数据集MIMIC-Diff-VQA发布腾讯AI Lab发布多模态指令调优语言模型,支持图像、视频等四种不同模态更强更通用:智源「悟道3.0」Emu多模态大模型开源,在多模态序列中「补全一切」5047 血壮山河之武汉会战 鏖战幕府山 16从零训练一个多模态LLM:预训练+指令微调+对齐+融合多模态+链接外部系统用语言建模世界:UC伯克利多模态世界模型利用语言预测未来多模态如何自监督?爱丁堡等最新「自监督多模态学习」综述:目标函数、数据对齐和模型架构震撼开源!首个1万多人共同标注的35种语言的高质量对话数据集来啦逐利的商人和国家利益北京内推 | 中科院自动化所视频内容安全团队招聘算法研究实习生回国-出租司机吐槽,老百姓喜欢的饭菜(多图)中科院发布多模态 ChatGPT,图片、语言、视频都可以 Chat ?中文多模态大模型力作未来10年,不懂内容的企业将丧失竞争力 | 《2023生意型内容白皮书》智源Emu开源!超越DeepMind,刷新8项SOTA,首个「多模态-to-多模态」全能高手《伤心无话》&《一剪梅*舟过吴江》LaVIN—多模态对话模型的高效指令微调多模态大语言模型综述来啦!一文带你理清多模态关键技术浙大滨江院Om中心发布首个大规模图文配对遥感数据集,让通用基础模型也能服务遥感领域
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。