Redian新闻
>
零一万物Yi-VL多模态大模型开源,MMMU、CMMMU两大权威榜单领先

零一万物Yi-VL多模态大模型开源,MMMU、CMMMU两大权威榜单领先

公众号新闻

机器之心发布

机器之心编辑部


1 月 22 日,零一万物 Yi 系列模型家族迎来新成员:Yi Vision Language(Yi-VL)多模态语言大模型正式面向全球开源。据悉,Yi-VL 模型基于 Yi 语言模型开发,包括 Yi-VL-34B 和 Yi-VL-6B 两个版本

Yi-VL 模型开源地址:
  • https://huggingface.co/01-ai
  • https://www.modelscope.cn/organization/01ai

凭借卓越的图文理解和对话生成能力,Yi-VL 模型在英文数据集 MMMU 和中文数据集 CMMMU 上取得了领先成绩,展示了在复杂跨学科任务上的强大实力。

MMMU(全名 Massive Multi-discipline Multi-modal Understanding & Reasoning 大规模多学科多模态理解和推理)数据集包含了 11500 个来自六大核心学科(艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程)的问题,涉及高度异构图像类型和交织文本图像信息,对模型的高级知觉和推理能力提出了极高要求。在该测试集上,Yi-VL-34B 以 41.6% 的准确率表现超越了一系列多模态大模型,仅次于 GPT-4V(55.7%),展现出强大的跨学科知识理解和应用能力。

来源:https://mmmu-benchmark.github.io

在针对中文场景打造的 CMMMU 数据集上,Yi-VL 模型展现了「更懂中国人」的独特优势。CMMMU 包含了约 12000 道源自大学考试、测验和教科书的中文多模态问题。其中,GPT-4V 在该测试集上的准确率为 43.7%, Yi-VL-34B 以 36.5% 的准确率紧随其后,在现有的开源多模态模型中处于领先位置。

来源:https://cmmmu-benchmark.github.io/

那么,Yi-VL 模型在图文对话等多元场景中的表现如何?

我们先看两个示例:



可以看到,基于 Yi 语言模型的强大文本理解能力,只需对图片进行对齐,就可以得到不错的多模态视觉语言模型 —— 这也是 Yi-VL 模型的核心亮点之一。

Yi-VL 模型架构设计和训练方法流程一览。

架构设计上,Yi-VL 模型基于开源 LLaVA 架构,包含三个主要模块:

  • Vision Transformer(简称 ViT)用于图像编码,使用开源的 OpenClip ViT-H/14 模型初始化可训练参数,通过学习从大规模「图像 - 文本」对中提取特征,使模型具备处理和理解图像的能力。
  • Projection 模块为模型带来了图像特征与文本特征空间对齐的能力。该模块由一个包含层归一化(layer normalizations)的多层感知机(Multilayer Perceptron,简称 MLP)构成。这一设计使得模型可以更有效地融合和处理视觉和文本信息,提高了多模态理解和生成的准确度。
  • Yi-34B-Chat 和 Yi-6B-Chat 大规模语言模型的引入为 Yi-VL 提供了强大的语言理解和生成能力。该部分模型借助先进的自然语言处理技术,能够帮助 Yi-VL 深入理解复杂的语言结构,并生成连贯、相关的文本输出。

训练方法上,Yi-VL 模型的训练过程分为三个精心设计的阶段,旨在全面提升模型的视觉和语言处理能力。

  • 第一阶段:零一万物使用 1 亿张的「图像 - 文本」配对数据集训练 ViT 和 Projection 模块。在这一阶段,图像分辨率被设定为 224x224,以增强 ViT 在特定架构中的知识获取能力,同时实现与大型语言模型的高效对齐。
  • 第二阶段:零一万物将 ViT 的图像分辨率提升至 448x448,这一提升让模型更加擅长识别复杂的视觉细节。此阶段使用了约 2500 万「图像 - 文本」对。
  • 第三阶段:零一万物开放整个模型的参数进行训练,目标是提高模型在多模态聊天互动中的表现。训练数据涵盖了多样化的数据源,共约 100 万「图像 - 文本」对,确保了数据的广泛性和平衡性。

零一万物技术团队同时也验证了可以基于 Yi 语言模型强大的语言理解和生成能力,用其他多模态训练方法比如 BLIP、Flamingo、EVA 等快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。Yi 系列模型可以作为多模态模型的基座语言模型,给开源社区提供一个新的选项。

目前,Yi-VL 模型已在 Hugging Face、ModelScope 等平台上向公众开放,用户可通过以下链接亲身体验这款模型在图文对话等多元场景中的优异表现。欢迎探索 Yi-VL 多模态语言模型的强大功能,体验前沿的 AI 技术成果。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
零一万物 API 上线,用户反馈多模态中文图表体验超过 GPT-4V震惊!!!谷歌发布最强多模态大模型Gemini省机票的一些诀窍横扫13个视觉语言任务!哈工深发布多模态大模型「九天」,性能直升5%Hugging Face宣布最受欢迎的AI机构;零一万物上线Yi-34B-Chat微调模型及量化版丨AIGC日报零一万物发布Yi-VL多模态语言模型并开源,测评仅次于GPT-4V年轻人的第一个多模态大模型:1080Ti轻松运行,已开源在线可玩AI早知道|ChatGPT模型大更新;阿里云发布多模态大模型;百度推多模态模型UNIMO-G无痛缓解多模态大模型幻觉!基于注意力惩罚与回退机制的解码方法「OPERA」北京获准的大模型占全国近半;OpenAI CEO筹建AI芯片公司;零一万物多模态语言模型上线丨AIGC大事日报零一万物 Yi 大模型最新评测,英语能力仅次于 GPT-4桃花依旧笑春风OpenAI调查ChatGPT错误率升高问题;零一万物上线Yi微调模型;Adobe收购印度AI视频创企丨AIGC大事日报​AAAI 2024 | 首个多模态实体集扩展数据集MESED和多模态模型MultiExpan将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7B2B参数性能超Mistral-7B:面壁智能多模态端侧模型开源骁龙888实时运行,美团、浙大等打造全流程移动端多模态大模型MobileVLM北京内推 | 阿里淘天集团招聘大模型/多模态大模型算法实习生6055 血壮山河 卢沟桥之变 24超越 GPT-4V 和 Gemini Pro!HyperGAI 发布最新多模态大模型 HPT,已开源AI早知道|抖音即创平台上线;零一万物发布并开源Yi微调模型;亚马逊宣布推出全新一代语音基础模型驱动的ASR系统低成本扩大输入分辨率!华科大提出Monkey:新的多模态大模型北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务GPT-4V只能排第二!华科大等发布多模态大模型新基准:五大任务14个模型全面测评让上帝的归上帝,让世俗的归世俗台湾政坛上新的两位女将· 蓝白合破局倒计时骁龙888实时运行!美团&浙大等打造移动端多模态大模型MobileVLMAI早知道|Figure发布第一个OpenAI大模型加持的机器人demo;零一万物全面开放笛卡尔向量数据库搜索内核AI早知道|Claude计划增加图像识别;Yi-VL多模态语言模型全球开源文末送书 | 及时雨!《多模态大模型:技术原理与实战》首发上市世界顶尖多模态大模型开源!又是零一万物,又是李开复腾讯发表多模态大模型最新综述,从26个主流大模型看多模态效果提升关键方法大模型+自动驾驶=?普渡大学等最新《自动驾驶领域多模态大型语言模型》综述无需额外知识或训练!中科大等提出OPERA:缓解多模态大模型幻觉问题的基于注意力惩罚与回退策略的解码方法谷歌发布Gemini,负责人:原生多模态大模型是AI「新品种」,正探索与机器人结合
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。