Redian新闻
>
大模型版“5年高考3年模拟”来了!6141道数学题,还是多模态的那种|微软&UCLA&UW联合出品

大模型版“5年高考3年模拟”来了!6141道数学题,还是多模态的那种|微软&UCLA&UW联合出品

公众号新闻
Pan Lu 投稿
量子位 | 公众号 QbitAI

大模型的“5年高考3年模拟”数学题来了,还是加强强强版!

微软、加州大学洛杉矶分校(UCLA)、华盛顿大学(UW)联合打造全新多模态数学推理基准数据集

名为“MathVista”

涵盖各种题型共6141个问题,来源于28个现有的多模态数据集3个新标注的数据集

这下想要知道一个大模型数学水平怎么样,直接让它来做这份试卷。

12个最新的大模型已经抢先体验了一把试题难度。

一份112页的详细评测报告连同数据集一起发布。

报告显示,面对MathVista中丰富的任务类型、推理方式和图像类型,即使是当前最先进的GPT-4V做起来都有“挫败感”,准确率为49.9%,和人类还有10.4%的差距。

Bard排名第二,准确率为34.8%,差距再次拉大。

此外,报告中还深入分析了GPT-4V自我验证自洽性多轮对话能力的研究潜力等。

详细内容我们接着往下看。

MathVista基准数据集

数学推理能力被视为实现AGI关键一步。除了传统的纯文字场景,许多数学研究和应用还涉及到丰富的图形内容

然而,大模型在视觉场景下的数学推理能力尚未被系统地研究。

因此,微软联合加州大学洛杉矶分校(UCLA)和华盛顿大学(UW)共同开发了这一多模态数学推理基准数据集——MathVista,聚焦于视觉场景下的数学问答任务。

正如上文提到的,MathVista包含6141个数学问题,来自于28个现有数据集3个新标注数据集

其中三个新标注的数据集是IQTestFunctionQAPaperQA,各有特色。

IQTest侧重于智力测试题,FunctionQA专注于函数图形的推理,而PaperQA则关注于对文献中的图表进行深入理解,有效地弥补了现有数据集的不足。

此外,MathVista覆盖了两种主要的任务类型:多选题(占比55.2%)和数值型开放题(占比44.8%)。

包括五大任务类别:图形问答(FQA)、几何解题(GPS)、数学应用题(MWP)、教材问答(TQA)和视觉问答(VQA)。

这些任务类别代表了当前数学推理领域的前沿挑战。

细分来看,MathVista定义了数学推理的七大能力领域,包括算术、统计、代数、几何、数值常识、科学和逻辑

这些领域涵盖了数学推理的核心要素,体现了MathVista在数学认知范围的全面覆盖。

在图像类型的多样性方面,MathVista也展现了其独特的广度和深度。

该数据集包含了十余种不同的图像类型

自然图像几何图表 :

抽象场景合成场景


以及各种图形、图表和绘图

这种丰富的图像类型不仅增加了数据集的复杂性,也为多模态大模型在处理不同类型的视觉信息时提供了全面的挑战。

全面量化评估

研究报告中,首次对当前大型模型在视觉场景下的数学推理能力进行了全面量化评估。

报告中使用的MathVista数据集分为两个子集:minitest和test

minitest子集含有1000个问题,主要用于快速评估模型性能

而test子集则包含剩余的5141个问题,旨在进行模型的标准化评估,为了避免测试数据污染,该子集的答案标签数据不对外公开

模型评估过程分为三个关键阶段:生成回答抽取答案计算分数

在生成回答阶段,根据测试问题的类型,研究团队使用了特定的模板来引导模型输出答案。

考虑到当前大型模型通常以对话形式输出长文本回答,报告中的实验设计了一个基于GPT-4的答案抽取器

这个抽取器通过几个实例提示GPT-4,从模型的长文本回答中抽取出符合题目类型的短答案。这种方法有效地克服了传统人工评估的高成本问题和基于规则的答案抽取可能导致的不准确性。

随后,这些抽取出来的短文本答案被用于计算模型的总体准确率以及在不同子分类别下的准确率。

大模型们表现如何?

实验在testmini子集上评估了12种大模型:包括ChatGPT、GPT-4和Claude-2三个大语言模型,以及LLaVA、LLaMA-Adapter、miniGPT-4、Bard和GPT-4V等九种多模态大模型

对于大语言模型,实验设计了两种形式:

第一种只利用问题的文字信息;

第二种是使用图片的Captioning描述和OCR文作为外部增强信息。

此外,实验还完成了两种随机基准和人类表现基准。

实验结果显示,当前的大模型在MathVista上的整体表现仍有待提升。

表现最佳的GPT-4V模型达到了49.9%的准确率,但这与人类的60.3%表现相比还有显著差距。

其次是Bard模型,准确率为34.8%,而目前最好的开源模型LLaVA的准确率则为26.1%。

这些数据表明,大模型在视觉背景下的数学推理能力还有很大的提升空间。

有趣的是,当结合图像OCR和Captioning信息时,大语言模型GPT-4的表现(33.9%)接近于多模态模型Bard(34.8%)。这一发现显示,通过适当的工具增强,大型语言模型在多模态领域具有巨大的潜力。

实验还对主要模型在不同数学推理能力和图像类型子类上的表现进行了量化评估。

结果显示,GPT-4V在诸如代数、几何和科学领域的推理能力上,以及在处理表格、函数图、几何图像、散点图和科学图形等图像类型时,其表现接近甚至超过了人类

在test子集的评估中,实验比较了最佳的两个大语言模型(CoT/PoT GPT-4)和最好的开源大型多模态模型(LLaVA),提供了一个全面的模型性能概览。

下面是更为详细的分析。

Bard在MathVista中的表现

在MathVista上的评估显示,Bard模型的总体表现紧随GPT-4之后。通过具体案例分析,报告发现Bard模型经常产生所谓的“幻觉现象”,即在生成的答案中引入了问题文本和图片中不存在的信息。

此外,Bard在进行数学运算时也容易出现错误

例如,在下面的例子中,Bard在简化分式8/10的过程中犯了计算错误。这种问题突显了模型在处理数学问题时的局限性。

GPT-4在MathVista上的表现

虽然GPT-4本质上是一种语言模型,但通过工具增强(例如OCR文字和captioning描述的结合),它在MathVista上的性能可以达到与多模态模型Bard相当的水平

具体来说,当引入这些图片的OCR文字和Captioning描述作为辅助输入信息时,GPT-4能够成功解决许多多模态数学问题。这一发现显示了GPT-4在多模态问题处理方面的潜力。

然而,GPT-4对这些增强信息的准确性有着极高的依赖性

如果这些OCR文字或Captioning描述存在错误或不准确性,GPT-4在推理过程中就很容易走向错误的方向,从而导致不正确的结果。

这一点凸显了在使用工具增强大型语言模型时,输入信息质量的重要性。

GPT-4V在MathVista上的全方位分析

GPT-4V作为目前最先进的多模态大模型,对其能力的深入分析对未来的研究具有重要意义。报告通过大量实例详尽分析了GPT-4V在不同维度的能力,特别是在自我验证自洽性多轮对话方面的巨大潜力。

  • 代数推理能力:

在MathVista的代数问题中,GPT-4V展现了理解图像中函数并推断其性质的出色能力,甚至超过了其他大型模型和人类。但在处理低分辨率图像和多函数图像时,GPT-4V仍面临挑战。

  • 数值计算能力:

MathVista中的算术问题不仅需要准确的基础运算,还需理解多样化视觉场景。如下图所示,GPT-4V在此方面相比现有模型表现出显著的提升。

  • 几何推理能力:

在几何推理方面,GPT-4V在MathVista上的表现与人类相当。在以下两个例子中,无论是小学难度还是高年级难度的问题,GPT-4V均能给出正确答案,并附有详细解释。



  • 逻辑推理能力:

在MathVista的逻辑推理问题中,模型需从抽象图形中推导出数字或形状的隐含规律。GPT-4V在这方面遇到了挑战,其准确率仅为21.6%,仅略高于随机猜测的8.1%。


  • 数值常识推理能力:

MathVista中的数值常识推理涉及日常物品和名人知识。这类问题对大型模型是一大挑战。例如,下图所示的问题中,只有GPT-4V能正确理解图像中的光学错觉现象。

然而,某些情况下,例如识别烧杯的最大容量,GPT-4V与Bard模型均表现不佳。

  • 科学推理能力:

在MathVista的科学推理问题上,GPT-4V显著优于其他大型模型。它经常能准确解析涉及特定科学领域的图中信息,并进行后续推理。


然而,某些基本概念的应用,如相对运动,仍是GPT-4V的弱点。


  • 统计推理能力:

GPT-4V在理解MathVista中的各种图表、绘图和图形方面展现出强大的统计推理能力。它能准确解答涉及图表分析的数学问题,超过了其他大型模型。


GPT-4V的自我验证能力探究

自我验证(self-verification)是一种社会心理学概念,其核心观点是个体希望他人按照他们自我感知的方式来理解他们。这导致个体主动采取行动,确保他人能看到他们的稳定状态(Talaifar & Swann, 2020)。

在实验中,研究人员表示GPT-4V显示出了一种类似的自我验证能力。

这种能力体现在GPT-4V能够在推理过程中自主检查自身的行为,并主动纠正可能的错误

值得注意的是,这种自我验证能力不同于仅依赖外部反馈或多轮对话来改进模型输出

例如,在某些情况下,GPT-4V能够在单次输出中自行审核一组候选答案,从而识别出符合所有给定条件的有效答案。

在以下多步推理问题中,GPT-4V显示出了显著的能力。它不仅能够进行连贯的推理,还能验证关键步骤的有效性。

特别是在遇到无效的中间结果时,如发现得出的长度为负数,GPT-4V能够主动检测并识别这些错误。这种能力使得GPT-4V在识别问题后,能够尝试采用不同的方法来解决问题,从而优化其推理过程。


GPT-4V的自洽性应用及其局限性

自洽性(self-consistency)是在大型语言模型中广泛使用的一种技术,目的是提升模型在处理复杂推理任务时的准确性。这种方法通常包括采样多种推理路径,并选择出现频次最高的答案作为最终解

研究人员的实验验证了自洽性技术在提高GPT-4V在MathVista上的性能方面的有效性。

实验表明,自洽性对于纠正GPT-4V在视觉感知和计算中的错误,以及减少幻觉现象方面起到了显著作用。



然而,实验也揭示了自洽性的局限性。特别是在GPT-4V难以正确理解复杂的视觉场景的情况下,自洽性的改善效果并不显著

这表明,尽管自洽性是一种有效的提升方法,但它的成功在很大程度上还是依赖于模型对视觉信息的基本理解能力。

GPT-4V在MathVista上的多轮对话能力

微软的报告最后探讨了GPT-4V在MathVista上进行多轮人机互动对话的能力。

实验结果表明,GPT-4V擅长在多轮对话中有效地利用用户提供的提示来优化其推理过程

这包括根据用户的引导来纠正视觉感知上的误解,修正推理逻辑中的不一致,更正相关领域的知识,甚至在人类的协助下理解和处理极其复杂的图表问题。




主要华人作者简介

Pan Lu

Pan Lu是加州大学洛杉矶分校(UCLA)的博士生,是UCLA自然语言处理实验室(NLP Group)和视觉、认知、学习和自主中心(VCLA)的成员。

在此之前,他在清华大学获得计算机科学硕士学位。他曾在微软和艾伦人工智能研究院进行过实习。

他是ScienceQA和Chameleon等工作的作者。他曾荣获亚马逊博士奖学金、彭博社博士奖学金和高通创新奖学金。

Tony Xia

Tony Xia是斯坦福大学计算机系的硕士生。此前,他在加州大学洛杉矶分校获得计算机本科学位。

Jiacheng Liu

Jiacheng Liu是华盛顿大学的博士生,从事常识推理、数学推理和文本生成的研究。

此前,他在伊利诺伊香槟分校取得本科学位。他曾获高通创新奖学金。

Chunyuan Li

Chunyuan Li是微软雷德蒙德研究院的首席研究员。

此前,他在杜克大学获得了机器学习博士学位,师从Lawrence Carin教授。他曾担任过NeurIPS、ICML、ICLR、EMNLP和AAAI的领域主席,以及IJCV的客座编辑。

他是LLaVA、Visual Instruction Tuning和Instruction Tuning等工作的作者。

Hao Cheng

Hao Cheng是微软雷德蒙德研究院的高级研究员,同时也是华盛顿大学的兼职教授。

此前,他在华盛顿大学获得了博士学位。他是2017年Alexa Prize冠军团队的主要成员。

论文地址:https://arxiv.org/abs/2310.02255
项目地址:https://mathvista.github.io/
HF数据集:https://huggingface.co/datasets/AI4Math/MathVista
数据可视化:https://mathvista.github.io/#visualization
Leaderboard:https://mathvista.github.io/#leaderboard

—  —

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
大模型+自动驾驶=?普渡大学等最新《自动驾驶领域多模态大型语言模型》综述北大&腾讯打造多模态15边形战士!语言作“纽带”,拳打脚踢各模态,超越ImagebindAI早知道|Claude计划增加图像识别;Yi-VL多模态语言模型全球开源Agent4Rec来了!大模型智能体构成推荐系统模拟器,模拟真实用户交互行为晚讯 |科学家或发现第六种基本味道、“史前大模拟”显示人族曾挑战硕鬣狗精确指出特定事件发生时间!字节&复旦大学多模态大模型解读视频太香了刚在Costco看到Organic NuttZo 7 Nuts & Seed Butter,估计不错。大家可以看看:AI早知道|微软Copilot将可免费使用GPT-4Turbo; 国产670亿参数大模型DeepSeek亮相UCLA 学生又多点方便好地,小中小亚有福, 紫檀又一个strong case 推荐名校聊聊:什么是多模态?有什么价值以及难题AI早知道|ChatGPT模型大更新;阿里云发布多模态大模型;百度推多模态模型UNIMO-G杭州/北京内推 | 阿里达摩院多模态团队招聘多模态方向全职研究员/实习生UCLA/Berkeley 和UChicao怎么选?工业异常检测大模型来了!哈工大提出Myriad:利用视觉专家进行工业异常检测的大型多模态模型阿里云中标9亿AI算力大单;浙大校友开源LLaVA-1.5多模态大模型;Meta因开源模型遭抗议丨AIGC大事日报NeurIPS 2023 | 北大&华为提出:多模态基础大模型的高效微调清华大学与智谱 AI 联合推出 CogAgent:基于多模态大模型的 GUI Agent,具备视觉问答、视觉定位等能力阿猫河边钓大鱼中西黑五转泊车,一早出门看门外干啥(hint:not 逃离 UCLA)GPT-4V只能排第二!华科大等发布多模态大模型新基准:五大任务14个模型全面测评早茶&免费咖啡AirPods可以“读脑”了?还是能同时监测汗液乳酸浓度的那种|Nature清华团队攻破GPT-4V、谷歌Bard等模型,商用多模态大模型也脆弱?CNN能搞多模态了!UniRepLKNet:大核CNN一统多种模态,图像/视频/点云/时序/音频均达SOTA水平!成本2元开发游戏,最快3分钟完成!全程都是AI智能体“打工”,大模型加持的那种骁龙888实时运行!美团&浙大等打造移动端多模态大模型MobileVLM​AAAI 2024 | 首个多模态实体集扩展数据集MESED和多模态模型MultiExpan郭富城、舒淇等明星主演的电影,联合出品方之一涉投资诈骗案!兰州警方征集线索北京获准的大模型占全国近半;OpenAI CEO筹建AI芯片公司;零一万物多模态语言模型上线丨AIGC大事日报腾讯发表多模态大模型最新综述,从26个主流大模型看多模态效果提升关键方法112页报告深挖GPT-4V!UCLA等发布全新「多模态数学推理」基准MathVista与翻译家非琴夫妇的交往读诺奖提名者残雪的小说《茶园》首创pix2emb范式!NUS清华联合发布NExT-Chat:对话/检测/分割全能多模态大模型夏婳:两情难相知(二十一)UC伯克利团队开源MemGPT大模型上下文内存管理方案;AgentLM、多模态Fuyu-8B、数学LLEMMA等专用大模型开源我对零元购较为全面的看法将多模态大模型稀疏化,3B模型MoE-LLaVA媲美LLaVA-1.5-7BICLR 2024|把图像视为外语,快手、北大多模态大模型媲美DALLE-3红色日记 读鲁迅 4.1-10Agent触摸汉堡辨冷热,首次拥有类人感官!UCLA等发布3D多模态交互具身智能大模型
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。