Redian新闻
>
进能形式逻辑,退能四则运算,MAmmoT让LLM成为数学通才

进能形式逻辑,退能四则运算,MAmmoT让LLM成为数学通才

公众号新闻

机器之心报道

编辑:Panda

一个新数据集外加思维链和思维程序两种方法之长,竟能让开源 LLM 的数学推理追上 GPT-4 等闭源大模型。

数学推理是现代大型语言模型(LLM)的一项关键能力。尽管这一领域近来进展不错,但闭源和开源 LLM 之间仍然存在明显的差距——GPT-4、PaLM-2 和 Claude 2 等闭源模型主宰了 GSM8K 和 MATH 等常用数学推理基准,而 Llama、Falcon 和 OPT 等开源模型在所有基准上都大幅落后。

为了解决这一问题,研究界正在两个方向进行努力:

(1)Galactica 和 MINERVA 等持续型预训练方法,其能在超过千亿 token 的数学相关网络数据上对 LLM 进行持续训练。这一方法能提升模型的一般科学推理能力,但代价是高计算成本。

(2)拒绝采样微调(RFT)和 WizardMath 等针对特定数据集进行微调的方法,即使用特定数据集的监督数据对 LLM 进行微调。尽管这些方法能提升在具体领域内的性能,但无法泛化到微调数据之外的更广范围的数学推理任务。举个例子,RFT 和 WizardMath 可将在 GSM8K(这是微调数据集之一)上的准确度提升 30% 以上,但却有损在 MMLU-Math 和 AQuA 等领域外数据集上的准确度——使之降低多达 10%。

近日,来自滑铁卢大学和俄亥俄州立大学等机构的研究团队提出了一种轻量级却又可泛化的数学指令微调方法,可用于增强 LLM 的一般性(即不限于微调任务)数学推理能力。

之前已有的方法关注的重点是思维链(CoT)方法,即通过一步步的自然语言描述来解决数学问题。这种方法的通用性很强,可覆盖大多数数学科目,但却在计算精度和复杂的数学或算法推理过程(例如求解二次方程根和计算矩阵特征值)方面存在困难。

相比之下,像思维程序(PoT)和 PAL 这样的代码格式 prompt 设计方法则是利用外部工具(即 Python 解释器)来大幅简化数学求解过程。这种方法是将计算过程卸载到外部 Python 解释器来求解复杂的数学和算法推理(例如使用 sympy 求解二次方程或使用 numpy 计算矩阵特征值)。但是,PoT 难以应对更抽象的推理场景,比如常识推理、形式逻辑和抽象代数,尤其是没有内置的 API 时。

为了取 CoT 和 PoT 两种方法之长,该团队引入了一个新的数学混合指令微调数据集 MathInstruct,其有两大主要特性:(1) 广泛涵盖不同的数学领域和复杂程度,(2) 将 CoT 和 PoT 原理组合到了一起。

MathInstruct 基于七个现有的数学原理数据集和六个新整理出的数据集。他们使用 MathInstruct 微调了不同大小(从 7B 到 70B)的 Llama 模型。他们将所得到的模型称为 MAmmoTH 模型,结果发现 MAmmoTH 的能力是前所未有的,就像是一个数学通才。


为了评估 MAmmoTH,该团队使用了一系列评估数据集,包括领域内的测试集(GSM8K、MATH、AQuA-RAT、NumGLUE)和领域外的测试集(SVAMP、SAT、MMLU-Math、Mathematics、SimulEq)。

结果发现,相比于之前的方法,MAmmoTH 模型能更好地泛化用于领域外数据集,并能大幅提升开源 LLM 的数学推理能力。

值得注意的是,在常用的竞赛级 MATH 数据集上,7B 版本的 MAmmoTH 模型能以 3.5 倍的优势(35.2% vs 10.7%)击败 WizardMath(这是 MATH 上之前最佳的开源模型),而 34B MAmmoTH-Coder(在 Code Llama 上进行过微调)甚至可以胜过使用 CoT 的 GPT-4。

这项研究的贡献可以总结成两个方面:(1) 从数据工程方面看,他们提出了一个高质量的数学指令微调数据集,其中包含多种不同的数学问题和混合原理。(2) 从建模方面讲,他们训练和评估了大小从 7B 到 70B 的 50 多个不同的新模型和基准模型,以此探究了不同数据源和输入-输出格式的影响。

结果发现,MAmmoTH 和 MAmmoTH-Coder 等新模型在准确度方面都显著优于之前的开源模型。


  • 论文:https://arxiv.org/pdf/2309.05653.pdf
  • 代码:https://github.com/TIGER-AI-Lab/MAmmoTH
  • 数据集与模型:https://huggingface.co/datasets/TIGER-Lab/MathInstruct

该团队已经发布了他们整理得到的数据集,并开源了新方法的代码,也在 Hugging Face 发布了训练好的不同大小的模型。

新提出的方法

整理一个多样化的混合指令微调数据集

该团队的目标是编制一份列表,其中包含高质量且多样化的数学指令微调数据集,其应具有两个主要特征:(1) 广泛涵盖不同的数学领域和复杂程度,(2) 将 CoT 和 PoT 原理组合到一起。

对于第一个特征,他们首先选出了一些使用广泛并且涉及不同数学领域和复杂程度的高质量数据集,比如 GSM8K、MATH、AQuA、Camel 和 TheoremQA。然后他们注意到现有数据集没有大学水平的数学知识,比如抽象代数和形式逻辑。针对这个问题,他们借助于网上找到的少量种子示例,使用 GPT-4 为 TheoremQA 中的问题合成 CoT 原理并通过 Self-Instruct 创建「问题-CoT」配对。

对于第二个特征,将 CoT 和 PoT 原理组合到一起可以提升数据集的多功能性,使其训练的模型有能力解决不同类型的数学问题。但是,大多数现有数据集提供的程序原理有限,导致 CoT 和 PoT 原理之间不平衡。为此,该团队又用到了 GPT-4,来为所选数据集补充 PoT 原理,包括 MATH、AQuA、 GSM8K 和 TheoremQA。然后再对这些 GPT-4 合成的程序进行过滤,做法是将它们的执行结果与人类标注的基本真值进行比较,这能确保所添加的都是高质量的原理。

遵循这些准则,他们创建了一个新的数据集 MathInstruct,详见下表 1。


其中包含 26 万对 (指令,响应),覆盖广泛的核心数学领域(算术、代数、概率学、微积分和几何等),包含混合的 CoT 和 PoT 原理,并有不同的语言和难度。

训练设置

MathInstruct 的所有子集都统一成了类似 Alpaca 的指令数据集的结构。这种标准化操作可确保微调得到的模型能够一致地处理数据,无论原始数据集格式如何。

在基础模型方面,该团队的选择是 Llama-2 和 Code Llama。

通过在 MathInstruct 上进行微调,他们得到了 7B、13B、34B 和 70B 等大小不同的模型。

实验

评估数据集

为了评估模型的数学推理能力,该团队选择了一些评估数据集,见下表 2,其中包含许多不同领域内和领域外样本,涉及多个不同数学领域。


这个评估数据集也包含不同的难度等级,包括小学、中学和大学水平。某些数据集甚至包括形式逻辑和常识推理。

所选择的评估数据集既有开放式问题,也有多项选择题。

对于开放式问题(如 GSM8K 和 MATH),研究者采用了 PoT 解码,因为大多数这类问题可以通过程序求解。、

对于多项选择题(如 AQuA 和 MMLU),研究者采用了 CoT 解码,因为这个数据集中的大部分问题都可以通过 CoT 更好地处理。

CoT 解码不需要任何触发词,而 PoT 解码需要一个触发语:「Let’s write a program to solve the problem」。

主要结果

下表 3 和表 4 分别报告了在领域内外数据上的结果。



总体而言,在不同的模型大小上,MAmmoTH 和 MAmmoTH-Coder 都优于之前最佳的模型。新模型在领域外数据集上取得的性能增长多于在领域内数据集上所获增长。这些结果表明新模型确实有成为数学通才的潜力。MAmmoTH-Coder-34B 和 MAmmoTH-70B 在一些数据集上的表现甚至超过了闭源 LLM。

研究者也比较了使用不同基础模型的情况。具体来说,他们实验了 Llama-2 和 Code-Llama 这两种基础模型。从上面两张表可以看出,Code-Llama 整体上要优于 Llama-2,尤其是在领域外数据集上。MAmmoTH 和 MAmmoTH-Coder 之间的差距甚至可达 5%。

在数据源上的消融研究

他们通过消融研究探索了性能增益的来源。为了更好地理解 MAmmoTH 相对于已有基准模型的优势的来源,研究者进行了一系列对照实验,结果如下图 2 所示。


总结起来,MAmmoTH 的显著性能优势可以归功于:1) 涵盖不同的数学领域和复杂程度的多样化数据源,2) CoT 和 PoT 指令微调的混合策略。

他们也研究了主要子集的影响。对于用于训练 MAmmoTH 的 MathInstruct 的多样化来源,理解各个来源对模型整体性能的贡献程度也很重要。他们关注的重点是四个主要子集:GSM8K、MATH、 Camel 和 AQuA。他们进行了一项实验:逐渐将每个数据集添加到训练中,并将性能与在整个 MathInstruct 上微调的模型进行比较。


从表 5 的结果可以看到,如果一开始训练的数据集不够多样化(比如只有 GSM8K 时),整体的泛化能力非常差:模型只拟合了分布内的数据,难以解答 GSM 问题之外的问题。

这些结果凸显了多样化数据源对 MAmmoTH 的重要影响,它们是让 MAmmoTH 成为数学通才的核心关键。这些结果也贡献了宝贵的见解,能为我们未来的数据整理收集工作提供指导比如我们应该总是收集多样化的数据,避免只收集特定类型的数据。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
妻子举报副研究员出轨女博士后,中山大学通报:李某某,解聘!杨某,退出!GPT-4 passed the Turing test the imitation game\'Can machines thGPT-4 做「世界模型」,让LLM从「错题」中学习,推理能力显著提升【教育】看50倍于课本的「闲书」,孩子才能形成语文能力!港大联合百度 WSDM 2024 | 如何让LLMs助力推荐系统?图数据增强230822 可能形将见底GPT-4,Llama2,ChatGLM2,PaLM2共聚一堂 | LLM Day @KDD 2023Continuous Batching:解锁LLM潜力!让LLM推断速度飙升23倍,降低延迟!UC伯克利团队开源MemGPT大模型上下文内存管理方案;AgentLM、多模态Fuyu-8B、数学LLEMMA等专用大模型开源主内平安芯华章高世超:高性能形式验证提升新一代大规模芯片设计验证效率|国产EDA技术公开课预告有点失望。。。。刀郎新歌己见销售低迷股价狂泻 投资者担心H&M成为下一个Gap周小川最新演讲:全球经济增速持续放缓;我国风光电储能四大强项为何领先全球?人事四则|路易威登与女装艺术总监续约;MOSCHINO创意总监上任9天后因病猝死 ...直接用GPT-4控制空调,微软免训练方法让LLM迈向工业控制人事四则|CERRUTI 1881和 Kent&Curwen、Rapha迎来首席创意官;Tommy Hilfiger 等高管任命一段乱码,竟让ChatGPT越狱!乱序prompt让LLM火速生成勒索软件,Jim Fan惊了台湾李宏毅:如何让LLMs更好评估文本质量?34B参数量超越GPT-4!「数学通用大模型」MAmmoTH开源:平均准确率最高提升29%孩子读不懂数学题怎么办?今晚7点半,名师来支招,一起读懂数学、爱上数学!|中国教育报数学阅读行动OpenAI科学家最新大语言模型演讲火了,洞见LLM成功的关键「陶哲轩×GPT-4」合写数学论文!数学大佬齐惊呼,LLM推理神助证明不等式定理作为数学老师,我真心舍不得提前教自家孩子数学知识从产品逻辑进阶场景逻辑,撬动“情绪价值”市场用AI对齐AI?超级对齐团队领导人详解OpenAI对齐超级智能四年计划揭秘:AMC12数学竞赛备考攻略,助你成为数学大神!温哥华还是多伦多:久居温哥华重返短登城市多伦多,观众生相感慨万千一种形式主义刚害死人,另一种形式主义又来了!团丨数学专修桌游,学练四则运算、平面几何、应用题的桌游“神器”GPT-4、ChatGLM2、Llama2、PaLM2在KDD LLM Day上一起开了个会BELLE-7B-1M逻辑推理超预期?10B量级开源中文对话LLM,谁最「懂」逻辑推理?LLM成功不可或缺的基石:RLHF及其替代技术大模型速度狂飙2.39倍!清华联手微软首提SoT,让LLM思考更像人类
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。