Redian新闻
>
ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了

ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了

公众号新闻

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]

本文介绍了香港科技大学(广州)的一篇关于大模型高效微调(LLM PEFT Fine-tuning)的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」,本文被 ICML 2024 接收,代码已开源。


  • 论文地址:https://arxiv.org/abs/2405.03003
  • 项目地址:https://github.com/Chaos96/fourierft

背景

大型基座模型在自然语言处理(NLP)和计算机视觉(CV)领域都获得了瞩目的成就。微调(Finetuning)大型基座模型,使其更加适应特殊的下游任务,成为了一项热门研究课题。然而,在模型越来越大,下游任务越来越多样的今天,微调整个模型带来的计算、存储消耗已大到不再能被接受。LoRA 采用低秩拟合微调增量的方案,成功降低了大量的此类消耗,但每个适应器(adapter)的大小仍然是不可忽视的。这激发了本文的核心问题:相比 LoRA,如何进一步大幅减少可训练参数?此外,一个有趣的附加问题是能否采用更少的参数量得到高秩增量矩阵

方法

傅立叶基底在各类数据压缩应用中广泛使用,例如一维向量信号和二维图像的压缩。在这些应用中,稠密的空域信号通过傅立叶变换被转化为稀疏的频域信号。基于这一原理,作者推测模型权重的增量也可以被视为一种空域信号,其对应的频域信号可以通过稀疏表示来实现。

在这一假设的基础上,作者提出了一种新的方法,用于在频域中学习增量权重信号。具体来说,该方法通过随机位置的稀疏频域信号来表示空域权重增量。在加载预训练模型时,首先随机选择 n 个点作为有效的频域信号,然后将这些信号拼接成一个一维向量。在前向传播过程中,这个一维向量被用来通过傅立叶变换恢复空域矩阵;在反向传播过程中,由于傅里叶变换的可导性,可以直接对此可学习的向量进行更新。这种方法不仅有效减少了模型微调时所需的参数数量,同时保证了微调性能。通过这种方式,作者不仅实现了对大规模基础模型的高效微调,还展示了傅立叶变换在机器学习领域中的潜在应用价值。


得益于傅立叶变换基底的高信息量,仅需很小的 n 值即可达到与 LoRA 相当甚至超过 LoRA 的表现。一般来说,傅立叶微调的可训练参数仅为 LoRA 的千分之一到十分之一。

实验

1. 自然语言理解

作者在自然语言理解的 GLUE 基准测试上对傅立叶微调方法进行了评估。基线对比方法包括全量微调(FF,Full Finetuning)、Bitfit、适应器微调(Adapter Tuning)、LoRA、DyLoRA 和 AdaLoRA。下表展示了各种方法在 GLUE 各个任务上的表现及其所需的训练参数量。结果表明,傅立叶微调以最少的参数量达到了甚至超越了其他微调方法的性能。


2. 自然语言指令微调

大模型的自然语言生成是目前模型微调的重要应用领域。作者在 LLaMA 系列模型、MT-Bench 任务和 Vicuna 任务上评估了傅立叶微调的性能。结果显示,傅立叶微调以极低的训练参数量达到了与 LoRA 相似的效果,进一步验证了傅里叶微调方法的通用性和有效性。


3. 图像分类

作者在 Vision Transformer 上测试了傅里叶微调的性能,涵盖了 8 个常见的图像分类数据集。实验结果表明,虽然在图像分类任务中傅立叶微调相较LoRA的压缩率提升并不比自然语言任务中显著,但其仍然以远小于 LoRA 的参数量超越了 LoRA 的效果。这进一步展示了傅立叶微调在不同应用领域中的有效性和优势。


4. 突破低秩

在 GLUE 基准的 RTE 数据集上,FourierFT 可以实现明显高于 LoRA (通常为 4 或 8) 的增量的秩。

5.GPU 资源消耗

微调过程中,FourierFT 可以实现比 LoRA 更少的 GPU 消耗。下图为采用单张 4090 显卡在 RoBERTa-Large 模型上的巅峰内存消耗。


结论

作者介绍了一种名为傅立叶微调的高效微调方法,通过利用傅里叶变换来减少大基础模型微调时的可训练参数数量。该方法通过学习少量的傅里叶谱系数来表示权重变化,显著降低了存储和计算需求。实验结果显示,傅立叶微调在自然语言理解、自然语言生成、指令调优和图像分类等任务上表现优异,与现有的低秩适应方法(如 LoRA)相比,傅立叶微调在保持或超过 LoRA 性能的同时,所需的可训练参数大幅减少。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
敏捷架构、精益架构,还是两者兼而有之?健身人不注意这些,训练等于白练….全面超越Transformer!清华蚂蚁推出纯MLP架构,长短程时序预测大幅提升量化大模型退化严重?ETH北航字节推出LoRA新范式 | ICML 2024再战Transformer!原作者带队的Mamba 2来了,新架构训练效率大幅提升246篇文献!参数高效微调最新综述发布,让大模型不再「巨无霸」外企社招丨Dräger德尔格,行业全球领导者,15薪,六险一金,多样福利,偏爱留学生RAG还是微调?万字长文总结大模型微调技能图谱ICML 2024 | 超越LoRA!港科大提出FourierFT:新型傅立叶微调!训练参数大幅减少ICML 2024 | 新型傅立叶微调来了!脱离LoRA架构,训练参数大幅减少ICML 2024 | 大语言模型预训练新前沿:「最佳适配打包」重塑文档处理标准Best CD Rates Of April 2024: Up To 5.42%没有完美架构,AI时代架构师如何找到成本与性能的平衡点?ICML 2024 | 川大提出外部引导的深度聚类新范式,大幅提升CLIP图像聚类性能川普官司缠身有助拜登在战场州"翻盘"?最新民调来了全球顶尖AI研究者中国贡献26%;1320亿参数大模型开源;Anthropic大模型测评首超GPT-4丨AIGC大事日报有不烦车子的自动停启功能的吗?2024 BMW X5ICML 2024 | 北大、字节提出新型双层位置编码方案,有效改善长度外推效果微软拟与OpenAI投资1000亿美元建AI超算;Databricks 推出1320亿参数大语言模型 DBRX丨AIGC日报最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍比LoRA还快50%的微调方法来了!一张3090性能超越全参调优,UIUC联合LMFlow团队提出LISA再回首 (三十)CVPR 2024 | 无参数无训练也能大幅涨点!港城大等提出全新小样本3D分割模型搬家清囤的Lululemon, Aritzia Randy & Murphy, Sophie Webster蝴蝶鞋及其他澳洲人口激增终于放缓!移民明显减少,新生儿数量也跌至近20年来新低47、长篇家庭伦理小说《嫁接 下》第十六章 千里姻缘(2)洛杉矶东区猫狗领养活动 4/28/2024 周日下午3谷歌开源TimesFM:1000亿个时间点训练,入选ICML 2024ICML 2024 | 即插即用!无需训练!基于球面高斯约束引导的条件扩散模型OpenAI把微软电网搞崩!GPT-6被曝25年发布,训练刷爆10万张H100【求职战报】全球金融交易平台Deutsche Börse Systems销售运营面试邀约!ICML 2024 | 大语言模型预训练新前沿:最佳适配打包重塑文档处理标准个人感慨之124 真没钱了北京算力基建实施方案重磅发布!重点支持采购自主可控GPU,要支撑万亿参数大模型训练Oscar马后炮,电影\'留校联盟( The Holdovers)\'愚人节(4/1/2024)《只留清香春来报》&《今生我在修佛缘》开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有最新数据:美国本土博士后大幅减少,仅过去1年就下滑了8%ICML2024高分论文!大模型计算效率暴涨至200%,来自中国AI公司
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。