中国科学院团队首篇LLM模型压缩综述:细聊剪枝、知识蒸馏、量化技术
随着 LLM 的突破性工作逐渐放缓,对于如何让更多人使用 LLM 成为时下热门的研究方向,模型压缩可能是 LLM 未来的一个出路。此前 OpenAI 首席科学家 Ilya Sutskever 表示可以通过压缩的视角来看待无监督学习。本文首次总结了关于 LLM 的四种模型压缩方法,并提出了未来进一步研究的可能方向,引人深思。
参数规模
模型规模
压缩比
推理时间
浮点运算(FLOP)
专业的基准测试
性能规模的权衡
动态 LLM 压缩
可解释性
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章