30B!每秒100tokens!这是AMD对AI PC的“幻想时间”
夕小瑶科技说 原创
作者 | 谷雨龙泽
随着AI的高速发展,从去年开始,挂在服务器的云端AI模型已经不能满足技术发烧友的胃口了,AI PC应运而生。
AI PC就是内嵌个人大模型的电脑,具备更强的算力、更大的存储空间和更顺畅的自然语言交互功能,其核心特征包括CPU、GPU和NPU的本地混合计算架构,能够支持个人终端和家庭主机/企业主机协同运算。
一直以来,受到硬件条件的限制,AI PC的AI表现一直不是很出色。没办法,自己电脑就那点东西,怎么能和一车一车显卡堆起来的云端大模型比呢?
但是这并不妨碍各大厂家对未来的美好畅想。近期,AMD就对未来的AI PC进行了预测:
未来的AI PC将以每秒100个token的速度运行30B参数模型!
30B和100token/s,意味着什么?
AMD预测未来的AI PC将以每秒100个token的速度运行300亿参数模型,首个token的延迟达到100毫秒,而现在的技术只能做到70亿参数、每秒20个token,首个token的延迟为1至4秒。
300亿参数的模型相比当前的70亿参数模型,意味着能够学习更复杂、更丰富的特征,从而提供更准确、更细致的预测或生成结果——就像一个学富五亿车的人一样。虽然300亿参数和目前流行的云端大模型来说确实有些少了(Meta的Llama 3据称有4050亿,GPT-4非官方估计约达1.8万亿个),但这些参数都本地化在一台计算机上,而不是依赖诸多云服务器,也是一个非常大的数字。 每秒处理100个token的能力相比当前的每秒20个token,显著提高了处理速度——这听起来可能不是很快,但考虑到每个token背后复杂的计算,这实际上是非常快的。这种速度的提升将使得AI PC能够更快地完成任务,提高整体工作效率。 首个token的延迟从1至4秒降低到100毫秒,这一巨大进步对于需要即时响应的应用如自动驾驶、实时对话系统等至关重要。
硬件别拖后腿
要实现这一目标——同时也要求首个token的延迟达到100毫秒——可并不像听起来那么简单。这需要在软件和硬件两方面都进行优化。AMD在上个月ComputeX展会上发布的Ryzen AI 300系列Strix Point处理器能够以4位精度运行规模达到约70亿参数的大语言模型,但速度仅为每秒20个token,且首个token的延迟为1至4秒。
AMD的目标是将AI PC的参数模型从目前的70亿和每秒20个token提升到300亿参数和每秒100个token。要达到这个性能目标,并不仅仅是往电脑里塞进一个更大的NPU那么简单。虽然更高的TOPS或FLOPS确实会有所帮助(尤其是在首个token的延迟方面),但在本地运行大型语言模型时,内存容量和带宽则显得更为重要。
在这方面,Strix Point上的LLM性能在很大程度上受限于其128位内存总线。当与LPDDR5x配对时,根据内存速度的不同,其带宽大约在120-135 GBps之间。
粗略估计,一个真正的300亿参数模型,量化到4位,将消耗约15GB的内存,并需要超过1.5 TBps的带宽才能达到每秒100个token的目标。作为参考,这大约与配备HBM2的40GB Nvidia A100 PCIe卡的带宽相当,但功耗却要高出许多。
这意味着,如果不进行优化以降低模型的需求,AMD未来的系统级芯片(SoC)将需要更快、更高容量的LPDDR才能达到芯片设计师的目标。这就像是给一辆赛车换上了更强大的引擎,但同时也得确保轮胎和刹车系统能跟上节奏,才能在赛道上驰骋无阻!
内存和带宽的“破局之道”
要解决内存带宽的挑战,有几种方法可以尝试。比如,可以考虑用高带宽内存来替换LPDDR5。但是这样不但太贵,还影响了SoC的功耗。
“如果我们无法达到300亿参数的模型,那我们就需要找到一种能提供相同精度的方法。这意味着在训练过程中需要做出改进,首先尝试让这些模型变得更小。”Subramony解释道。
先别着急叹气。好消息是,确实有一些方法可以实现这一目标,具体取决于你是优先考虑内存带宽还是容量。
一种潜在的方法是使用类似Mistral AI的Mixtral那样的MoE模型。 这些MoE本质上是一组较小的模型,它们相互协作。通常,完整的MoE会被加载到内存中,但由于只有一个子模型处于活动状态,所以与同等规模的单体模型架构相比,内存带宽需求会大幅减少。
一个由六个50亿参数模型组成的MoE,在4位精度下,只需要略超过250 GBps的带宽就能达到每秒100个token的目标。
另一种方法是使用推测性解码,这是一个由小型轻量级模型生成草稿,然后交给更大模型来纠正任何不准确之处的过程。 AMD告诉我们,这种方法可以显著提高性能,但它并没有解决大型语言模型需要大量内存的事实。
目前,大多数模型都是使用brain float 16或FP16数据类型进行训练的,这意味着它们每个参数消耗两个字节。这意味着一个300亿参数的模型需要以原生精度运行,就需要60GB的内存。
60GB的内存对于绝大多数人来说还是过于超前了,所以模型通常会被量化到8位或4位精度。这样做会牺牲一些精度,并增加产生幻觉的可能性——但可以将内存占用减少到最多四分之一!据我们所知,AMD就是这样让一个70亿参数的模型以大约每秒20个token的速度运行的。这就像是给一辆大卡车换上了更轻的车斗,虽然可能跑得不如赛车快,但至少能更省油地前进!
一种折中方案
作为一种折中方案, 从Strix Point开始,XDNA 2 NPU将支持Block FP16数据类型。 尽管名字听起来很“高大上”,但它每个参数仅需9位——这是因为它能取八个浮点数值并使用一个共享的指数。据AMD称,这种格式能达到与原生FP16几乎无法区分的精度,同时占用的空间只比Int8稍多一点。
更重要的是,这种格式并不需要模型重新训练就能利用,现有的BF16和FP16模型无需量化步骤就能直接运行。
但除非普通笔记本开始配备48GB或更多的内存——在短期内这是不太现实的,否则AMD仍然需要找到更好的方法来缩小模型的占用空间。
我们不难想象,未来AMD的NPU和集成图形处理器可能会增加对更小块的浮点格式(如MXFP6或MXFP4)的支持——AMD的CDNA GPU支持FP8,而CDNA 4将支持FP4。
无论如何,随着AI从云端“逃脱”并在你的设备上“安家落户”,未来几年PC硬件似乎将发生巨大变化。看来,我们的电脑不仅要变得更聪明,还得变得更“苗条”才行啊!
未来已来
前不久AMD举行的Tech Day,AMD向世界分享了更多的技术细节和阶段成果。Ryzen AI 300内置第三代Ryzen AI引擎,NPU算力高达50TOPS,总算力高达80TOPS,可以完美支持微软Recall AI功能、视频特效与实时翻译、Co-Creator合作设计等。
在会上AMD还发布了AMUSE 2.0 Beta,一款和Ryzen AI 300处理器搭配使用的AI图片生成工具,不但支持常规的文生图、图生图,还支持“画生图”。目前它已经宣称支持搭载了Ryzen AI 300的ASUS Zenbook S16的触控笔。
此外在过去的一年里,AMD已经花费超过1.25亿美刀连续投资了十几家AI公司,还收购了Silo AI、Mipsology和Nod.ai。我们完全可以相信,获得了更好技术加持的AMD,将会为我们带来更好的AI体验。不知道屏幕前的你,是否已经准备攒钱换电脑了?
参考资料
[1]https://www.theregister.com/2024/07/15/amd_ai_pc_goal/[2]https://mp.weixin.qq.com/s/S6waDmgI-nnvy9jKZy9ImQ
微信扫码关注该文公众号作者