构建大模型生态基础设施，你选 Python + Docker 还是 Rust + WebAssembly？| QCon

2023-08-18 12:08

基于大模型的 AI 应用（简称大模型应用）已经成为众多行业技术革新的主要推动力。而同一时刻，用户的巨量访问需求也为大模型应用基础设施的性能、安全性、可靠性等提出了新的挑战。一直以来，在构筑面向机器学习应用的 AI 基础设施中，Python + Docker 是主流的组合方式。但在 QCon 全球软件开发大会（北京站）2023 现场，来自 SecondState 的刘鑫老师（他也是 WasmEdge 项目的 Maintainer），将介绍一种 Rust + WebAssembly 的全新组合方式，这个方式将带来以下优势：

在系统开发方面，相较于 Python，Rust 在执行效率、资源占用率、内存安全性等方面占据绝对优势。同时，Rust 语言的这些特点，也是当下及未来构筑机器学习和大模型基础设施的关键要素。
在系统部署方面，WebAssembly 提供了沙盒运行环境，保证了系统的安全性；更好的可移植性，一次编写，随处运行；WebAssembly container 对系统资源控制的粒度也更为精细，资源占用小；在 AI 推理任务中，在冷启动速度和执行速度两个维度上均大大由于 Python + Docker Linux container。

刘鑫老师将在分享中比较 Python + Docker 和 Rust + WebAssembly 这两种组合方式，阐述为什么后者更适合于构筑大模型应用基础设施。

不过，老师表示，该技术在实践过程中有也存在一些痛点，比如 Rust 语言是一门年轻编程语言，学习难度较大，对新手友好度还有很大的改进空间。此外，Rust 语言的生态还有很大的发展空间，面向各个领域需求的原生库还不是非常丰富。同时，WebAssembly 也是很年轻的一门语言。不仅现存的语言标准还在不断完善，同时新标准的提案也处在讨论和指定过程中，比如适用于大模型需求的 Named Model Proposal 和 Memory64。

活动推荐

以「启航·AIGC 软件工程变革」为主题的 QCon 全球软件开发大会·北京站将于 9 月 3-5 日在北京•富力万丽酒店举办，此次大会策划了构建未来软件的编程语言、大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、FinOps 等近 30 个精彩专题。