Redian新闻
>
构建大模型生态基础设施,你选 Python + Docker 还是 Rust + WebAssembly?| QCon

构建大模型生态基础设施,你选 Python + Docker 还是 Rust + WebAssembly?| QCon

公众号新闻

基于大模型的 AI 应用(简称大模型应用)已经成为众多行业技术革新的主要推动力。而同一时刻,用户的巨量访问需求也为大模型应用基础设施的性能、安全性、可靠性等提出了新的挑战。一直以来,在构筑面向机器学习应用的 AI 基础设施中,Python + Docker 是主流的组合方式。但在 QCon 全球软件开发大会(北京站)2023 现场,来自 SecondState 的刘鑫老师(他也是 WasmEdge 项目的 Maintainer),将介绍一种 Rust + WebAssembly 的全新组合方式,这个方式将带来以下优势:

  1. 在系统开发方面,相较于 Python,Rust 在执行效率、资源占用率、内存安全性等方面占据绝对优势。同时,Rust 语言的这些特点,也是当下及未来构筑机器学习和大模型基础设施的关键要素。

  2. 在系统部署方面,WebAssembly 提供了沙盒运行环境,保证了系统的安全性;更好的可移植性,一次编写,随处运行;WebAssembly container 对系统资源控制的粒度也更为精细,资源占用小;在 AI 推理任务中,在冷启动速度和执行速度两个维度上均大大由于 Python + Docker Linux container。

刘鑫老师将在分享中比较 Python + Docker 和 Rust + WebAssembly 这两种组合方式,阐述为什么后者更适合于构筑大模型应用基础设施。

不过,老师表示,该技术在实践过程中有也存在一些痛点,比如 Rust 语言是一门年轻编程语言,学习难度较大,对新手友好度还有很大的改进空间。此外,Rust 语言的生态还有很大的发展空间,面向各个领域需求的原生库还不是非常丰富。同时,WebAssembly 也是很年轻的一门语言。不仅现存的语言标准还在不断完善,同时新标准的提案也处在讨论和指定过程中,比如适用于大模型需求的 Named Model Proposal 和 Memory64。

活动推荐

以「启航·AIGC 软件工程变革」为主题的 QCon 全球软件开发大会·北京站将于 9 月 3-5 日在北京•富力万丽酒店举办,此次大会策划了构建未来软件的编程语言、大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、FinOps 等近 30 个精彩专题。

9 折优惠仅剩最后 1 天,现在购票立减 ¥880,咨询购票可联系票务经理 18514549229(微信同手机号)。点击「阅读原文」即可查看大会日程,期待与各位开发者现场交流。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
LPython:最新的高性能Python实现、速度极快且支持多后端英诺合伙人王晟:近3年重点投AIGC基础设施,应用端没有好机会面试官:如何使用 Dockerfile 去构建自定义的 Docker 镜像?问倒一大片。。。WebAssembly 如何构筑云原生的新未来?CNCF 发布 Wasm 生态全景图Stable家族上新!全新编码工具StableCode,16000上下文,5个Python文件同编辑百度吴甜:现在是建大模型生态的最好时机Python吞噬世界,GPT吞噬Python!ChatGPT 上线最强应用:分析数据、生成代码都精通Python 吞噬世界,GPT 吞噬 Python!ChatGPT 上线最强应用笑谈邂逅(12)永远怀念张厚感先生辣评-Weekly:中国两个战略性空间基础设施;消费级“卫星通话”;印度与俄罗斯,一成一败;太空垃圾清除任务遭到太空垃圾袭击潮流 | BEAMS x Columbia PFG 系列公开;Stüssy x Birkenstock 再次合作基于WebAssembly构建Web端音视频通话引擎LPython:最新的高性能 Python 实现、速度极快且支持多后端Python 失宠!Hugging Face 用 Rust 新写了一个 ML 框架,现已低调开源for whenever I am weak, then I am strong.Python Web框架的三强之争:Flask、Django和FastAPIPython 吞噬世界,GPT 吞噬 Python!ChatGPT 上线最强应用:分析数据、生成代码都精通上下文1.6万token的编程大模型来了!与Stable Diffusion出自同门,一次吃5个Python文件不费劲A wife of noble character strong, wise, entrepreneurial, hard-wo给大模型生成文本发身份证:针对大模型生成文本的可编码水印技术新周新气象比Python快3.5万倍的Mojo融资7亿,LLVM之父:不会威胁到Python,该恐惧的应该是C++比 Python 快 3.5 万倍的 Mojo 融资七亿,LLVM之父:不会威胁到 Python,该恐惧的应该是 C++nǚ hóng?nǚ gōngDeath of Coco Lee Triggers Public Discussion on Depression【Locker Room】Locker Room运动上新!女篮、飞盘&腰旗橄榄球,你准备好了吗?号称比 Python 快 68000 倍的 Mojo 语言正式发布! Rust 能否与之匹敌?Razer Viper Ultimate Wireless Gaming Mouse with Charging Dock, 面试官:如何使用Dockerfile去构建自定义的Docker镜像?问倒一堆也许只有Python之父才能救得了Rust比Python快68000倍!Mojo正式发布,网友:Python生态系统最重要的升级来了详解Python文件: .py、.ipynb、.pyi、.pyc、​.pyd !迅速登顶 HackerNews!这款深圳团队开发的编程语言月兔(Moonbit)将重塑 WebAssembly 的未来生态?初探webAssembly俄乌战争:美国愿景
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。