晚点独家丨袁进辉新公司获创新工场、王慧文等 5000 万投资

AI 框架介于算力层和模型层之间，是一种系统软件，就像电脑操作系统能使普通用户直接用鼠标和键盘操作应用，AI 框架能帮开发者简单方便地设计模型或使用模型，而无需操心底层算力资源的调配。

不同的是，OneFlow 当年以通用训练框架为主，服务深度模型的生产；硅基流动则专注做推理框架，服务大模型的应用。

袁进辉认为，服务大模型应用比服务大模型生产更容易做出标准化产品，市场空间也大得多：模型生产是阶段性的，且由少数公司主导；大模型应用则会遍布各行各业、无处不在，被各种行业和规模的企业需要。

袁进辉本科毕业于西安电子科技大学，2003 年考入清华大学计算机系，师从张钹院士攻读博士学位，做过机器学习、深度学习和脑科学的跨学科研究。

在 2013 年加入微软亚研院后，袁进辉做出了当时最快的主题模型训练算法和系统 LightLDA，之后又开始尝试研发 AI 训练框架，这也是 2017 年他创办的 OneFlow 的主攻方向。

当时市场上已有 Google 的 TensorFlow 和 Meta 的 PyTorch 等开源框架。袁进辉之所以觉得有创业机会，在于他有一个非主流的认知：未来 AI 模型会很大。

他的判断来自博士后阶段研究交叉学科的经历：人类大脑中有上千亿神经元，而当时最庞大的神经网络的参数（类似神经元）也没有破亿，大部分训练框架能满足当时模型的规模，却没有为巨大的模型优化。

袁进辉称，从 OneFlow 创业之初，他们就在开发大参数模型的训练框架，使用了现在大模型框架常用的分布式并行训练方法，这能提升用大量 GPU 同时训练单个模型的效率。

2022 年 11 月，PyTorch 发布分布式计算扩展程序 DistributedTensor 时，PyTorch 联合创始人苏米特·金塔拉（Soumith Chintala）还在社交平台上提到，部分灵感来自 OneFlow 的类似功能。

一位 AI 从业者曾告诉《晚点 LatePost》，OneFlow 训练大模型确实更方便，一般科技大公司使用的框架会在 Pytorch 或 TensorFlow 上又做一层封装和优化，但这些优化是面向信息推荐等已有业务定制的，不是针对大模型，“数亿参数和数百亿甚至上千亿参数的模型，训练框架要做的事差别很大”，OneFlow 则针对大模型训练做了优化。

2023 年初，大模型在全球获得广泛关注，OneFlow 的技术设想得到验证。同年 3 月，OneFlow 被光年之外并购，又 3 个月后，光年之外创始人王慧文因病退出创业，光年之外被美团收购，袁进辉选择再次创业。

“加入光年之外时是 40 人，再创业时有 35 人。” 袁进辉说，经过 2023 年的两次变动，OneFlow 核心团队仅有少数人员离开，关键原因是做推理系统的新方向让团队觉得有希望、有机会。

推理框架的机会首先在于需求多、市场大。多位大模型从业者估算，如果大模型被广泛使用，大模型的训练和推理用量会达到 2:8，甚至 1:9。

这同时是一个客户相对分散的市场，供应商更有话语权，能自己生产大模型的公司是少数，基于模型开发应用或直接使用大模型的公司则多得多，它们都需要推理的优化。

推理成本偏高也正是当前的行业痛点，客户更愿意为此付费。传统软件一次开发、无限复制，边际成本显著降低；而用户每次调用大模型时都要消耗不少 GPU 计算资源做推理。这就是为什么付费版的 ChatGPT 也会限制用户使用 GPT-4 的次数，3 小时内最多用 50 次。

推理比训练有更大的成本优化空间。“用大量芯片训练大模型，硬件利用率的理论上限是 60% 多，英伟达同时做软硬件可以做到 50% 多，其它公司在这个基础上再优化，最多也只有约十个点的 margin；而推理环节还有数倍、甚至十倍的降本空间，推理的市场容量是训练的好多好多倍。” 袁进辉说。

袁进辉同时提到，做推理框架的资源门槛更低，对创业公司更友好。因为要做好大模型训练需要数千张 GPU 做实验平台，推理框架则可以使用规模小得多的算力资源做开发和优化。推理的需求也比较同质化，更容易做成标准产品，创业公司能集中精力做研发，减少定制化交付。

更大的市场机会、更低的资源门槛，意味着更多竞争对手，大小公司皆有：

• 大型云计算公司会开发类似产品与 AI 计算资源绑定销售，如亚马逊云的 SageMaker 和阿里云的 PAI 等；

• 芯片公司也会研发与芯片搭配的推理框架，如英伟达的 TensorRT-LLM；

• 创业公司方面则有贾扬清（知名 AI 训练框架 Caffe 的作者之一）创办的 Lepton AI，陈天奇（机器学习算法 XGBoost、深度学习编译器 TVM 作者）参与创办的 OctoAI，新加坡国立大学教授尤洋创办的潞晨科技，清华电子系主任汪玉创立的无问芯穹等；

• 学术界也有开源推理框架，如伯克利大学开发的 vLLM 等。

袁进辉并不担心硅基流动在这个领域的技术实力，他称公司的框架全部自研，并不基于英伟达的 TensorRT-LLM 或伯克利的 vLLM，这是目前最主流的两个推理框架。

据硅基流动展示，使用 8 块 A800 GPU 推理 700 亿参数的 Llama2，其语言大模型推理加速引擎 SiliconLLM 在吞吐、时延等指标上超过 vLLM、TensorRT-LLM，部分指标最高可达竞对产品的 10 倍。

袁进辉称，硅基流动拥有大量长期做 AI 框架的一线技术与工程人才，其中不少人是去了大公司相关团队又回来：“在业务庞大的大公司，AI 框架的优先级不见得很高，而对我们来说，这就是唯一。”

从 2017 年创业到 2023 年被收购，OneFlow 没让投资人亏钱，但也没能像国外同行那样独立盈利、快速增长，商业化谈不上成功。

OneFlow 的境遇不是个例，2016 年之后，中国出现一批基础软件创业公司，它们多尝试开源模式，发展初期有不错的融资，但多数越走越疲惫，鲜有跑出来的成功者。

这次创业前，袁进辉还是想着做一家面向企业客户的基础软件公司，他请教了创业成功的朋友，得到的反馈是悲观的：“我没想清楚为什么中国那么多优秀人才进入这个行业都做不好，也没看到你在这方面有超出常人的商业认知。”

对一家想做标准化技术 SaaS（软件即服务）的中国公司到底怎么走通商业化，袁进辉觉得现在他想得更清楚了。

决定创业时，他第一个想法就是积极开拓海外市场。袁进辉认为，海外、尤其是美国市场数字化程度较高，企业和开发者已经养成了软件付费习惯，培育出了 Databricks、Snowflake 等数百亿美元市值的公司，商业化难度较低，目前硅基流动已经谈下海外客户。

而在中国市场，他的策略是：绑定一个客户必须付费的产品，如硬件或云计算资源，一起卖软件。

带着 OneFlow 时期积累的经验和教训，袁进辉说，硅基流动有信心摸索出一条符合大环境的商业化路径。

在当前的融资环境下，留给硅基流动证明商业化能力的时间更紧迫了。

一位该领域创业者说，风投机构投资这类基础软件公司时，会因为创业团队的技术提供天使轮资金，但后续投资会更看重实际营收与客户，出手会越来越谨慎。

硅基流动的办公室在中国大模型和 AI 公司聚集地清华科技园。去年有一天，袁进辉去清华科技园楼下喜家德吃饺子，刚坐下就听到邻桌议论：“OneFlow 技术做得挺好 ...... 最后还不是没挣到钱，被收购。”

“有时我会想，我们是不是做了一个不好的范例？技术判断没问题，也勤勤恳恳做事，但还是无法取得大家认可的成功。” 袁进辉说，这次决定再创业，不想让团队四散分开，也是想努力证明和实现他觉得简单、正确的道理：“好的技术能赚钱。”