智源发布FlagOpen大模型技术开源体系，要做大模型时代的“新Linux”

作者 | 刘燕

最近，现象级应用 ChatGPT 屡屡刷新人们的认知。ChatGPT 之所以迅速风靡全球，爆红出圈，与其较低的使用门槛离不开。它的出现也表明，人工智能进入普及应用的新时期。

大模型是 ChatGPT 背后的核心技术支撑。近几年，预训练大模型进入了爆发期。“大数据 + 大算力 + 强算法 = 大模型”是当前人工智能发展的主要技术路径。

智源研究院是中国最早进行大模型研究的机构：2020 年搭建大模型攻关团队，2021 年 6 月推出了多模态大模型“悟道 2.0”。2023 年初，智源研究院联合 30 多家产学研单位共同承担的项目“人工智能基础模型支撑平台与评测技术”全面启动。

经 2 个月集中攻关，智源研究院开发出了 FlagOpen（飞智）大模型技术开源体系，旨在打造全面支撑大模型技术发展的开源算法体系和一站式基础软件平台，支持协同创新和开放竞争，共建共享大模型时代的“新 Linux”开源开放生态。

FlagOpen（飞智）大模型技术开源体系是由智源研究院与多家企业、高校和科研机构共建的一站式、高质量的大模型开源开放软件体系，包括大模型算法、模型、数据、工具、评测等重要组成部分，旨在建设大模型领域的“Linux”。

基于 FlagOpen，国内外开发者可以快速开启各种大模型的尝试、开发和研究工作，企业可以低门槛进行大模型研发。

同时，FlagOpen 大模型基础软件开源体系正逐步实现对多种深度学习框架、多种 AI 芯片的完整支持，支撑 AI 大模型软硬件生态的百花齐放。

FlagOpen 将通过 Linux 基金会、启智社区等开源组织，推动国内外开发者协同创新。通过开源开放方式，全球开发者可以自由探索、共同贡献、协同创新。未来，FlagOpen 也将支撑全球 AI 企业、机构基于 FlagOpen 构建 AI 大模型软件发行版本、平台、商业软件等。

FlagOpen 开源平台入口：https://flagopen.baai.ac.cn

为降低大模型开发和应用的门槛，提高大模型的开发效率，智源研究院打造了大模型算法、模型，及各种优化工具的一站式、高质量开源项目 FlagAI。

FlagAI 集成全球各种主流大模型算法技术，以及多种大模型并行处理和训练加速技术，支持高效训练和微调。

FlagAI 涵盖多个领域明星模型，如语言大模型 OPT、T5，视觉大模型 ViT、Swin Transformer，多模态大模型 CLIP 等。

坚持开源开放路线，智源研究院也持续将“悟道”大模型项目成果开源至 FlagAI，包括“悟道 2.0”通用语言大模型 GLM，“悟道 3.0”视觉预训练大模型 EVA，视觉通用多任务模型 Painter，文生图大模型 AltDiffusion（多语言），文图表征预训练大模型（多语言）、EVA-CLIP（英文），阿拉伯语大模型 ALM，百亿语言基础模型 CPM3 等。

目前，FlagAI 已经加入 Linux 基金会，吸引全球科研力量对大模型技术共同创新、共同贡献。

项目地址：https://github.com/FlagAI-Open/FlagAI

AI 硬件评测对 AI 生态有重要价值，但由于 AI 软硬件技术栈异构程度高、兼容性差，应用场景复杂多变，给评测本身带来了很多挑战。

FlagPerf 希望共同探索开源、开放、灵活、公正、客观的 AI 硬件评测体系，建立支持多种深度学习框架、最新主流模型评测需求、易于 AI 芯片厂商插入底层支撑工具的 AI 系统评测生态。不以排名为核心目标，而以提供行业价值、促进 AI 产业生态发展为愿景。

目前该项目已和天数智芯、百度 PaddlePaddle、昆仑芯科技、中国移动等深度合作，共同推进 AI 硬件评测建设。围绕 FlagPerf，也将有更多厂商和团队加入共同贡献的大家庭。

项目地址：https://github.com/FlagOpen/FlagPerf

智源研究院院长黄铁军表示，AI 硬件评测是一个必然的发展方向，现在行业里很多厂商都在做芯片，需要建立标准和评测方法，以让这些产品将来实现互联互通，更好地构建算力中心、终端芯片等。建立相应的 AI 硬件标准体系以及评测手段、体系是产业走向成熟的一个标志。

现阶段，在 AI 硬件测试标准方面，国内诸多厂商都有动作。谈到 FlagPerf 相较于其他基准测试工具的不同点和优势点。智源研究院总工程师林咏华表示，由商业公司发起的 AI 硬件评测标准，在展开评测时，一定程度上带上了企业的商业诉求。由于产品或平台的诉求，商业公司自身就需要这样的评测工具。

但不同的是，智源站在一个更中立的位置上。在 AI 硬件系统评测，评测工具的选择和评测方法的设定方面，智源这样的机构具有更好的中立性。

FlagPerf 测评引擎的差异点在于，一是不只专注于某一款硬件；二是支持不同深度学习框架，而不是只会把某一种框架集成。“对于用户企业，我们不想限制它，在它想选择评测某一款芯片时，框住它只能用某一款芯片，我们希望让国内的深度学习框架也得以在这样的评测平台上被选择”，林咏华表示，“通常做评测需要持之以恒。作为中立机构，我们把 FlagPerf 开源出来，且第一时间就把多个厂商拉进来，希望大家共同来贡献，希望这个项目能持之以恒地往前推进”。

谈到接下来 FlagPerf 的发展，智源研究院副院长兼总工程师林咏华表示，“我们首先希望它先变成一个事实基准，大家都能用它来测评硬件，也爱用它。至于未来 FlagPerf 会不会发展成产业的标准，智源保持顺其自然的态度”。

大模型时代需要科学、公正、开放的评测基准及工具来帮助人们更深刻的理解和认识模型，但在学术界一直缺乏能涵盖多种模态领域、多种评测维度的统一化评测体系和项目。尤其在 AIGC 的发展浪潮下，如何对生成任务进行更高效、更客观的评价，是阻碍大模型落地的重要制约。

智源研究院将联合多个高校团队，共同打造覆盖多个模态领域、包含评测维度的评测工具 FlagEval，探索大模型自动评测技术，推动大模型技术创新和产业应用。

FlagEval 首先开放近期备受关注的多模态领域 -CLIP 系列模型评测工具，支持多语言多任务、开箱即用。之后，更多领域、更多维度的评测工具陆续发布。

项目地址：https://github.com/FlagOpen/FlagEval

数据是人工智能领域发展的基础要素之一。随着大规模预训练模型及相关技术不断取得突破，在相应研究中使用高效数据处理工具提升数据质量变得日益重要。

智源研究院长期投入数据建设工作，构建了全球最大 WuDaoCorpora 语料库，同时开发了一批数据处理的高效工具。

FlagData 数据工具开源项目集成包含清洗、标注、压缩、统计分析等功能在内的多个数据处理工具与算法，为自然语言处理、计算机视觉等领域的模型训练与部署提供了数据层面的有力支撑，有助于推动大模型的快速发展。

项目地址：https://github.com/FlagOpen/FlagData

FlagOpen 大模型技术开源体系正在与 Linux 基金会等全球开源代表组织与机构积极合作，加快建设面向全球的大模型技术开源生态。

全球最大的 AI 领域开源基金会 - Linux AI & DATA 基金会主席堵俊平认为 FlagOpen 大模型技术开源体系的发布，是人工智能大模型时代开源创新生态建设的重要一步：“未来，大模型领域一定会出现类似 Linux 的开源生态体系，开源开放加速 AI 技术创新。”

Stability AI 全球产品副总裁 Christian Cantrell 说：“我们在开源社区中与智源团队合作，基于 FlagAI 开源的多语言文图模型能力，合作打造支持更多语言的扩散生成模型。很高兴看到智源研究院把大模型技术体系开源，这对全球大模型创新的推动和开放合作十分重要”。

黄铁军在主题演讲中表示，开源开放是智能时代的必然选择。

大模型通过同一模型完成多场景任务，成为支撑无数智能应用的基础平台，使得人工智能技术的大规模应用变为可能，加速了智能时代的真正到来。

当前深度学习阶段的人工智能系统具有难以透彻理解的技术特性，智能时代不应封闭、必须开放、最好开源，特别是作为基础平台的大模型需要全面开源、接受监督，才能得到信任、采纳和广泛应用。

结合当下 ChatGPT 热潮，黄铁军认为，此类 AI 现象只是大模型技术“海平面以上”的冰山一角，深藏于“海平面以下”的大模型技术体系才是更值得关注的部分。从长远考虑，打好根基，形成完整的大模型技术体系及强大的资源能力，未来才能产生更多的“ChatGPT 级”的现场级应用。

FlagOpen 正是为了建立大模型技术体系而开展的基础性工作，通过开源开放的形式促进各类机构共创共享，形成良好生态，共同打牢大模型发展根基。未来将面向各类企业提供大模型相关技术服务，支撑各行业智能应用开发，赋能经济社会智能化升级。

FlagOpen 目标做大模型领域的“Linux”。

在操作系统的发展历程中，各个阶段都涌现出了很多操作系统，但 Linux 在整个市场竞争中占据了主要份额，从这个意义上看，Linux 非常成功。Linux 的诞生源于一个叫“Minix”教学操作系统，30 多年来，Linux 发展成为拥有海量全球用户的操作系统，其成功离不开开源。在大部分情况下，以开源形式或以开源形式为基础的产品往往能占据较高的市场份额。

为什么大家愿意用开源的操作系统？商业公司也可以直接购买闭源的操作系统，这并不仅仅是因为开源免费带来的成本的降低，而是风险降低了。如果只采购闭源的操作系统，如果背后企业不继续维护了，就要迁移技术栈，而开源则不会遇到这样的问题，多家企业共同维护开源，就不会因为单个企业的问题导致整个开源软件使用出现问题。此外，每天都有很多开发者使用开源软件，并在使用过程中汇报、反馈问题，因此开源软件往往比闭源软件在技术风险上更低，更快地解决技术问题。

可以看到，开源开放已经发展成为大趋势，越来越多的产品在不同程度上建立在了开源的基础之上。黄铁军认为，一个开源项目的成功，应该是大多数做产品和服务的企业都使用这样的开源体系，就像 Linux、RISC-V 就是得到广泛采用的体系。智源希望 FlagOpen 在智能时代，也发挥这样的作用。

智源希望以大模型为主导的方向来提供更基础的贡献。“智源在大模型方面已做了几年，是全球范围内大模型研究的先行力量。黄铁军说，不可能也不应有任何一家企业来完全封闭地主导这个对人类来说至关重要的方向。智源希望跟大家一起共同建立开源开放技术体系的全球生态。选择做大模型开源”，而非以封闭的产品主导世界，这是众望所归。

但黄铁军认为，各家不应该陷入“比模型”的竞赛中，模型的参数、性能、训练等都只是产业生态中的一部分，远远不是全部。“大模型代表了人工智能发展的主流方向，我们更应该关心训练大模型的技术——用大模型怎么更好地提供智能和智力服务？在这背后，一个庞大的技术体系和产业生态正在形成，开发者和企业应当在过程中用产业生态的角度看问题，找到发挥自己潜力的位置，而不仅仅是比模型”。

自 ChatGPT 走红后，全球互联网大厂、创业公司纷纷加码布局。ChatGPT 引爆了一场军备竞赛，大型科技公司间的 AI 竞赛逐渐白热化。王慧文、李志飞、周伯文等科技大佬也纷纷下场创业，加入战局，都称要打造“中国的 OpenAI”。

那么，在中国最早坚定大模型研究路线的智源要不要做中国的 OpenAI？对此，黄铁军表示，每个机构都有各自的特点和理念，这很难简单做对比，但可以相互借鉴。

智源与 OpenAI、DeepMind 等机构的相同点在于，都在追求 AI 的前沿、开放研究，目标为全球 AI 的未来发展贡献力量。作为中立的非营利机构，能够更好地汇聚商业、学术与政府资源，集中力量办大事，提升科研创新成功概率。这是得天独厚的优势。

你也「在看」吗？ 👇