OPPO 推出自主训练大模型 AndesGPT，初衷是智能助手的技术升级

11 月 16 日，在 2023 OPPO 开发者大会上，OPPO 正式推出了自主训练的大模型 AndesGPT。

据介绍，AndesGPT 拥有对话增强、个性专属和端云协同 三大技术特征，对于大模型带来的变革，OPPO 认为体现在四个方面：知识、 记忆、工具和创作。

• 在知识能力方面，AndesGPT 融合了知识图谱及通用搜索能力，为用户提供更专业的问答。通过知识增强技术，将外部知识与模型融合生成结果，降低幻觉。

• 在记忆能力方面，AndesGPT 实现长期记忆机制，以支持无限长度的上下文和有状态服务。而长期记忆带来首字推理延迟这个技术挑战。为了解决该难题，OPPO 研发了一种注意力算 法命名为 SwappedAttention。SwappedAttention 能够在多轮长上下文对话中，有效降低每个 query 的首字推理时长。其核心技术原理是，通过外部存储和 KV 压缩的方式实现会话级 KV 缓存。结合 PagedAttention 算法一起使用，能够带来 50% 的首字延迟降低，以及 30% 的推理吞吐提升。

• 工具使用也是 AndesGPT 一项核心能力，更好的理解设备控制与服务 API，端到端生成可执行指令。目前 AndesGPT 已支持使用系统设置、一方应用、三方服务、代码解释器等各类工具。

• 在创作方面，AndesGPT 已全面支持文生图与图生图场景。

AndesGPT 主要训练三种参数规格的模型——AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan，可根据不同场景灵活选择。AndesGPT 使用行业主流的网络结构，主要做了两个组合优化：

1. RoPE 位置编码探索了 base 的最优值，结合 log-scale 和 attention 加 bias，扩展外推能力；

2. GQA 结合复杂移动窗口（Dilated Attention）加速了训练和推理，实现了 O（Nd）的线性复杂度。

OPPO 数智工程事业部总裁刘海锋在接受 InfoQ 采访时表示，OPPO 做大模型的一个最基本的初衷就是升级智能助手产品，让小布助手变得更有用更智能。“对于手机厂商或者智能终端厂商、本来就有智能助手的团队来说，这个事儿是非常自然且水到渠成的，因为我们有现实的用户的需求，有数据的积累，也有一些 knowhow 积累，那么我们肯定要做技术升级。”

除了落地应用，OPPO 还在推进产学研联合促进前沿技术研究。去年 OPPO 联合中国科学技术大学成立的智能计算联合实验室，已将大模型技术作为核心研究方向。此外，OPPO 还和国内外超过 45 所重点院校建立了 AI 相关的合作。未来，AndesGPT 还将面向开发者开放核心的智能体开发平台。

点击底部阅读原文访问 InfoQ 官网，获取更多精彩内容！