大模型学会写万字长文，AI企业「波形智能」完成千万元Pre-A轮融资｜36氪首发

封面来源｜视觉中国

36氪获悉，近日杭州波形智能科技有限公司（以下简称“波形智能”）已完成千万元级Pre-A轮融资。该轮由蓝驰创投领投，西湖科创投、老股东藕舫天使跟投。

波形智能团队成员多有科班出身的NLP研究和海外背景，在长文本生成、Agent框架能力、大模型微调与压缩等领域上具有一定技术积淀以及全球化的视野：

创始人兼CEO姜昱辰本科毕业于浙大竺可桢学院，博士就读于瑞士苏黎世联邦理工大学(ETH)，师从国际著名学者Ryan Cotterell，曾在微软亚研院从事大语言模型的训练与推理。CTO周王春澍，博士同样就读于ETH，从事人工智能方向研究。CPO万磊，腾讯出身，过亿月活社交APP高级产品经理，多款AI产品创始人。联合创始人兼COO余腾，曾任美国上市公司掌门教育（ZME）联合创始人兼营销高级副总裁。

2023年下半年以来，行业已经涌现了一批成功提升“记忆力”的大模型，模型上下文窗口从32K，扩展到了一次能理解40万字左右文本的200K。

让大模型读懂超长文本，逐渐不是难题；但让大模型像人一样写万字小说，并不简单。

由于内容规划（如何从输入的数据中选择重要信息）和表层实现（用自然语言形式正确地描述重要信息）仍是难以攻克的难题，生成连续、连贯的长文本尚难以实现。

与此同时，理解和生成长文本对算力和内存提出了更高的要求。波形智能CEO姜昱辰告诉36氪，大语言模型主流采用的是Transformers架构，但缺点在于，其在处理长序列时会面临计算和存储的需求挑战，文本越长，循环次数越多，算力和内存成本会平方级上涨。

对此，波形智能主攻内容创作垂域的长文本生成，于2024年1月29日的技术开放日上发布了一款能生成长文本的大模型：内容创作垂域SOTA大模型“Weaver”。

为了在控制成本的情况下做到无限长文本生成，波形智能曾在2023年5月发表了名为RecurrentGPT的训练范式。姜昱辰介绍，在实际测评中，RecurrentGPT在比GPT-4的文本生成速度快三倍的情况下，书写的效果还要更出色。

通过适配RecurrentGPT框架，Weaver具备更强的长文本生成能力，在长文本和结构化文本生成的上下文一致性上提高了40%。相较于2倍量级参数规模的模型，Weaver系列模型的生成速度更快且效果更好。

应对模型“一本正经胡说”的幻觉问题，Weaver也有了新的解法。2023年9月，波形智能还设计了基于SOP（标准操作流程）的Agent架构：AIWaves Agents。通过对创作文本的过程进行模拟，Agent会根据撰写的题材自主判断什么时候进入剧情设定、角色设定、文风设定等不同阶段，以及不同阶段需要调取什么样的知识库。

与AIWaves Agents框架适配后，Weaver还支持函数调用，拥有超过1000个API上的综合训练经验，能够实现根据用户意图自动理解、规划复杂指令，执行文件处理、数据分析、图表绘制等复杂任务。

更重要的是，要让模型在内容创作领域落地，就必须要让机器写作更有“人味”。

为此，针对模型预训练阶段，波形智能自研了一套自动标注系统“Instruction Back Translation（指令回译）”，确保输出结果是由专业写手产出的内容。

针对对齐阶段，波形智能自研的对齐技术“Constitutional DPO（根据法则的直接偏好优化）”，能够以专业写作方法论为度量标准，指导对齐数据的自动生成。

此外，相较于通用大模型，Weaver还支持个性化知识库的调用。通过利用自研向量数据库生成原生（native）个性化模型，Weaver将召回内容的利用率（指的是召回内容能被输出内容有效利用的比例）提高50%。通过RAG（检索增强生成技术）+仿写的技术方案，Weaver将“越写越懂你”，逐步实现个性化的内容生成。

相较于通用大模型，Weaver能够在更深更广的创作垂直领域落地。目前，Weaver支持写大纲、续写、润色、风格迁移等10类写作任务，覆盖爽文/小说、工作总结、营销写作等30多个领域。

在技术开放日上，波形智能还推出了由Weaver驱动的AI辅助创作工具“蛙蛙写作1.0”。

这款面向专业作者、自媒体/文案创作者的To C生产力工具，为用户提供了模块化的功能。用户可以根据创作需求，一次性输出文本，或者按照大纲-章节的顺序分步写作。同时，蛙蛙写作的写作速度能够达到10分钟1万字。

目前，蛙蛙写作的商业模式主要为按月订阅，价格为29元/月。与此同时，蛙蛙写作也为企业提供定制化解决方案，并面向开发者开放了API。

姜昱辰对36氪表示，融资款将用于Weaver大模型和Agents平台的研发及其商业化。她透露，2024年第一季度，波形智能将发布70B的模型Weaver Ultra-Max，以及新一代Agent平台Agents2.0。针对剧本创作、私人客服、智能推荐等场景，Agents2.0平台将支持对Weaver大模型的自动微调优化。