「专题速递」AR协作、智能NPC、数字人的应用与未来

张玉兵

广州视源电子科技股份有限公司 

技术专家

我们致力于让思维表达更为平等和高效。有人思维清晰但不善表达，有人表达流畅但不喜出现在公开场合和镜头前，还有人因为突发疾病或其它原因而导致声音和形象欠佳。希望因为我们的存在，为更多的人扫除思维表达的障碍，让更多的人能够平等高效地表达自己的思维。

本次分享的思路：

1、介绍2D数字人克隆技术，解决教育培训和企业营销场景下降本增效的问题。其中包含两个技术特色：a）2D数字人表情编辑，解决了当前2D数字人只能对口型导致的不够真实而应用场景受限的问题，b）跨语言驱动，拓展了2D数字人的应用场景，可以应用跨语言出海业务的企业营销视频制作。

2、介绍不存在于这个世界上的2D虚拟人生成技术，解决了2D数字人制作过程中 a）用户定制数字人门槛较高 和 b）模特拍摄和肖像授权费用过高两个问题。其中的技术特色是：所采用神经网络渲染方案不依赖于视频前后帧间的信息，因此在制作不存在于这个世界上的新的虚拟人的过程中对算法的鲁棒性要求不高，可以对虚拟人素材进行评估筛选，保证了虚拟人生成的效果和稳定性。

3、介绍2D数字人脸表情、人头部姿态和肢体动作的实时驱动技术，解决在远程视频会议中完美出镜、视角矫正、背景替换、极致的低带宽传输等需求。技术特色是：a）实现身份无关的带有任意表情和动作的多模态混合驱动的2D数字人实时生成技术，b）同时结合轻量级的神经网络渲染技术极致优化运行时间，实现移动端实时运行。

4、介绍商业应用案例。

刘健

科大讯飞

 MetaLab实验室研发负责人

元宇宙，这个虚拟的数字世界，将现实与虚构巧妙融合，创造出无尽的可能性。未来，大模型的融入将成为必然之选，它能赋予元宇宙更为真实、智能的交互体验，实现自然语言对话、内容生成等功能。这种结合将为元宇宙注入更丰富的内涵，提升用户的参与感和沉浸感，推动虚拟体验不断向前发展，激发创新、商业和社交领域的无限潜能。

本次分享将分为三个环节：首先，我们将简要介绍讯飞星火Spark，让您初步了解这一神奇的工具；其次，我们将深入探讨AI智能NPC的应用框架，带您领略大模型下智能NPC技术实现的原理；最后，我们将展示讯飞星火在云宇宙中的创新应用探索。通过以上三个环节，我们希望能够为您揭示元宇宙与大模型结合的实践探索之路。

唐荣兴

亮风台 联合创始人&COO

主体内容会从经历的过去、现在、未来展开，稍列如下。

2003年开发PocketPC上的软件电话SIPPhone到现在刚好二十年，其间经历过2008年第一次创业的FeaturePhone上的视频通话，用户数千万级，感受过用户对沟通、交流的强烈需求。

第二次创业专注增强现实，2017年前后启动AR协作软件HiLeia的产品研发，感受到企业服务市场对AR协作的需求，感受到企业服务市场垂类场景对音视频通讯依然存在强烈的细分需求。

从二十年前的软件电话到音视频交流再到更加丰富内容与交互的AR协作，有幸见证了技术与场景的变迁与进化，似乎浓缩的是“音视频”从1维到2维再到3维的维度跃进？个人的思考、实践固然重要，行业的发展与用户需求递进才是本质与底层逻辑。