RTE2023：声网首创广播级4K超高清实时互动体验

2023-10-25 09:10

10月24日，由声网和RTE开发者社区联合主办的RTE2023第九届实时互联网大会在北京举办，声网与众多RTE领域技术专家、产品精英、创业者、开发者一起，共同开启了以“智能·高清”为主题的全新探讨。本届RTE大会将持续2天，开展1场主论坛及20+专场活动，包括RTE领域技术开发、趋势洞见、行业观察、创业投资等多维度内容分享，覆盖了AIGC、出海、数字化转型等时下最热门的话题。

在24日主论坛上，声网创始人兼CEO赵斌、声网合伙人兼客户成功副总裁孙雨润带来了《智能·高清开启实时互动体验新时代》的主旨演讲。Founders Space创始人兼CEO 史蒂夫‧霍夫曼 (Steve Hoffman)从国际投资人视角，洞察了AI赋能RTE未来的诸多可能性。声网首席科学家、CTO钟声聚焦AI时代实时互动的趋势，带来了最前沿的技术观点和解读。联合国人口基金(UNFPA)驻华代表处副代表兼负责人欧雯姗（Ira Ovesen）则从“科技无国界”的角度，介绍了实时互动技术为世界带来的改变。

此外，声网首席运营官刘斌、喜马拉雅首席科学家卢恒、Soul APP技术副总裁张高政、小红书音视频架构负责人陈靖、商汤科技商务总监数字文娱事业部副总裁李星冶，还以”AI如何赋能实时互动体验改善及场景升级“为主题进行了圆桌讨论。

智能·高清开启实时互动体验新时代

回顾2023年，AIGC大模型驱动着各行业迎来新业务机会，AR、VR、XR等技术能力的迭代为实时互动在各个领域的应用提供了更多可能。在直播社交领域，弹幕玩法成为直播新风口，这些变化都影响着RTE行业的进化。

智能和高清正在推动实时互动体验进入全新时代，在大会开场演讲中，赵斌宣布：“声网在RTE行业首次实现广播级4K超高清实时互动体验。”他指出， “4K不仅仅只有分辨率一个纬度，光亮强度的动态范围、色彩的真实度、饱和度，以及色彩渐变的细腻程度，都是真正超高清体验里不可或缺的一环。”广播级超高清可以带来更加逼真的视觉效果，高对比度和丰富的色彩表现可以使影像更加生动，细节更加清晰，并以此提升观影体验。

赵斌认为，虚拟人+AIGC所创造的情感和情绪价值或将在未来解决社交供需不平衡的现状，并引领交互对象发生变化。另一层面，随着AIGC能力的进一步加强，越来越多的应用型开发将被AIGC替代，API+AI的形式将大幅提高应用开发效率。

大模型在快速发展，但交互界面仍局限于文字聊天互动方式。赵斌提到，通过过去一年的投入和打磨，声网推出行业首创AIGC-RTC能力模块，可支持与任何大模型平台结合，实现更低延时、更自然、更沉浸的实时语音对话，为企业协作、社交、直播、游戏等多种场景提供新玩法、新机会。

在AI等核心技术驱动下，实时互动QoE体验的变化对于用户留存和使用行为的影响日益增强。孙雨润介绍，“根据声网某东南亚头部泛娱乐客户数据显示，当视频从标清升级高清，停留超过30秒观众数提升19%，观众人均观看时长提升30%，同时观众打赏率大幅提升。某国内知名社交出海App，从CDN 升级声网极速直播，送礼率增长 12.3%。”

AI如何赋能RTE未来

AIGC被认为是当前的技术革命，它与RTE的深度结合，又将带来什么改变呢？Founders Space创始人兼CEO 史蒂夫‧霍夫曼在分享中指出：“人工智能将对许多领域产生影响，在AI赋能的RTE未来，我们将看到每个人都会拥有更加个性化的体验，更加动态的程序将随着图形、音频、视频的实时变化而变化，AI将为我们带来前所未有的连接方式。在更深层次上，AI还将为人类增加更多的生产力水平，带来动态的虚拟世界等等，让我们感受到更多的沉浸体验。”

史蒂夫‧霍夫曼表示：“在AI和RTE技术的加持下，新的穿戴设备可能会进入市场，比如新的皮肤电子设备、感官增强设备等，它可以让我们听到人类听力范围之外的频率。此外，脑机接口也将读取我们的脑电波，从而帮助我们实现冥想或对其他设备的控制。”在工业RTE场景应用下，人们可以聚在一起，实时通过虚拟或真实工厂观看流水线运作、产品生产等。在AI陪伴场景中，人工智能伴侣这一概念将成为人们社交生活、娱乐、事业的一部分。

综上，未来可能会有各种类型的伴侣应用以及新的实时接口方式出现，甚至会出现一套为RTE开发的全新硬件，这些都将极大改变RTE领域的发展前景。

AI时代实时互动何去何从

AI时代已经来临，实时互动该何去何从？声网首席科学家、CTO钟声为我们带来了技术视角的深度分享。钟声指出，回溯过去五年，最典型的事件就是大模型的突破，从2017年的Transformer，到如今的ChatGPT-4，人工智能的发展，让信息传播和消费智能化的趋势越来越明显，万事归于中心化AGI接管的趋势和威胁也越来越明显。大模型在带来发展机遇的同时，也带来了计算需求快速增长、算力受能源供给力限制、大模型数据资源不够、存储需求增长过快等问题。未来，我们除了要做负责任的AI之外，在端上和边缘上的分布式实时智能将成为价值公平分配的重要技术手段，也是减缓中心化AGI对人类威胁的有效途径，这也注定会成为一个新的技术发展趋势。

钟声认为，AGI将走进实时互动，实现人人可分身，帮助在应用场景中复制名师、网红，甚至普通人也将通过AI分身丰富体验、缓解时间稀缺的瓶颈。此外，他预测，具备端边实时智能的高清实时互动能力将成新趋势和竞争焦点。

钟声介绍到，实时高清需要许多端上实时AI，在Low Level Vision and Audio这一需求层面，声网的SDK 4.1.x, 4.2.x版本已经可以支持1080P/4K视频的例如超分、虚拟背景、感知编码、降噪、去回声等底层计算机视觉处理和高音质的计算机听觉处理能力。在High Level Vision and Audio层面，声网已经部分实现对物体、声音、场景的理解和重构能力，包括面捕、动捕、情感计算，物体识别和场景重建等，可以大力改善多种应用场景下的用户体验。

科技赋能：共筑数字包容未来

在一个科技无国界的世界里，人工智能、实时互动技术、生物技术、材料科学等技术创新力量构建了一个“数字包容”的世界。过去一年，联合国人口基金与声网通过实时互动技术，为中国偏远地区的一万多名青少年提供了适龄的健康教育。联合国人口基金(UNFPA)驻华代表处副代表兼负责人欧雯姗表示，“人工智能和实时互动技术为那些仍在使用型号较老的多媒体设备的学校提供了量身定制的解决方案。它不仅优化了直播流的分辨率，还增强了在教学和学习过程中的音视频质量。学生和直播教师可以实现像传统课堂那样身临其境的教学质量和速度。”

同时，欧雯姗宣布，联合国人口基金驻华代表处与声网及其他合作伙伴联合发起了“智享银龄”科技助老青年创新挑战赛。她表示，“我们希望激发青年人，特别是大学生和年轻毕业生，为代际数字包容贡献想法并做出积极行动。”

AI赋能实时互动体验改善及场景升级

AI技术的发展为各行各业带来了用户体验改善和场景玩法创新。针对这一话题，喜马拉雅首席科学家卢恒、Soul APP技术副总裁张高政、小红书音视频架构负责人陈靖、商汤科技商务总监数字文娱事业部副总裁李星冶、声网首席运营官刘斌进行了圆桌讨论。

谈到AI技术对业务发展的影响时，卢恒表示，作为全国最大的有声内容平台，喜马拉雅从文本处理到音频内容生成的过程中都使用了大量的AI技术，目前，AIGC生成的音频内容日均播放量已超过250万小时。张高政则表示，大模型的理解能力对于UGC平台及用户来说都非常有利，它不仅可以快速提升内容生产效率，还能降低内容生产门槛。

AI大模型的发展是机遇与挑战并存的。陈靖指出，对于很多公司而言，说清楚一些AI大模型项目的必要性是一个巨大挑战，很多项目并不像利用AI去做体验增强那样，能够跟用户留存及转化的一些指标建立关联。李星冶则表示，他所看到的挑战有两点。其一，在为许多C端流量产品提供服务时，算力、带宽、智力相关的弹性储备是一个很现实的挑战，其二，大模型开发厂商如何平衡投入以及预期收入之间的关系，也是一个挑战。各位嘉宾还分享了AI大模型在实时互动领域的一些玩法创新，其中陈靖提到，提高主播观看率的美颜美体功能可能是过去AI为实时互动领域贡献最大价值的场景，希望今后会看到更多新的尝试。

如刘斌所总结的，无论未来是挑战还是机遇，我们都应该在各自行业里去努力尝试。我们也期待，在大模型新的范式发展下，看到越来越多的场景落地及业务价值。

往/期/回/顾

声网首发RTE行业专著《实时万象》，拉开RTE2022序幕

RTE 2021：声网重磅发布“RTE万象图谱”

声网融合CDN直播等系列新品震撼亮相

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章