身临其境的8K 3D VR互动直播背后，浮现火山引擎视频云

科技

2022-05-24 13:05

文/VR陀螺万里

“演出推迟了，准备转成线上进行了。”好友跟我说道。

跟朋友约了好久的演出，最终还是没能在线下看上，这几乎成为了常态。随着疫情已经进入第三年，似乎有些事并非一定要在线下，因为大家开始适应“在线”。

于是，云娱乐开始了。云约会、云社交、云学习、云办公、甚至云蹦迪……但作为一个线下演出爱好者，不得不说，我真的很怀念只有在演出现场才能感受到的那种欢欣雀跃、激情澎湃、热泪盈眶的“真实”。

直到我看到这两场“演唱会”，仿佛离我远去的“真实感”回来了。

8K 3D VR互动直播

让曾经的“真实”再现

5月17日，郑钧“We Are”VR 私人唱聊会在Pico平台进行了独家直播，我当时第一时间观看了这场直播音乐会。

站在舞台上，“零距离”看偶像唱歌

（图源：VR陀螺）

当晚，歌曲定制化的舞美视效让人感受到了直击眼球的震撼，亲临舞台的视角更是让我获得“站在舞台上面对面”听歌的沉浸式体验。

用户通过手柄放飞“孔明灯”

（图源：Pico VR）

本次唱聊会，Pico通过VR技术构建了一个虚拟的星际“树洞”唱聊空间，除了特效场景实时切换外，还有搭建场和互动场的虚拟现实无缝拼接，实现用户和郑钧360°沉浸式双向交互对话。

《低空飞行》（图源：Pico VR）

更令人惊喜的是，在演唱《低空飞行》这首歌时，舞台周围快速飞过的此前征集的“不切实际的梦”，边听歌边看大家的心里话，恰好呼应了这次唱聊会的“We are”，代表着“我们在一起”。

据悉，Pico首次应用这种身临其境的互动直播，是在4月9日2022 王晰 “图景”个人巡回音乐会上。当时演出的开头，王晰用充满磁性的声音说出了直播的最大亮点：您现在正在收看的是，这个星球上有史以来第一次面向公众的8K 3D VR实时互动直播。

截图画质较低，实际观感会好得多

（图源：VR陀螺）

由于这两场均为8K VR直播，所以相较于以往常见的4K甚至2K VR直播来说，观感好了可不止一丝半点，可以很清楚看到演唱者的脸部甚至是衣服上的一些配饰细节。

观看距离近，是VR直播的亮点之一。此前，微博上有人发了一个王晰演唱会线下视角与VR直播线上视角的对比视频，就观看距离来说，VR直播给人带来的冲击力要比现场强烈得多。

图源：微博

除了画面以外，音质也是一大亮点。演唱者充满磁性的嗓音，加上Pico Neo 3的立体空间音效，声音氛围完全不亚于现场效果。

不过，里面也有一些值得吐槽的地方。4月那场8K 3D VR互动直播，每一个进入直播间的用户都会生成一个虚拟化身，这些虚拟化身在观看演出时很喜欢往舞台前面挤，这样就导致舞台的歌手很容易被遮挡住。

虚拟化身遮挡舞台

（图源：VR陀螺）

Unity AR/VR副总裁曾说过，VR体验感比高保真视觉更重要。VR直播的体验感，需要在参与、互动、交流等细节中表现出来。

互动性强，也是Pico直播的亮点之一。我们左手呼出菜单，可以发送内置弹幕或者比心等表情包，用户发送的内容可以在舞台下方实时显示出来。

发送弹幕效果

（图源：VR陀螺）

此外，里面还有一个我很喜欢的取景器功能。用户可以利用这个取景器在现场自拍，又或者与舞台上正在唱歌的歌手进行合影，甚至还能放大缩小取景框画面。拍摄完毕之后，你还可以把录制好的照片或者视频在抖音上发布。

不得不说，这种在VR直播场景中拍照的感觉真的如同置身于现场一般。

极其逼真的拍照体验

（图源：VR陀螺）

火山引擎全程支持8K 3D VR互动直播

这两场VR直播得以成功实现的背后，是多方协同配合的结果：一是Pico Neo3优秀的产品体验，二是郑钧、王晰等歌手积极拥抱新技术，三是火山引擎视频云在背后提供优秀的技术支持。

火山引擎是字节跳动旗下的云服务平台，视频云是火山引擎中台能力之一，能提供视频从生产到播放全链路的技术支持。

火山引擎视频云在VR互动直播中实现了从VR采集、VR编码推流、VR云导播、虚拟现实特效叠加、全画幅VR高清低码传输到VR播放器的全链路能力。这是火山引擎视频云团队多年积累与沉淀才得以实现的效果。本次VR陀螺有幸采访到火山引擎视频云产品负责人何予，其为我们讲述了火山引擎视频云的技术储备和特色。

想要获得优质的VR直播体验，画质始终是一个无法避开的话题。体验数据表明，当我们以正常距离观看电视的时候，人眼最高只能分辨4K画质的内容，超过这个值后，哪怕画质再高，绝大多数用户都不再能够察觉出来。

图源：Pexels

对于常规2D屏幕，4K画质在很多场景中已经足够使用。不过对于VR视频而言，4K只是刚刚开始。我们利用VR头显观看视频时只能看到球面的一小部分区域，相当于拿了个放大镜在观看视频，清晰度相较于2D内容会大打折扣。所以，VR直播上的画质必须要上到8K。

尽管8K能带来良好的用户体验，但受到码率过高等因素制约，8K的整体应用尚处于发展早期。何予介绍，火山引擎视频云在8K技术上的探索与技术解决方案处于国内领先地位。据悉，在去年的10月份，火山引擎的BVC2解码器已率先支持移动平台H.266标准的8K解码；而在11月，火山引擎又正式推出业界首个完整的端云一体 H.266 视频解决方案。资料显示，H.266 标准相比前一代H.265标准，在主观质量相当的情况下可以节省 50% 码率。率先支持8K解码，以及拥有完整的端云一体 H.266 视频解决方案，无疑为火山引擎视频云团队支持8K 3D VR互动直播奠定了良好的基础。

据介绍，面向体验是火山引擎视频云的一大特色。在画质体验上，火山引擎投入了很多的研发资源，在视频编解码全球顶级赛事MSU2020中，火山引擎研发的BVC系列编码器获得17项评分冠军。而为了量化画质，火山引擎自研的VQScore算法，也在ICME 2021 的“压缩UGC视频质量评估”比赛中，获得“无参考视频质量评价（NR-VQA）MOS赛道”第一名。

在直播上，延迟是很敏感的指标

（图源：火山引擎视频云）

画质之外，直播的能力也是非常重要的一个用户体验纬度。何予说，火山引擎视频云实时音视频服务（RTC技术）支持百万级用户并发，单房间最高支持超过千人上麦，成为国内首家能够提供单房间超过千人上麦的RTC服务。在直播延迟上，由于火山引擎和其他云厂商共建的"超低延时直播协议信令标准"存在，大规模分发的直播延时进入1秒大关，最快可达到500毫秒，让大家几乎感受不到延迟的存在。互动体验方面，火山引擎视频云集成了抖音美颜、特效、滤镜应用的最佳实践，让用户互动更有趣。

图源：VR陀螺

我观看直播时，全程体验非常流畅，并未感觉到任何卡顿，在微博收集了其他用户反馈也并未发现有关这场直播“卡顿”等相关言论。可见视频云团队在直播延迟上的技术优化是相当到位的。

未来视频方向：

更高清、更交互、更沉浸

字节跳动自2014年开始布局短视频方向，并笃定未来是视频时代，以此作为战略核心推进。

短短数年，短视频产业从初出茅庐成长为数千亿产值的庞然大物，而抖音作为短视频时代的代表企业，引领了这一轮热潮。

基于抖音、西瓜视频等内部视频业务的最佳实践，火山引擎视频云对外提供了一套适用于不同场景的完整解决方案。根据公开的产品矩阵图来看，火山引擎视频云核心中台部分覆盖了从传输网络、智能生产到智能处理的一整套核心技术能力，核心产品包括视频点播、视频直播、veImageX以及实时音视频，其场景和解决方案覆盖了企业直播、泛互联网、游戏，以及在线教育、金融、广电等诸多领域。

（图源：火山引擎视频云）

在今年2月火山引擎视频云科技原力峰会上，火山引擎视频云技术负责人浩铭曾提到：“相信视频应用会持续朝着三个方向演进，更高清、更交互、更沉浸。”

而为了让视频实现更高清、更交互、更沉浸，火山引擎视频云此次支持Pico实现8K 3D VR互动直播或许就是其践行的其中一步。

“对于VR直播，火山引擎视频云团队会持续打磨产品，力求给用户提供更高清更沉浸更实时的体验。”采访最后，何予如此表示。

相较于传统直播，VR直播带来的临场感是其他终端设备无法比拟的，它将会是未来VR生态中的重要应用场景之一。目前VR直播虽然还不完美，依旧有很多问题需要解决，比如前文提到的清晰度，8K依然只是及格线，我们对于高画质的追求还远远没到尽头。而这背后，涉及到一系列生态的建设，比如更高的网络带宽、更优秀的编码协议、更强的硬件性能等等。此外，如何实现更有趣的交互，比如歌手与观众交互、观众与观众交互、良性的商业模式，也是未来需要探讨的方向之一。

罗马非一日建成，也非一人之力所筑，VR直播还需要产业各路协同，不断探索、不断试错。如今踏出的每一步，都将为未来VR直播产业添砖加瓦。

第一时间了解XR资讯

关注VR陀螺官网（vrtuoluo.cn）

VR陀螺的联系方式：

商务合作 | 投稿：

西瓜（微信号 18659030320）

六六（微信号 13138755620）

交流分享 | 爆料：案山子（微信 shimotsuki_jun）

投稿邮箱：[email protected]