在 VR 里,我和李玟共同完成一场演唱会
2016 年被认为是“VR 元年”,早期的市场玩家 HTC、Oculus 卯足了劲发布高端 VR 头显,索尼定位更消费级的 PSVR 在日本首周卖出 5 万余台,Google 推出了 Daydream 套件:用户只要把兼容的手机放入头戴式盒子,就能观看一些 3D 沉浸式内容……
而普通人那会儿最先接触到的,恐怕就是商超里摆出蛋椅的 VR 体验店,以及各种纸制的廉价头戴盒子,看到的不少是将 2D 平面内容生硬融进虚拟空间的画面,“VR 体验差,容易头晕。”这是很多人的第一印象。
Google 推出的纸板 VR“Cardboard”|Wikipedia
彼时主机 VR 价格高昂,配置要求极高,内容贫瘠,而随处可见的纸板盒子只能达到初级的沉浸体验。VR 的软硬件和消费者的期待,产生了错位。
当处于“风口”的 VR 设备销量远低预期的时候,资本把手缩了回去。行业直接从“热潮”,到“冷场”。
2019 年,被认为是行业里程碑产品的 Oculus Quest 发布,它的意义在于树立起了一个消费者认可的技术标杆:既可以无线也可以做到 6 DoF(6 自由度,可 XYZ 轴旋转,以及位移),还支持双手追踪,并且价格友好。这个技术标准被定下后,VR 内容的开发进入了一个全新周期。
3 自由度(更适合用于观影)和 6 自由度的差别|IGN Japan
如今,当用户再拿起入门 VR 时,会发现可消费的影音内容,在内容深度和应用广度上,都与当年不可同日而语。比如,你可以观看到 8K 全景内容,在 VR 里尽情游戏,甚至健身。
就拿近年来因新冠肆虐积极转战线上的“虚拟演唱会”为例,规格也从 2D 平面,搬到了 VR 里,场景、动作精度,以及内容策划,都有不俗表现。
Justin Bieber 的虚拟演唱会|giphy
在国内,也能看到 PICO 等平台入局全虚拟演唱会,同时依托于不断普及的 VR 设备,积极联动 VR 能力,开发出了体验更丰富的演唱会。
我们去看了李玟的演唱会,全虚拟的那种
先想象一下,1230 万位玩家同时“云蹦迪”是什么体验?鸟巢有 91000 个观众席,得有 135 个鸟巢才能装得下这些观众。2020 年 4 月 24 日,说唱歌手 Travis Scott 在游戏《堡垒之夜》上的演唱会,就开启了这种空前盛况。
Travis Scott 在《堡垒之夜》上的演唱会|giphy
玩家们进入游戏后,一开场就会看到 Travis Scott 被虚拟化一个巨人,从大气层外“砸”进地面,各种光影、粒子特效开始跟着音乐跳动。慢慢的,场景或下起火红流星雨,或暗成一片,然后流动出了霓虹般眩目的彩带……最巧妙的是,玩家不断在地面、天空、深海和太空间穿梭。
当在屏幕里看到自己的虚拟化身,和万千玩家以及歌手一同手舞足蹈,玩家们都能感觉到自己已然成为了演出的共创者。不过,演出只持续了十分钟左右,但受到的关注度是空前的。
我一直在想,如果把歌手完全虚拟化后,再放入一个架空的全景式 VR 环境里?效果会何等震撼?在接到 PICO 的邀请后,我们去了现场体验。
所体验的 VR 设备为 PICO 4|PICO
我将坐在这种旋转椅上观看虚拟演唱会,要求的实际空间不大,同时 VR 设备的配置也很简单,无需连接线缆,接上 Wi-Fi,戴到头上即可。
《李玟“千禧之境”全虚拟 VR 演唱会》在 1 月 7 日上线 PICO 视频。这是国内首场明星 6DoF 全虚拟VR演唱会,也是 PICO 首次尝试集 6DoF 体验、全虚拟场景和实时动捕技术于一体的 VR 视频内容
一开场,我很本能地探索在虚拟现实中如何走动,由于在 VR 里划定的安全边界是旋转椅外一圈,我可以通过抛点瞬移或者平滑移动,配合着移动。演唱会大厅涌进了很多玩家,我们都听到了李玟的“求救”,随后来到了列车场景,穿梭回千禧年代去“解救”她。
第一个场景是国风舞台,李玟持长枪开场,她要唱的《刀马旦》,“明明早上人还在香港,还在九龙茶馆喝煲汤,怎么场景一下跳西安,我在护城河的堤岸”,歌词里说到的这种场景“跳转”,在虚拟现实里简直轻而易举。
劲歌热舞之后,是缱绻深情,李玟换上一袭白裙唱起了《月光爱人》,唱到高潮处,我发现我的虚拟形象被徐徐拉近,一下子来到了李玟面前,她伸出手掌,我本能将手也伸出去,触碰时手柄恰如其分地传来了震感。有粉丝说,她仿佛感受到了偶像的心跳。
复古迪斯科舞厅最让我印象深刻,当背景褪为暗色,舞台和光效则被衬托得异常绚烂夺目。当李玟唱着传唱度极高的“di da di”时,人很容易跟着一同摇头晃脑,但这时面前呈上了音游面板,手柄在 VR 里变成了两根荧粉色的荧光棒,打击感利落、跟手。
演唱会还和经典动画电影《宝莲灯》做了 IP 联动,他们把主角沉香也 3D 化了,李玟演唱主题曲《想你的 365 天》,同时也和沉香经历春夏秋冬。有意思的是,沉香踩雪的吱呀声,是从右耳传来的方位感极强的音效。
接着,我和同一房间的观众,一起把此前在车厢里收集到的萤火虫发射到宝莲灯,推动主角和母亲团聚的情节。当宝莲灯集齐能量后,垂直向空中发射出光柱,随后我和主角们一同升空,在光桥上见证了母子相逢。
相比之下,Travis Scott 演唱会更像是一个制作精细度极其高的动画秀,有巨大的虚拟人,画面全虚拟,容许全球更多玩家接入,但只能体验 10 分钟;而李玟这场全虚拟演唱,结合 VR 后,则在交互感上往前推了一步,以及,演唱会正式版时长达 50 分钟。
活动现场的主持人提醒我们取下 VR 头显时,说了句,“欢迎回到现实世界”。
一定要把人虚拟化吗?
体验这场演唱会前,我就抱着一个疑问,“为什么要把李玟做成虚拟的?”体验完后,我觉得如果环境和人物皆为虚拟,画面元素间的配合会更自然,创作方在画面上的自由度也会更高,可以更天马行空。
主创团队也给出了回答,他们表示演唱会时长接近一小时,美术资产、特效种类较多,还得协调 VR 一体机的性能,所以是现在的结果。
“从技术角度上来说,如果把李玟的真人用数字化模型的办法去做渲染(就是一个假的真人、很像的真人),对于性能要求很高,这是目前行业内外明确的硬件技术瓶颈,未来需要攻克。但行业中也有一个做法——把李玟的真人用摄像的技术立体抠出来,类似于光场视频,也是能够到 6DoF 效果,但是这个技术在行业内还是处于攻坚阶段,可能不久的将来会尝试这种虚实结合的效果。”
这样规格的演唱会,PICO 做了半年。流程上简单来说,在线下,歌手录音、练舞、动捕;在线上,美术人员制作概念、原画、模型、资产;最后,主创们再将两者集成起来。
不同于传统PC端CG制作,这场演出会的突破性在于,在当前XR芯片算力的限制下,需要在VR一体机内通过实时渲染呈现理想的画面效果,同时克服全视角、360度内容制作等综合难点。而这也是PICO首次尝试制作集6DoF、全虚拟场景和实时动捕技术于一体的VR视频内容。
除了要在 VR 一体机的性能极限下做到最好效果,他们还指出了另一个难点,“用户在 6DoF 体验中是非常自由的,让用户看到最合适的角度、最好的效果,以及怎么让用户更好地意识到我们给出的提示。”
值得一提的是,在那近一小时的演唱会流程里,李玟的歌曲也并非直接导入录音室版本,而是重录了一遍,保留了演唱中的换气和瑕疵。歌手的虚拟形象背后是真人动捕,而演唱时气息如果能和动作保持同步性,那会更有现场听 live 的感觉。
总的来说,虽然李玟彻底虚拟化,但 VR 交互有时又让我觉得她真实。
虚拟人可以让创作空间进一步扩大,也可以让已然不存在的人和事物重返现实,2020 年一位韩国母亲就是借助 VR 和虚拟人技术,“再见”了她 2016 年患病离世的女儿。这让人们看到了这些技术在影音方面的娱乐之外,还有更多极具想象力的用例。
技术人员先是通过小女孩生前的视频和照片资料,还原其样貌,再通过人工智能转换,还原其声音。天津大学智能与计算学部翁仲铭教授告诉《科技日报》,“通过对小女孩的形象、动作、声音进行建模,VR 技术能够重建一个三维的虚拟人物,还原小女孩生前的音容笑貌。由于小女孩已经去世了,因此建模有一定难度,特别是动作建模。小女孩的动作是通过动作捕捉来完成的。”
韩国一位妈妈在 VR 电影里再次见到已故的女儿丨韩国 MBC
在视频中,当妈妈戴上 VR 眼镜,就看见女儿蹦蹦跳跳地跑出来,大声地喊着:“妈妈去哪里了,妈妈想我吗?”妈妈早已泣不成声。女儿在 VR 里安慰着妈妈,而妈妈也诉说着对女儿的思念。
即便她们还没法拥抱彼此,但这次“重逢”让那位妈妈补上了一次正式的告别。当“女孩”开口说:“妈妈喜欢握着我的右手吗?”简单的一个互动,就足以让这对母女有更强的情感联结。
VR 交互,让虚拟人有了“灵魂”,在虚拟人的应用场景日渐丰富的趋势下,VR 还将带给这个行业独特的体验和价值。
全虚拟的体验,将会更流行
早在去年年中,虚拟偶像团体 A-SOUL 就在 PICO 平台上开始 VR 直播,这种直播的创新点在于不再使用传统的导播切镜视角,粉丝可以自己选择“走近”哪位团员,这让本就以虚拟形态示人的二次元偶像们,显得更加真实。
“A-SOUL 的奇妙宇宙”演唱会|PICO
去年 11 月,PICO 又联合 A-SOUL,上线首场 VR 虚拟偶像演唱会,让粉丝可以在更高规格的虚拟场景里观赏表演,VR 带来的沉浸感能带给粉丝更多的情感投射和心理认同。
值得注意的是,除了将偶像们虚拟化,PICO 和 Meta 也都开发了虚拟 Avatar 系统,让用户定制专属的虚拟形象。这在 VR 里,相当于是一个“身份认证”,会是未来在 VR 中人与人交互的基础。
Meta 做的 Avatar 系统|Meta
目前,已有更多 VR 设备,引入了眼球追踪和面部追踪等技术,未来通过映射真人的表情和动作,VR 中人与人的交互将会更加真实,更有临场感。
到那时候,人们或许更能深切地体会到:虽然你和我都是虚拟的,但我们身在虚拟中发生的感受,甚至是交互,又是无比真实的。
早在去年 4 月、5 月、7 月,PICO 就分别上线了王晰、郑钧、汪峰的 VR 演唱会,首次实现了 180°实拍 + 180°U3D 虚拟渲染空间,多机位、8K 分辨率的现场直播;郑钧场又尝试了实景舞台和虚拟观众区舞美视觉一体化的设计,实现了 360° 虚实无缝拼接的场景融合。加上我们今天所讲的 A-SOUL 和李玟演唱会,从虚实交织,到完全虚拟,到将实转虚,可以看出 PICO 在积极探索这类内容的表现形式。
同样是在去年,PICO 还联合 SIF(砂之盒沉浸展),在阿那亚办了一场 XR 作品展映。我们也受邀去了现场,看了不少国内外先锋佳作,其中有创作者就把他少年时“戒网瘾”的经历做成一部 VR 游戏《诊断》(果壳报道过:《在 VR 里,再次逃离戒网瘾基地》),VR 特有的沉浸感和互动性,都让这部作品体现出区别于传统影片和传统游戏的特色。
《诊断》|作者授权
PICO 副总裁任利锋还在展上正式公布“VR 创作者激励计划”,将对专业的 VR 内容制作机构、VR 技术型公司以及 VR 内容创作者开通,通过资金投入、设备和技术双向加持、流量扶持全面助力优质内容孵化和创作者成长。“为了打破 VR 内容产能不足的僵局”,这也能看出 PICO 对于推动VR内容生态发展的决心。
从一开始被资本和市场追捧到如今,五六年间,VR 市场也经历了一场大浪淘沙,但确实也“淘”出了 VR 的真实需求。好玩、丰富的内容才会受到消费者的持续青睐。
现在,线下娱乐业正在复苏,但全虚拟演唱会依然极具吸引力,它既能让观众不受时空限制,也能有线下演出不可比拟的优势:可以无限接近表演者,就犹如始终坐在第一排,而 VR 交互的能力也让人们的情感联结变得更加紧密。
果壳商业科技传播部出品
微信扫码关注该文公众号作者