XR行业的“先锋派”,如何变革空间计算?
本周四,Meta在其Meta Connect上发布了新一代独立头显设备Meta Quest3,以及新一代智能眼镜Ray-Ban Meta,再次搅动XR市场。
这两款新产品的背后,是高通第二代骁龙XR2平台和第一代骁龙AR1平台的技术支持,让更多人看到了正在发生的空间计算变革。
全球知名数据机构IDC数据显示,XR全球消费支出在2022年已增长至138亿美元,并将在2026年增长至509亿美元,即在未来四年XR市场规模将增长3.68倍,年度复合增长率高达32.3%。
IDC认为,XR市场是“一个准备蓬勃发展的成熟市场”。
Quest 3 如何变轻、变强?
Meta自从收购Oculus以来,已经在VR行业投入9年有余。
外媒TheVerge报道,截止2023年第一季度,Quest系列累计出货量超过2000万台,其中Quest2贡献了1800万台,成为全球第一款销量超过千万量级的现象级VR硬件产品,被称为“迄今为止最为成功的VR头显”。
Quest2之所以能如此成功,可能与其299美元的售价相关,这个价格降低了VR体验门槛。但是,Quest2在产品性能与使用上与消费者的期望还存在一定差距。
例如,Quest2的厚度超过80mm,整体重量超过500克,长时间佩戴会容易引起颈部不适,另外其采用的低成本显示模组方案,因为低分辨率影响了用户体验效果。
这些有待改进的用户体验,碰上经济下滑和新玩家的入局,Quest 2的出货量在2023年第一季度跌至上市以来最低水平。
新发布的Quest 3 是否能够通过改善用户体验成为新一代最受欢迎的VR头显,拉回Quest的销量?
公开资料显示,Meta Quest3的图形处理能力是Quest2的两倍,刷新率和分辨率更高,对于终端用户而言,无论是长时间佩戴的舒适度还是玩游戏的体验感,均有所提升。
这些用户体验提升的背后,是Quest 3从底层芯片技术的改革,率先适配了第二代骁龙XR2平台。
高通第二代骁龙XR2搭载能效和性能业已优化的单芯片架构,无需外置电池组,能够助力OEM厂商打造高性能且价格合理的设备。
其为Quest3带来的体验升级主要体现在三个方面:
一是面向视觉、图形和对媒体带来突破性的沉浸式体验。
一方面是GPU性能的提升。其GPU与前一代相比实现了2.5倍的性能提升,能够刻画更多图形色彩细节,如果开发者充分利用其GPU的能力,可以提升应用和游戏视觉的保真度,或者是在同样的视觉效果下节省一半功耗。
另一方面优化支持3Kx3K显示,支持众多最新的先进特性,例如空间扭曲、游戏超级分辨率和视觉聚焦渲染。
虽然目前单眼4K以及90Hz或120Hz的刷新率已经成为不少VR头显追求的视觉体验,但高通副总裁兼XR业务总经理司宏国表示,在考虑成本控制和技术成熟度的情况下,3K显示是目前最为理想的方案。
二是支持更加流畅无缝的交互体验。
对于XR设备来说,交互的流畅度取决于对用户行为的精准理解,具体可以细化为头部追踪、眼球追踪、手势追踪以及用户全身动作的追踪等,这些技术在运行过程中需要消耗大量算力,为此第二代骁龙XR2通过升级模块,优化模块之间的连接以及扩展终端侧的内存来提升算力,相比第一代骁龙XR2,其终端侧AI能力提升高达至8倍。
以六自由度(6DoF)头部追踪为例,第一代骁龙XR2通过软件实现特征探测和追踪功能,第二代骁龙XR2则是将这一功能放在芯片硬件视觉分析引擎中,从而实现性能提升,降低功耗和时延。
实现流畅交互的另一项至关重要的技术是连接。第二代骁龙XR2支持Wi-Fi 7和Wi-Fi 6E连接,以及面向XR的高通FastConnect软件套件,功耗降低25%,峰值速度达到5.8Gbps,时延降低80%。
第二代骁龙XR2平台还通过提升视频透视能力为Quest3增强混合现实体验。
如果要在MR体验中增强现实世界的存在感,现实世界将通过外置摄像头实时流传输到头显屏幕上,需要视频透视时延保持极低水平。
第二代骁龙XR2可以实现低至12ms的视频透视时延,并通过几何校正、降噪、动态亮度调整等技术,提升视频透视的图像质量。
有第二代骁龙XR2平台作为底层技术核心,Quest 3变轻了,也变强了。
智能眼镜首个专用平台面世
如果说VR设备只是在上一代产品上有性能上的升级,那么AR设备则是底层芯片技术上取得了突破性进步——Ray-Ban Meta搭载的第一代骁龙AR1平台,是高通为下一代智能眼镜打造的首个专用平台。
在此之前,AR一体机的主芯片都是基于高通骁龙平台加操作系统或其他芯片。
据高通官方介绍,第一代骁龙AR1采用14-bit双ISP,支持即时拍摄体验,同时还结合了智能手机上的诸多顶级特性,例如自动曝光、自动人脸检测、计算HDR和人像模式。
值得一提的是,基于第一代骁龙AR1,智能眼镜将变革拍摄照片和视频的方式,直接使用语音指令与智能眼镜交互,解放双手实现拍摄、视觉搜索等功能,在滑板、骑车、做饭时十分实用,能够为用户提供实时翻译、货物拣选及导航等功能。
从第一代骁龙AR1所支持的功能来看,与智能手机相比,智能眼镜更像是一台能够实现语言交互的显示器,核心的数据处理依然需要依托于与手机等设备相连,因此连接复杂度成为限制AR智能眼镜使用的因素之一。
司宏国表示,第一代骁龙AR1所支持的设备并不存在这类问题。
“第一代骁龙AR1支持的功能相对简单,因此所有的处理可以在眼镜端完成,不用借助手机,仅仅在用户需要把信息从眼镜上传到智能手机或云端时,才需要更复杂的连接,但不涉及用手机操作智能眼镜,而是只需要进行简单的Wi-Fi连接让手机与智能眼镜相连。”司宏国解释道。
据了解,第一代骁龙AR1配备的连接解决方案,基于面向XR的高通FastConnect软件套件,能够实现实时视频直播以及音乐串流,并解放双手。
专用处理器,比协处理器更冒险
无论是第二代骁龙XR2平台,还是第一代骁龙AR1平台,为空间计算带来的变革都是显而易见的,这些专用平台放在整个XR行业的处理器领域,更具先锋色彩。
追溯电子产品的发展轨迹,在每一代电子产品爆发前夕,其计算解决方案都是基于上一代电子产品处理器基础上,附加能够支持新的功能的其他协处理器。
例如从MP3时代到平板时代的过渡,就是在音频芯片上叠加视频编解码芯片,最后加上GPU和统一的操作系统,平板专用处理器才逐渐成型,如果再植入能够实现通讯的其他芯片,就是智能手机处理器的雏形。
XR 设备底层芯片构成及功能,图片源自《扩展现实设备芯片需求白皮书》
之所以有这样的行业规律,是因为设计生产一款处理器所需要投入的时间长,投资大,在终端产品商业化前景尚不明朗时,为降低风险,大部分芯片公司都会选择基于在已成熟的电子产品市场,小步快跑地投入协处理器的开发,支持新产品的新功能。
XR行业更是如此,一直被给予“消费电子市场下一个风口”的期待,但又因为技术不够成熟,成本居高不下等问题一直未能复现智能手机时代的盛世。
《扩展现实设备芯片需求白皮书》指出,更好的沉浸式扩展现实体验,大视野、高分辨率、高刷新率、高性能图形渲染、空间定位与感知、低数据传输延迟、低显示延迟,无疑离不开扩展现实芯片的进一步发展。
相对于传统手机类移动芯片,扩展现实专业芯片的需求有着更为苛刻的性能、功耗和面积要求。
对于现阶段的扩展现实技术发展的多样性,与市场投入产出比的理性考量,多芯片组合共同完成扩展现实芯片平台成为目前普遍的共识。
“我们和苹果的策略不同,他们的产品价格较为昂贵,需要采用多个芯片以及外置电池来支持,这样的架构很难确保终端价格被广大用户接受,因此高通开发单芯片SoC解决方案,集成高通的顶级IP模块,对XR用例进行优化。”司宏国说到。
作为XR行业的少数派和先锋派,高通陆续推出多款XR专用平台,第一代骁龙AR2,第一代骁龙XR2+,第一代骁龙XR2和第一代骁龙XR1平台,率先为行业提供单芯片解决方案,与合作伙伴发出超过80款设备。
变革计算空间,高通正在引领行业大步向前。
快手放弃VR全景视频业务,大厂纷纷逃离XR
微信扫码关注该文公众号作者