升级混合现实体验！Meta Quest 3 MR功能的方方面面

2023-10-05 13:10

文/VR陀螺

随着Meta Connect大会的召开，下一代头显Quest 3也已经确定将于10月10日正式发布，定价499美元起。除了性能上的升级以外，混合现实是官方反复重点强调的功能，它可以令虚拟内容与物理世界无缝融合，同时让用户以丰富的色彩自然直观地观看和交互。

通过增加动态检测和模拟用户物理空间的功能，Presence Platform的最新MR功能实现了真实感。有了MR技术，开发者就有了更多的可能性来扩展受众与应用程序进行交互、参与和移动的方式，同时还能让他们置身于物理环境中。

Meta Quest 3（图源：Meta）

为广大受众创造引人入胜的愉悦体验

Quest 3显著改进的“穿透”（Passthrough）体验比Quest 2提供的像素高出10倍，并且全新的AI深度引擎可充分利用硬件功能。这为开发者提供了创造令人愉悦的体验的工具，让用户可以更清晰、更真实地看到周围的世界。开发人员已经看到通过使用穿透等MR功能对用户参与度产生了重大影响，例如，正念应用程序《TRIPP》在采用穿透功能后，其每日活跃用户（DAU）得到了提升，7天平均活跃用户数增加了31%。

《TRIPP》在Quest 3上可调整穿透效果的百分比。（图源：Meta）

全彩穿透功能还能帮助开发者为首次使用程序的用户创造愉快的体验。“Meta Quest的Presence Platform，尤其是手部追踪和穿透技术，非常适合《Cubism》的简单游戏形式。”《Cubism》的创建者Thomas Van Bouwel说道，“我之所以被MR所吸引，是因为它可以减少新玩家上手的门槛，因为MR可以让他们与周围环境保持联系。”

《Cubism》结合Quest 3的穿透功能展示的新玩法。（图源：Thomas Van Bouwel）

从今年晚些时候开始，Quest 3用户还将能够从Home中的穿透无缝过渡到MR应用程序，而不会出现黑屏或加载屏幕等不和谐的问题。

用AI驱动的混合现实技术丰富应用程序

看到彩色的物理世界并将其与虚拟内容相融合，这仅仅是MR技术的开始。Presence Platform是一个由人工智能和机器学习驱动的功能集合，可以让开发者丰富体验、提高临场感，并让用户更自由地以自己的方式进行游戏和探索。

可以用来增强MR的核心功能包括：

穿透：在Meta Quest头显内提供实时且感知舒适的物理世界三维可视化效果
场景：构建环境感知体验，与用户周围的物理环境进行丰富的交互
空间锚点：在物理空间中放置和持久保存虚拟内容
共享空间锚点：通过为多个用户创建一个共享的世界锁定参照基准来构建本地多人游戏体验

与Quest 2相比，Quest 3的视场角扩大了近15%，像素密度也提高到25.5 PPD和1218 PPI。因此，用户可以通过Quest 3上的MR功能看到虚拟与现实世界的融合创作更加栩栩如生，细节更加丰富。

许多应用程序已经开始采用MR技术来提供灵活有趣的游戏。例如，《Rube Goldberg Workshop》可以让用户使用实物对象和表面作为创作的一部分，制造出大量的迭代机器。

在现实物体的表面游玩《Rube Goldberg Workshop》。（图源：Meta）

“我们有一个明确的目标，不仅要利用场景捕捉和手部追踪等新工具，还要真正围绕这些功能进行开发。”美国游戏工作室Free Range Games的制作人Stephen Scholz说道，“《Rube Goldberg Workshop》的游戏性质要求物体的位置非常精确，以便玩家每次启动游戏时都能始终如一地进行交互。通过使用空间锚点，我们可以在两次游戏之间将物体锚定在相同的位置，从而确保玩家的连续性。”

以上功能可以根据开发者的目标灵活使用，它们既能单独使用，也可以与Presence Platform提供的其他强大功能一起使用（如使用运动SDK跟踪身体运动、手部跟踪等）。

Presence Platform Hackathon的获奖作品《SUBMERSED》使用穿透和空间锚点创建生存游戏。（图源：Meta）

利用全新的API提高混合现实的可信度和逼真度

Meta Connect大会上发布了深度应用程序接口（Depth API），它可以从头显的视角提供实时、每眼、每帧的环境深度估计。

利用深度API，开发者可以轻松实现动态遮挡。这对于在应用程序中呈现虚拟内容和物理内容之间可信的视觉交互至关重要，能为用户带来更加连贯的真实感。经过设计的深度API，让开发者得以利用自己的算法和传统实时3D应用程序中的技术，以便渲染基于深度的效果（如雾），或将深度信息用于游戏。

（注：Meta将在Unity、Unreal和OpenXR上提供深度API，作为Quest 3 v57的实验版本。）

Depth API演示（图源：Meta）

为了使MR体验更加逼真，Meta在v57版本中为Unity、Unreal和OpenXR引入了Mesh API。Mesh API可以在虚拟和物理对象之间实现逼真的交互，例如让游戏角色在用户的物理空间中穿梭，或者将客厅改造成森林篝火。

为了帮助开发者减少使用新功能和更新功能设置MR体验时的麻烦，Meta还推出了Space Setup功能，该功能可自动检测房间布局，使应用程序能够理解物理空间并对其做出反应，从而减少后端的工作量。

Meta Quest上的MR利用环境的空间数据（场景、网格和深度API数据）来融合物理和虚拟内容。为了帮助开发者和用户了解应用程序如何使用空间数据，以及如何管理应用程序对空间数据的访问，Meta还创建了新的资源，以供构建下一个MR体验时参考。

图源：Meta

使用新工具和展示应用开启混合现实之旅

混合现实开发看似具有挑战性，但Meta一直致力于开发工具和资源，帮助开发者开始使用多种游戏引擎。新的混合现实设计指南分解了混合现实的基础知识，解释了开发者能用它做什么，并提供了设计引人入胜的混合现实体验的最佳实践。

Mixed Reality Utility Kit是一款适用于Unity和Unreal的新工具，它大大简化了集成和使用场景功能的过程。它还包括用于处理程序网格和纹理的实用工具，包括预先捕获的房间，这样开发者就可以在不同的环境中测试应用程序，而无需戴上头显。
Phanto是一款在Unity中构建的全新开源参考应用程序，重点介绍了最新的 Presence Platform功能，包括场景网格、场景模型和场景API。它还包含展示内容放置、快速碰撞、空中导航、地面导航和其他最佳实践的示例Unity场景，开发者可以轻松地将其纳入MR应用程序中。

图源：Meta

Discover是在Unity中构建的另一个开源展示，它演示了如何使用关键的MR功能，包括场景、空间锚点、共享空间锚点和穿透，并展示了如何将它们快速集成到自己的项目中，是探索最新MR技术的最佳途径。

Meta Connect大会上还分享了Building Blocks和Meta XR模拟器等经过改进的新工具，如何帮助开发者轻松集成Presence Platform的最新MR功能，并测试应用程序，而无需每次都戴上和摘下头显。

加速混合现实开发的新WebXR工具

9月29日，Meta正式推出了Immersive Web Emulator，它可以让开发者在没有头显的情况下轻松测试和迭代WebXR体验。

Immersive Web Emulator是基于Chromium的桌面浏览器的开源网络扩展，具有头显和控制器的6DOF仿真变换控制、二进制和模拟按键的全面控制器输入仿真以及标准动作的直观键盘映射等功能。它可通过谷歌Chrome浏览器网络商店和微软Edge附加组件商店获取。

Immersive Web Emulator演示（图源：Meta）

最新版本v1.4添加了对目前网络上所有Presence Platform功能的全面支持。通过Quest 3，Meta还增加了对房间网格（Room Mesh）的模拟器支持，它提供了一个房间的详细3D呈现，开发者可以用它来进行详细的命中测试或基本遮挡。

以下是一些可用于加速MR开发的核心MR功能：

模拟房间设置
额外的XRPlane和XRMesh设置
语义标签
模拟手部追踪
命中测试和持久锚点

如果是使用WebXR构建MR体验的新手，则可以使用Reality Accelerator Toolkit帮助将MR功能集成到自己的应用程序中。该工具包增强了广泛使用的Three.js 3D库，引入了XRPlane、XRAnchor、HitTestSource和XRMesh的绑定，并以静默方式管理后台更新。通过在Object3D界面中封装这些功能，Reality Accelerator Toolkit可让开发者毫不费力地将平面和网格等物理世界元素直接整合到Three.js场景图中。

结语

即将发售的Quest 3将带来重大的硬件升级，而各种功能和工具可以帮助开发者集成MR功能，因此现在正是构建混合现实体验的绝佳时机。

虽然业界大佬约翰·卡马克近日对MR在大众市场的短期潜力表达了自己的担忧，不过Quest平台拥有出色的内容生态和众多开发者的支持，许多成熟的VR作品纷纷更新MR模式并且已经取得了一些不俗的数据，相信未来MR的“杀手级应用”已经不太遥远。

原文地址：

https://developer.oculus.com/blog/building-mixed-reality-MR-meta-quest-3-connect-developers-presence-platform/

第一时间了解XR资讯

关注VR陀螺官网（vrtuoluo.cn）

VR陀螺的联系方式：

商务合作 | 投稿：

西瓜（微信号 18659030320）

六六（微信号 13138755620）

寻求免费曝光：