苹果Vision Pro之父首次揭秘背后研发细节

智东西6月19日消息，近日，苹果公司技术开发团队副总裁Mike Rockwell登上了WWDC23脱口秀舞台，在和主持人John Gruber的交流中，他分享了Vision Pro研发过程一些有趣的内部细节，并对visionOS系统的优势给出了更细致的解答。

作为Vision Pro头显项目的一把手， Rockwell可以称得上是“Vision Pro之父”。从Rockwell的分享中，我们了解到发布会上很多惊艳众人的技术，如空间视频、手势追踪、眼动追踪等，苹果早已深耕多年。苹果公司构建Vision Pro的基本准则是什么？Eyesight功能是如何实现的？苹果是如何布局虚实交互技术的？

智东西在不违背原意的情况下，编译了Mike Rockwell的访谈记录：

问题1：你五年前开始讨论ARKit提到的内容和如今的产品似乎相差甚远。现在的你，是在构建一个新的平台吗？

Mike Rockwell：在我们开发产品的时候，会有些一些的设计准则。第一条就是我们希望它有用。我们想要打造一个非常有用的工具，而不是玩具。

这也导致了我们后续针对显示器等多方面做了全面的优化。现在，我们的显示器拥有超高清的分辨率，甚至可以渲染文本。

比如说，你正在看着一个Safari窗口，你不但可以直观、清晰地看到窗口里的文本信息。而且当你以不同的视角观看文本信息时，也同样清晰。这是因为，我们在3D系统上，一对一的渲染文本信息，甚至打造一种全新的字型渲染系统。

我们的第二条准则是，我们希望这款设备，不会将你与你身边的任何人隔离开来，而是将相隔较远的人们连接起来。

这也是我们打造两大关键技术Eyesight和Persona的主要原因。

当你佩戴设备时，你要如何让人们能够直观看到你的眼睛呢？借助苹果打造的Eyesight功能，你佩戴头显后，通过视频透视功能，让其他用户可以直接看到你的眼睛。

同时，我们还想通过一种新的方式，能够让不同地方的人一起工作。所有的这些设计准则结合在一起后，帮助我们打造真正与众不同的产品。

问题2：Eyesight方面，我想到了视差问题，比如说如果我坐在你的正前方，可能头显能够轻松在屏幕上“复现”你的眼睛。但是当我坐到你的侧边时，头显上的眼睛又该如何变化呢？

Mike Rockwell：我们是为任何角度和你对视的人打造一个新的视图。我们在头显内部做了一个双层光栅显示器，第一层是弧形的光栅显示器，提供不同的光学数据。

我们并不是用AI模拟用户眨眼的画面，而是实时还原了你的眼睛动作。无论是眨眼、眯眼还是其他，头显都能及时同步。目前，Eyesight的画面渲染范围主要在眼睛周围，延迟基本为0。我希望，当人们看到它的时候，设备几乎是透明的，佩戴起来无压力。

问题3：尽管你多次提到打造头显时，不希望将人们分开，但是把头显戴在头上时，用户多少会感受到一定的隔离感。你是如何看待这一点的？

Mike Rockwell：我们做了很多事情，帮助头显成为一款可以连接人与人的设备。比如说，戴上头显后，用户能直接看到世界、Eyesight功能等。当你沉浸式投入数字世界的时候，数字内容可能成为你和他人连接的阻碍。但是如果你能看见他们或者他们能够看到你，这样的局面就会发生改变。

我们认为（头显）的作用是“添加一个世界（add a world）”，而不是将你带入一个新的世界。不仅如此，我们还想要在工作场景中实现协作办公的模式。比如说，当你戴着头盔的时候，很难用手机和他们进行Facetime。我们可以通过在头显中，创造一个你的形象，和他人进行远距离的互动。

问题4：我想过Vision Pro会有摄像头来记录周围事物，但我没想到Vision Pro能够拍出如此令人惊艳的视频。你们是怎么想到的？

Mike Rockwell：当我们构建这个头显的某天，我们有了打造空间照片/视频的想法，并做了一些尝试。我们发现空间视频能够让他们想和他们爱的人重温欢快时光的功能，察觉这一点后，我们决定把它放在产品中。

空间视频就像是时光机。当你拍下一些对家人来说特别的时刻，你通过播放视频或者查看照片不断“回到”那个时刻。想象一下，你的父母住在大洋彼岸。当你给孩子拍摄这样的视频给父母看，父母会觉得离亲人很近。

问题5：空间视频的呈现的方式真的很棒，当我用手指向视频回忆里的内容时，仿佛我正在和他们交互。你是如何看待虚实交互方式的？

Mike Rockwell：我们所做的一件事，就是要在物理世界上呈现数字世界的内容。特别是，如果你要想要两种世界的细节也能相互交互，现在我们的交互方式是通过手部捏动，或者注视某个图标完成交互。

一般来说，物理世界和虚拟世界交互时，我们很难数字内容放在自己的手中。尽管我们能画出它，画出一双手，但是在数字世界里，你不能“呈现”自己的双手。所以我们必须做出一个非常复杂的实时扣图算法来识别你的手在哪里，R1搜集信息扣出图片，然后将它通过视频和我们设计的内容相合成。

你可以将手放在数字内容前面并与之相互动。虽然你可能认为其看起来很简单，但是事实上，这背后发生了很多事情。

问题6:当我戴着头显回头和同事聊天后，转身回来，发现之前的窗口位置不会发生变化。你们是怎么保证画面稳定性的？

Mike Rockwell：它的稳定性是所有相机、传感器以及芯片的功劳。尤其是，我在visionOS部分曾谈到我们系统拥有实时模块。我们对系统进行了细致的调整，所以我们能够提供非常稳定的画面。

即便在40000米高空，我们仍能够保证画面稳定。这并不容易，因为飞机会转弯、前行等不断变动位置，系统上的IMU难以处理数据。在这里，我们做了一些“神秘”的事情，能让你随时去到你想去的地方。

问题7:头显的开机设置时需要测量眼睛的数据、手部的数据？

Mike Rockwell：对，我们的输入系统会涉及到多个设备，这些信息通过神经网络汇总，从而定制化用户信息。

在开机设置时，我们只要一部分信息。我们要做的第一件事就是“认识”你的手。因此，你要做的就是将举起双手几秒钟，我们就能够准确地识别输入你的双手信息。

至于我们的眼动追踪，十分精准。当你刚刚拿到产品时，我们需要对你做一次测试，只需要一次，后续使用的时候并不需要重新设置。整个设置的流程非常快。一旦我们有了这两项技能，我们就可以开始进入到界面。

我们的手部追踪功能十分精准，我们不想让你的双手紧握控制器。现在你可以通过双手来提高工作效率，你可以通过键盘输入，可以通过手机手表来控制信息。方式多样，选择自由。当你在使用Freeform时，你可以看到头显的手部追踪相当精准。

问题9：3499美元是一个非常“专业”的价格。但是头显能够适配足够专业的软件吗？比如说，像是Final Cut Pro和iPad适配，人们等待了很长时间。

Mike Rockwell：我们现在主要在做的几件事：一个是协作。我们所有人都在做某种形式的混合工作或者会在不同的地方工作，或者在路上工作。面对这些场景，Vision Pro能够带来超乎寻常的体验，因为你可以随时创造完美的工作环境。

我知道你们中的许多人都参与过Web 或者Zoom的电话会议。线上会议上，有人正在展现一些内容，但是当你看到其他人的时候，他们就像一个小方块，每个人都就像一个像素。

而Vision Pro则提供了一个巨大的屏幕，你可以以这种方式与人们一起工作。不仅如此，如果你使用像Freeform这类的协作应用程序，在Vision Pro中共享文件时，你可以让多个同事，同时处理文件，就像在同一个房间里一起工作一样。

另一个是，我们可以将Mac上的显示屏同步到Vision Pro中。假设你有一款旧款的Macbook Air，它的屏幕可能比较小，但当你戴上头显后，你可以拥有一个巨大4K屏幕。

并且，你还可以用Final Cut Pro，同时进行22个8K视频。你还可以在这里运行iPadOS和iOS软件，无需更改。

通过Vision Pro，你可以为你的生产力创造一个完美的空间。我们对消费者展现了一些场景。对那些试图借此完成工作的人来说，它是一款超级强大的设备。visionOS是一个非常强大的多应用程序、多任务操作系统，它将带来惊人的生产力和专业场景。

至于软件研发方面，为了让整个设备易于开发，我们为开发人员付出了相当大的努力。

如果你是一名iOS开发者，您进入Xcode，将目标设置为visionOS，然后构建空间应用，你就有了构建空间应用的起点。如果你是开始使用Unity的人，我们做了打造了一款便于开发者的工具编写应用程序。无论你用的是什么工具软件，都是在共享相同的3D空间。

问题10：真正地将Vision Pro和visionOS推向世界，感觉如何？

Mike Rockwell：苹果的许多研发团队为推出这款产品付出了许多努力，就像我们有芯片团队、软件工程团队、 Mac团队、我的团队和Siri团队。实际上，Vision Pro是所有工程团队一起开发的苹果产品。

Vision Pro头显发布，对我们来说是个很大的鼓舞，也是一场豪赌。我们构建了它，迫不及待地想要将它交给人们手中，对产品的反馈也感到非常兴奋。

苹果的Vision Pro头显上，既反射出的近年来产业玩家共同推动的一些创新，如Pancake、视频透视等，也同样逃不脱产业玩家共同的难题，如续航、近视等。

但是，相较于当前赛道的多数产品，苹果通过多年深耕将每个创新点发挥到极致，在八年时间中，选择将每项功能打磨成自己想要的样子。比如说，苹果坚持通过“双面屏”的方式复原人脸、坚持要建立人与人之间的连接，不计代价。

Vision Pro头显，在我个人看来，会感受到惊喜，但不会感受到意外。

惊喜之处在于，苹果头显的显示屏的确解决了不少显示难题，效果反响较好。同时，苹果在Vision Pro头显的具体应用设计上，如空间视频拍摄、Persona功能都颇具看点。但整个产品设计还是和常见的VR头显类相似，并不如当年手机从功能机走向智能手机那般意外。

不过，头显届的“iPhone”才刚刚到，或许到了“iPhone 4”面世时，有更多的惊喜在等着我们。