Vision Pro的隐形杀手锏：苹果全家桶

近期苹果举办了其秋季新品发布会，虽然会上没怎么提及Vision Pro，但却处处有Vision Pro的身影：

iPhone 15 Pro系列支持3D拍摄并可在Vision Pro回看、Apple Watch新增手势操作、iPhone和Apple Watch升级U2芯片、AirPods Pro超低延迟无损音频......尽管Vision Pro尚未发售，但却不难发现它将与原有的一些主流计算设备紧密结合的痕迹。

Vision Pro的领先并不仅仅体现在屏幕等纸面参数，与苹果全家桶的无缝互联，同样是Vision Pro的优势所在。

图源：网络

 除APP外，头显与手机、电脑更高效的连接方式是什么？

设备之间的无缝配合一直以来都是苹果生态的强项所在，比如通过Mac可以查看iPhone的消息提示，在iPhone复制文本可以一键粘贴到电脑端、电脑编辑的备忘录可以即刻同步到iPhone等。这些无缝操作极大提升了跨设备体验的便利性，设备之间可以优势互补，覆盖更多使用场景。

不过到了VR/AR时代，却鲜有厂商真正严肃考虑过解决VR设备活跃度提升所面临的与当前主流的计算设备的配合问题。

目前很多VR硬件厂商都开发了手机APP，我们可以通过手机端实现对VR游戏的购买、安装、文件传输等操作，不过反过来，如果想要实现头显对手机的操作却难得多。

由于头显的私密性与包裹感很强，它会天然地让我们与外界形成一道屏障，在使用VR时如果想要查看手机等外界信息只能频繁摘卸头显，颇为繁琐。在这种情况下，不少人对于VST功能翘首以盼，他们的首要需求其实并非MR，只不过想更好看清手机屏幕罢了。

基于一些上手博主的体验，Vision Pro的VST在时延、畸变、分辨率等方面都较为不错，因而佩戴头显回复手机上的信息应该不会造成太大的困扰。不过这只是开始，iPhone与Vision Pro的配合将会体现在更多方面。

如苹果一份名为“用于扩展现实 (XR) 系统的多设备 Continuity”的专利申请文件中提到这么一个用例：当佩戴头显的用户查看iPhone的邮件时，画面会新增一个屏幕扩展的按钮，用户可通过手势把邮件拖拽到头显屏幕中并查看，并进行回复等操作。

相关专利图，图源：苹果

由于苹果是目前在智能手机行业中积累最为深厚的头显厂商，因而它可以从底层入手对iPhone与Vision Pro进行打通。参考iPhone与Mac的联动逻辑，我们可以设想：在同一账户下，Vision Pro可以直接接收iPhone的消息通知、3D虚拟空间中会专门为手机设置一个投屏窗口，设备之间的照片文件可以通过手势拖拽的方式传输、iPhone可以化身为Vision Pro的实体触摸板......

此外，在今年秋季新品发布会上，iPhone 15 Pro系列新增了空间视频拍摄功能，这也是iPhone与Vision Pro联动的一大重要体现。

图源：苹果

根据发布会信息，空间视频需要依赖于手机的主摄以及超广角镜头以及LiDar传感器。与普通基于双眼视差原理拍摄的3D视频不同，苹果的空间视频进一步补充了景深信息。由于在拍摄时两颗摄像头需要同时工作，并且需要记录景深像素，它对于算力以及算法都具有很高的要求。

Vision Pro配备了两颗4000万像素摄像头，它同样可以进行3D拍摄，但是由于它体积较为庞大并且需要绑在头上使用，这使得它灵活性相对较差。而iPhone比较小巧，拍摄也更为方便，适配3D拍摄功能后，它绝对有成为未来空间计算时代下的Vlog神器的潜力。

值得一提的是，iPhone的空间视频采用了MV-HEVC格式，视频内容不仅支持在Vision Pro观看，也能很好兼容其他VR/AR设备。随着iPhone的发布，有利于进一步降低3D的创作门槛，并进一步扩充XR内容生态。

把电脑屏幕投放到头显是VR的典型用例之一，目前市场上已经存在不少解决方案，比如应用端有《Virtual Desktop》、《Immersed》等，Meta也曾推出了自家的VR办公应用《Horizon Workrooms》，它支持在VR中扩展出三块电脑虚拟大屏。

不过这些VR投屏解决方案都颇为繁琐，以《Immersed》为例，用户使用时需要在头显以及电脑端分别安装程序，然后进行账号登陆验证，为了能够获得更好的视觉体验，后续还需要进一步对码率、分辨率、屏幕大小、刷新率等参数进行调节。

相比之下，苹果的解决方案堪称优雅。从演示视频可以看到，头显用户打开MacBook，“只需要看一眼”，就能在VR中扩展出一块4K分辨率的大屏幕，屏幕的位置以及大小可以进行自定义调节。

图源：苹果

据了解，Vision Pro与Mac的投屏基于AirPlay协议，受限于带宽限制，目前只支持投放单个4K屏幕，这对于多屏用户而言可能是一大遗憾。不过另一边，Vision Pro可以在投屏过程中继续在空间中打开头显内置的其他应用，基于这一特性，未来可能会诞生出很多新奇的跨设备玩法。

 不仅是iPhone的Apple Watch，不仅是Mac的AirPods 

1976年成立至今，苹果已经由车库里的小团队发展成为了万亿美元市值的科技巨头，除了手机电脑等产品外，苹果还打造了瞄准音乐市场的AirPods、运动健康的Apple Watch以及智能家居市场的HomeKit等众多产品类别。随着空间计算设备Vision Pro的加入，它也将会与生态成员产生更为紧密的联系。

最近发布的Apple Watch Series 9一大亮点在于引入了双指捏合手势。当用户在腾不出手的情况下可以通过食指和拇指双击的方式实现接听电话、拍照、暂停音乐等操作。

图源：苹果

Apple Watch的这一套手势很容易让人联想到Vision Pro备受好评的眼手交互方案，不过两者在实现原理上有所不同：Vision Pro的手势识别基于摄像头模组以及红外传感器；而Apple Watch的手势则依赖于加速传感器、陀螺仪、光学心率传感器以及机器学习算法，官方指出手表可检测手指轻点两下时微小动作和血流变化特征进而实现动作判别。

目前苹果并未正式透露过Vision Pro结合Apple Watch使用的应用场景，不过这一点在它的一些专利文件中已有所呈现。如一份编号为20230171484的专利中指出，用户可以通过手表背面的传感器信号扫描拍摄自己的Face ID图像，该图像可以应用于MR环境中。（Vision Pro所展示的Persona则是通过头显本体进行扫描的。）

图源：pantentlyapple

除拍摄虚拟化身外，我们还可以设想一番，未来Apple Watch完全可以作为Vision Pro交互的补充，这样有利于进一步降低手势操作盲区以及识别准确率。

关于手环交互，目前市场上已经有不少探索先例，如Port 6开发了一款智能手表，手表可以检测用户手势进而实现确认、返回、滑动等操作。除自家产品外，Port 6这套算法也适用于Apple Watch等产品中。

无独有偶，Meta也在瞄准手环交互领域。早在2019年，Meta便收购了一家肌电手环交互技术开发商CTRL-Labs，并在2021年公布了相应的技术演示。在Meta看来，肌电手环交互具有操作自然、私密性强等优点，会是未来AR的理想交互方案之一。

基于肌电手环实现文本输入，图源：Facebook

除用于交互外，Apple Watch的引入还能为Vision Pro带来更多维度的追踪数据。如PICO曾发布了一款售价199元的VR健身配件，它可用于实现更精准的健身数据检测以及部分全身追踪效果，得益于Apple Watch强大的健康检测能力，相信它未来也会在Vision Pro中发挥重要作用。

图源：PICO

秋季发布会上，苹果还悄然更新了配备USB-C接口的第二代AirPods Pro，这款产品其实也能与Vision Pro“打配合”。根据苹果官网信息，新款AirPods Pro可实现“极低延迟的无损音频，并为Vision Pro提供完美的无线解决方案。”此外，AirPods Pro与Vision Pro配合使用可以传输20位、48kHz的无损音频。

Vision Pro采用了外置扬声器设计，其扬声器不仅配备了空间音频，并且还搭载音频光线追踪技术可以分析房间的声学特性并使声音与空间相匹配。在Vision Pro基础之上引入AirPods Pro，则是基于私密性考虑，方便用户在旅途观影等场合使用设备。

有消息指出，苹果还在着手于开发平价版的头显“Vision One”，这款产品会在传感器、屏幕等方面进行简配，并可能会取消扬声器，转而全面使用AirPods代替。

图源：苹果

今年年初发布的小米无线AR眼镜探索版展示了眼镜与米家家居生态联动的相关场景：当用户的目光看向台灯，眼镜的界面会出现台灯开关按钮，用户通过手势即可实现隔空操作。而苹果的专利中也曾提到了类似用例：当iPhone在播放音乐时，头显用户可通过手势或注视同一房间的HomePod等方式无缝切换声音播放设备。

图源：小米

实现这一功能的方式有两种，一是基于计算机视觉通过摄像头检测环境存在的智能家居设备，进而与设备建立握手，二是通过在智能家居产品内置UWB等芯片以实现精准定位以及高速数据传输。

陀螺君了解到，目前苹果系列产品：iPhone 11及以上、Apple Watch S6及以上、HomePod Mini、HomePod、AirTag等均配备了UWB芯片，今年iPhone 15、Apple Watch系列新品则进一步搭载了U2 UWB芯片。这为后续不同设备间的近场通信打下了良好的基础。回到HomeKit生态来看，目前配备了UWB的产品仍不算多。

 写在最后 

Vision Pro出来后，苹果在头显市场树立了一个新标杆。在技术方面，它具有很多先进特性，如专门加入协处理芯片R1、图像上屏时延低至12ms、减少用户疏离感的EyeSight等。而在生态方面也同样如此。

在前几年，VR/AR其实很难找到真正属于自己的位置：VR究竟应该归属于3D生产力工具还是PC游戏外设？AR究竟应该作为信息提醒工具还是另一块便携大屏？在这个过程中，VR/AR更多承担的是配件、服务型角色，又或者与主流的PC手机渐行渐远，开辟了游戏等其他场景。

而Vision Pro发布之后，它并不急于与PC、移动互联网生态进行切割，反而是在不同生态间建立了良好的关系。比如Vision Pro UI中再让人熟悉不过的2D操作界面、又比如对iOS、iPadOS应用的兼容等。而另一方面，Vision Pro定义为空间计算设备，并且配备了电脑级处理器M2，它并不需要依赖于原有的硬件产品而存在，潜在应用场景以及用例要比其他产品广泛得多。

无可否认，VR/AR又或者空间计算会成为下一代计算平台，但如何实现在不同生态间的无缝过渡却鲜有人考虑，而为不同硬件建立联系则是苹果试图给出的答案之一。由此可见，XR时代的苹果，它不仅出发得要比别人早，也已经走得要比别人远得多。