探访Meta Reality Labs总部：绝密部门里正在研究怎样的前沿技术？

2022-11-01 13:11

文/VR陀螺 ZJ

注：本文原作者系CNET编辑Scott Stein，“我”均为作者第一人称自述

马克·扎克伯格坐在我对面，用手指的小动作控制着屏幕上的物体。敲击、滑动、轻捏，他的手腕上戴着一个厚厚的腕带，看起来像一个实验性的智能手表。这是Meta对我们未来与AR、VR、计算机和其他一切事物互动的设想。

图源：Meta

"它能很好地适用于眼镜......我认为它实际上能适用于一切。我认为在未来，人们会用它来控制手机和电脑，以及其他东西......你只需在手腕上戴上一个小带子，"扎克伯格在演示神经腕带的时候说道。他的手和手指的动作似乎很微妙，看起来就像焦躁不安时的动作，有时的动作几乎微不可查。

神经输入设备只是Meta公司VR战略的一部分，这些腕带是我首次访问Meta公司位于华盛顿州雷德蒙的Reality Labs总部时看到和尝试的技术之一。此行是Meta公司首次邀请记者参观其未来的技术研究设施，该设施位于Facebook硅谷总部以北的几座不起眼的办公楼中。

我上次访问雷德蒙时，正在试用微软的HoloLens 2。我的Meta之行也是类似的经历，这一次，我是在体验Meta Quest Pro，这是一款将VR和AR融合在一起的头显，旨在开启扎克伯格的野心，实现更专注于工作的元宇宙战略。

Meta公司不久前举办的Connect大会的重点主要集中在Quest Pro上，还有与微软、Zoom、Autodesk和埃森哲等公司的新工作伙伴关系，目标是让Meta公司与微软的MR野心相吻合。

我还看到了一些实验性研究项目，这些项目还没有准备好用于人们的日常生活，但却展示了Meta公司下一步计划的确切目标。这些遥远的项目和更昂贵的Quest Pro头显出现的时间点对Meta公司来说是一个微妙的时刻，这家公司已经花费了数十亿美元投资于元宇宙的未来，其最受欢迎的VR头显Quest 2的销量还不到2000万台。感觉未来还没有完全到来，但像Meta这样的公司已经为它的到来做好了准备。

我和其他几位受邀嘉宾一起体验了许多令人心动的演示，这感觉就像我在探索威利·旺卡的巧克力工厂。但我也得到一个信息：虽然Quest Pro看起来是Meta公司硬件新方向的开始，但它离最终目标还差得远。

神经输入：适应你的腕带

Meta公司Reality Labs的首席科学家Michael Abrash一遍又一遍地告诉我，"协同适应学习"。他在描述Meta在2019年收购CTRL-Lab后多次讨论过的腕带。这是一个很难完全吸收的概念，但Meta公司的演示由几个受过训练的研究人员展示，让我对它有了一些了解。

佩戴着与电脑连接的笨重腕带，只需移动手指，就能让一个卡通人物在一个无休止的游戏中来回移动。然后，研究人员的动作似乎停止了。他们的动作变得如此微妙，以至于他们的手几乎没有抽动，却仍然在玩游戏。腕带使用EMG或肌电图（肌肉的电测量）来测量微小的肌肉冲动。

Meta Reality Labs的研究人员正在用EMG 腕带测量运动神经元，图源：Meta

Reality Labs的神经运动接口总监、CTRL-Lab公司前首席执行官Thomas Reardon说，基于反馈的训练过程逐渐让佩戴者开始缩小他们的动作，最终可以只使用一个运动神经元。这也让最终的结果看起来有点像读心术，但它是通过巧妙地测量显示移动意图的电脉冲来实现的。

当扎克伯格演示腕带时，他使用了一套类似的微妙动作，尽管它们更加明显。腕带的控制感觉类似于基于触摸的触控板或空中鼠标，能够识别基于压力的捏合、滑动和手势。

Abrash描述了EMG和神经输入技术的目标所在："从长远来看，我们将希望拥有一个与物理世界交互起来自然又直观的界面。"

打字还不在考虑之列。据扎克伯格说，这需要更多的带宽来达到这种速度和保真度："现在的比特率低于你快速打字所需的水平，但第一件事是让它正确工作。" 在某些时候，目标是让控制装置能做更多事。Meta认为这项技术也许在5到6年后才会真正到来，虽然还需要长远的发展，但如果这个时间框架成立的话，这款腕带很可能会与Meta公司认为的最终版AR眼镜上市的时间一致。

扎克伯格说，腕带是眼镜的关键，因为我们不想随身携带控制器，而且语音和手部追踪也不够好用。但最终他计划让这种类型的控制器适用于任何设备，无论是VR还是其他。

这些控制看起来将涉及一种完全不同的输入语言，一种可能与手机或VR控制器的现有控制相似的语言，但它将随着时间的推移适应一个人的行为。这似乎需要一段时间来学习使用。

"大多数人将会知道很多关于如何在这个世界上互动、如何移动他们的身体的方式，"Reardon对我说。"他们会理解像字母这样的简单系统。因此，让我们在那里满足他们，然后做这件事，这个相当深刻的想法叫做协同适应，让一个人和一台机器一起沿着这条道路学习，我们称之为纯粹的神经接口和神经运动接口，它融合了神经解码和运动解码。与其说有一种新的语言，不如说这种语言在机器和人之间进化，但它始于人们今天所做的事情。"

"协同适应是一个非常深刻的观点，"扎克伯格补充说。"你不会与你的物理键盘协同适应。在移动设备的键盘上有一点，你可以拼错东西，它可以预测你想打出的单词，但还有更多。"

我没有亲自佩戴或试用过神经输入腕带，但我看到了其他人在使用它们。几年前在CES上，我确实有机会为自己简短地尝试了一种不同类型的腕戴式神经输入设备，我感受到了像这样的技术实际上是如何工作的。它与我一年前试用的Nextmind（后来被Snap收购）的头戴式设备不同，后者利用大脑信号测量眼球运动。

使用Meta腕带的人似乎很容易做出动作，但这些是基本的游戏滑动控制。在日常的AR眼镜中，腕带如何准确运作于更多关键任务的日常？Meta目前还没有做到这一点。据扎克伯格说，目前Meta的目标只是让技术发挥作用，并展示协同适应学习如何最终缩小反应动作。

我们可能还需要一段时间才能看到这项技术在任何日常设备上发挥作用，但我想知道Meta公司如何将这些原则应用于机器学习辅助的控制类型，而不是基于神经输入。我们能否在这之前看到精制的控制器或手部追踪组合的出现？但这些腕带目前是一个遥远的赌注，而不是一个近在咫尺的技术。

真实的3D音频

我尝试的第二组演示，展示了下一代空间音频，复制了Meta公司在2020年谈到的研究，它原本计划在COVID-19爆发之前亲自展示。空间音频已经被广泛用于VR头显、游戏机和PC，以及AirPods等各种日常耳机产品上。Meta公司想要做的不仅仅是让音频听起来像来自不同的方向，而是要将音频投射出来，让它真的像来自用户的物理空间。

在 Meta 的隔音室内，一个巨大的扬声器阵列用于帮助创建空间音频配置文件，图源：Scott Stein/CNET

我们参观了实验室的隔音室，这是一个用泡沫墙阻挡声波反射的悬空房间，Meta在这里向我们展示了一系列的扬声器，旨在帮助研究声音如何传播到个人的耳朵，并探索声音如何在物理空间中移动。之后，我们尝试的两个演示显示了声音的真实感。

其中一次，我坐在一个拥挤的房间里，我的耳朵里戴着麦克风，而项目负责人在我周围移动，在不同的距离上演奏乐器并发出声音。录音40秒后，项目负责人用罩耳式耳机向我回放音频，其中有些部分听起来就像有人在我身边的房间里移动。我想，使这种效果令人信服的要素是音频回声，这种感觉是运动在房间空间中的回响。

第二个演示让我在一个有4个扬声器的房间里戴上一副3D空间追踪耳机。我被要求识别我听到的音乐是来自扬声器，还是来自我的耳朵，而我失败了。音乐播放似乎完美地投射出来，我不得不摘下耳机，在走动时确认声音到底来源于哪里。

根据Michael Abrash在2020年的评论，这项技术离成为神经腕带这样的现实产品并不遥远。Meta公司的计划是最终让手机摄像头来调整个人3D音频，让AR投影在任何空间都有令人信服的声音。这是一个有意义的目标，这会为全息物体带来更多真实感。但人们可能会变得很难区分真实和虚拟的声音，这会带来一大堆衍生问题。

如照片般真实的虚拟化身

我在一个黑暗的空间里，站在一张看似映照在烛光中、非常真实的人的对面，他在Meta的匹兹堡Reality Labs研究办公室里，戴着一个特别制作的脸部追踪VR头显。我正在体验Codec Avatars 2.0，这是一个能让元宇宙中虚拟化身变得更加真实的愿景。

虚拟化身带来的真实感很不可思议，我站得很近，看着虚拟化身嘴唇的动作，他的眼睛，他的微笑和皱纹。这种感觉几乎就像与一个超级真实的PlayStation 5游戏角色交谈，然后一次又一次地意识到这是与一个真实的人以化身形式进行的实时对话。

Meta认为这项技术不会很快应用在日常的头显中。首先，一体式VR头显的处理能力是有限的，在一个房间里有越多的虚拟化身，图形的负担就越重。另外，追踪技术也还不够普及。

在我的第二个演示中，我体验了一个缩小版的虚拟化身，该化身是通过手机摄像头进行面部扫描而创建的，使用的是一种叫做Instant Codec Avatars的新技术。这张虚拟的脸看起来比我自己做的大多数扫描图都要好。但我觉得我是在和一个冻结的、只能轻微移动的头说话。最终的结果没有Meta现在使用的卡通皮克斯式的化身那么流畅。

尝试与使用手机制作的Instant Codec Avatars聊天，图源：Meta

最后一个演示展示了一个带有腿部的虚拟化身。这是一个预先制作好的非互动性化身，由演员在一个特殊房间里接受3D扫描生成。该演示的重点是可以真实地展示虚拟化身身上的数字服装。结果近看不错，但与现实的电子游戏相似。这似乎是对在元宇宙中出售数字财产的一种测试，但该技术目前尚不能用于任何头显。

最后我还被要求脱下一只鞋子进行3D扫描实验。我的鞋子被放在一张桌子上，工作人员在那里用手机摄像头进行扫描，该技术不需要激光雷达。大约半小时后，我在AR和VR中看到了自己的鞋子。3D扫描技术就像空间音频一样，已经很普遍了，很多公司都专注于将3D资产导入VR和AR中。Meta公司的研究旨在通过使用一种叫做神经辐射场的技术，在各种手机摄像头上取得更好的效果。

3D扫描的鞋出现在AR中，图源：Scott Stein/CNET

另一个演示则显示了该技术的保真度水平。几个预先扫描的物体捕捉到了复杂的3D物体的光线模式。结果显示了毛茸茸的、带刺的、精细的物体，包括一只泰迪熊和几株仙人掌，在VR头显上看起来非常令人印象深刻。卷曲的毛发似乎不像大多数3D扫描那样融化或消光。相反，它是蓬松的，似乎没有棱角。而仙人掌的刺则以细小的刺状线散开。

在Reality Labs尝试的所有演示中，这可能是最不令人惊叹的。但这只是因为在AR和VR中，通过各种程序已经有很多令人印象深刻的3D扫描和渲染的体验。现在还不清楚Meta的研究实例在日常使用中能有多大的即时性或易用性，因此很难判断该功能的效果如何。

可以肯定的是，如果将物体扫描成虚拟的、与文件兼容的版本会变得更容易，这将是任何公司实现自己的元宇宙雄心的关键。大量的企业已经致力于在网上销售虚拟商品，下一步就是让任何人都能轻松地对自己的东西进行扫描。同样，这在手机上已经可以实现，但它看起来效果还没有那么好。

这一切意味着什么？

Meta公司有一个全新的Quest Pro头显，它是将AR和VR混合在一起的尖端设备，它为面部追踪的虚拟化身控制提供了新的可能性。其余研究的未来仍然是一系列的问号。Meta公司想在哪条赛道壮大其元宇宙的雄心，是神经输入、AR眼镜，还是虚拟和现实声音的混合？但这一系列技术就像是仍是未铺设好的道路，可能还需要几年时间的发展。

在这一年里，尽管有通货膨胀和经济衰退的影响，Meta公司在对元宇宙进行大量押注的同时，其收入也有所下降，这些项目是否最终都能成为现实也还是一个问号。Meta公司的长线游戏元宇宙愿景还能维持多久？

首席科学家Michael Abrash在一堵VR 和 AR 头显原型设备墙前与我们交谈，图源：Meta

当我们在一天结束前聚集在一起的时候，Abrash再次与我们交谈，带我们回到了一个主题上，即沉浸式计算最终将成为一场真正的革命。早些时候，我们在一面挂满了VR和AR头显的墙前停了下来，这是Meta公司所做的所有实验性原型的展示墙。我们看到了MR头显，有的头显的显示屏被设计成在眼睛外显示，还有的头显小到可以成为梦想中的VR太阳镜。