Meta报告称其Reality Labs部门6个月内亏损77.32亿美元；苹果Vision Pro眼动追踪系统相关新专利曝光

看日报是个好习惯

 Meta 发布报告称其Reality Labs部门6个月内亏损77.32亿美元 

图源：网络

Meta 最近将其 Quest 2 VR头显（目前市场上的主流VR头显）的价格降至299美元，去年还推出了一款商务版的 Meta Quest Pro VR头显，售价为1500美元。

但 Meta 仍预计在这一领域会有更大的亏损。Meta在周三发布的首席财务官展望评论中表示：“对于Reality Labs来说，由于我们在AR/VR领域持续的产品开发工作，以及为进一步扩大生态系统规模而进行的投资，我们预计运营亏损将同比大幅增加。”

Meta 很快还将在AR/VR领域与苹果展开竞争，后者上个月发布了 Vision Pro MR头显。苹果的Vision Pro售价为 3499 美元，将于明年推出。此外，三星也在与高通和谷歌合作开发MR平台。

不过，Meta公司的资产负债表总体上是健康的。在截至 6 月 30 日的6个月里，其应用程序家族，包括Facebook、Instagram、WhatsApp 和 Messenger在内获得了 244 亿美元的营业收入。

Meta首席执行官Mark Zuckerberg指出，人工智能、新的社交媒体应用 Threads 和即将推出的 Quest 3 头显等领域都有新的发展。

他说道：“我们拥有非常令人兴奋的路线图，包括 Llama 2、Threads、Reels、正在开发的新人工智能产品以及今年秋天推出的 Quest 3。”

Meta 表示将继续投资于“具有吸引力的机会，包括人工智能和元宇宙”。

在人工智能方面，该公司上周推出了第二代大型语言模型 Llama 2，并通过与微软的合作使其免费商用。大型语言模型是生成式人工智能聊天机器人的基础，如 OpenAI 的 ChatGPT 和谷歌的 Bard。

高通公司还与 Meta 合作，从明年开始在手机和个人电脑上提供 Llama 2 AI 。Meta 上周表示，自今年 2 月推出 Llama 1 以来，已有超过 10 万次访问请求。

在截至6月30日的3个月里，Meta公司的总收入为319.99亿美元，净收入为77.88亿美元。

 苹果Vision Pro眼动追踪系统相关新专利曝光，可与其他设备搭配进行远程眼动追踪 

早在2017 年，苹果公司收购了一家名为 SensoMotoric Instruments（SMI）的德国公司，后者在眼动追踪技术领域拥有过硬的技术。2016 年，SMI 已经制造出了使用眼动追踪技术的眼镜。虽然这项技术在当时看来有些科幻，但现在它已经成为苹果即将推出的 Vision Pro 头显背后的关键技术之一。今天，美国专利商标局正式向苹果公司授予了一项与眼动追踪技术有关的专利，而在被列为发明人的4位工程师中，有3位就来自现就职于苹果公司的前 SMI 团队。

传感器融合眼动追踪

苹果公司获得的专利涵盖了各种实施方案，其中包括为相对于用户移动的电子设备执行远程眼动追踪的设备、系统和方法。

在某些实施方案中，远程眼动追踪通过使用单个有源照明光源和深度信息识别三维坐标系中沿注视方向的两个位置（例如角膜中心和眼球旋转中心）来确定注视方向。在某些实施方案中，使用基于主动照明光源的闪烁和深度传感器的深度信息确定第一位置（如角膜中心），使用 RGB 传感器（如环境光）和深度信息确定第二位置（如眼球旋转中心）。在某些实施方案中，使用相同主动照明光源的单个传感器确定第一位置（如角膜中心）和第二位置（如眼球旋转中心），单个传感器同时确定深度信息和闪光信息。在某些实施方案中，远程眼动追踪由移动电子设备提供。

在某些实施方案中，远程眼动追踪确定三维坐标系中的头部姿态以及眼球的位置（例如眼球旋转中心），然后确定头部姿态与眼球位置之间的空间关系。在某些实施方案中，空间关系是唯一确定的（例如，用户特定变换）。在某些实施方案中，空间关系是在远程眼动追踪的注册模式下确定的。随后，在远程眼动追踪的追踪模式的某些实现中，只有特征检测图像（例如 RGB 摄像头图像）和空间关系用于执行远程眼动追踪。在远程眼动追踪的追踪模式的某些实施方案中，深度信息和主动照明被关闭（例如，降低功耗）。

远程眼动追踪的一个用途是在用户注视的方向上识别设备上的视点（POR），例如，注视方向与设备显示屏相交的位置。视点可用于促进用户与设备的交互。例如，系统可以检测到用户的视线已经到达显示屏的底部，并自动向下滚动，向用户显示更多内容。

图源：patentlyapple

本专利一些实现涉及在具有一个或多个处理器、一个或多个图像传感器和照明光源的设备上，根据与眼睛第一图像中不同波长光相关的像素差异，检测眼睛的第一属性。这些实施方案根据深度传感器提供的深度信息，在三维坐标系中确定与第一属性相关的第一位置。各种实施方案根据照明光源的光线从眼睛角膜反射产生的闪光来检测眼睛的第二属性。这些实施方案根据来自深度传感器的深度信息，确定三维坐标系中与第二属性相关联的第二位置，并根据第一位置和第二位置确定三维坐标系中的注视方向。

各种实现方法根据在第二图像中检测到的头部（例如面部特征）和来自深度传感器的深度信息，确定三维坐标系中的头部位置。这些实施方案根据头部位置和先前确定的头部与眼睛之间的空间关系，确定与眼睛的第二属性相关联的第二位置，并根据第一位置和第二位置确定三维坐标系中的注视方向。

想了解更多专利信息，请查阅苹果公司的授权专利11710350。

 苹果手指设备新专利曝光，可搭配头显为用户提供触觉反馈 

昨天，美国专利商标局正式公布了苹果公司一系列共 42 项实用新型专利。在其中，有一项与未来可能出现的手指设备相关的专利。

虽然苹果 Vision Pro 使用前沿的眼动追踪技术和摄像头来捕捉用户简单的空中手指手势，以此替代控制器，但如果能配备手指设备，则可能会带来更多新功能和传感器。

例如，有些传感器可以让用户通过触摸 3D 物体实际感受到纹理，从而在 HMD 上更好地享受游戏乐趣。

可调节外壳结构的手指设备

苹果公司这项手指设备专利主要涉及可调节的外壳结构。

更具体地说，苹果获得的专利涵盖了一种系统，该系统可包括佩戴在用户手指上的手指设备。手指装置的外壳中装有传感器电路。传感器电路可包括应变计、加速计、位移传感器和/或其他传感器电路，用于检测手指移动外壳时的手指输入。无线通信电路可用于向系统中的其他设备（如头戴式设备或其他电子设备）提供手指输入。在操作过程中，手指输入可用于操纵头戴式设备或系统中其他设备显示的内容。

手指设备外壳可包括横跨手指顶部的上部外壳部分，以及向下延伸至手指第一和第二侧的第一和第二侧外壳部分。一个或多个传感器（例如，力传感器、位移传感器等）可位于侧外壳部分，并可配置为测量手指接触外部表面和进行其他手指运动时手指两侧的移动。

为确保传感器相对于手指侧面的位置适当，可使用一个或多个可调结构来调整第一和第二侧壳体部分相对于上壳体部分的位置。可调节结构可包括弹性带、拉绳、棘轮结构、剪刀结构和/或其他可调节结构，以便调整侧外壳部分和相关传感器的位置。

苹果专利图 2 说明了手指装置在用户身上的位置；图 3 是说明性手指装置在用户手指上的横截面侧视图；图 4 是带有铰链的说明性手指装置的透视图；图 5 是带有可调节外壳的说明性手指装置的横截面侧视图；图 7 是带有包括弹性带在内的可调节外壳结构的说明性手指装置的透视图。

图源：patentlyapple

一个或多个手指装置可以收集用户的用户输入，用户可以使用手指设备操作电子设备。例如，手指设备可用作虚拟现实或混合现实设备（如眼镜、护目镜、头显等头戴式设备或其他带显示屏的设备）的控制器。在操作过程中，手指设备可以收集用户输入，例如手指设备与周围环境之间的交互信息（例如，用户手指与环境之间的交互，包括手指运动和与为用户显示的虚拟内容相关的其他交互）。用户输入可用于控制显示屏上的视觉输出。

当用户触摸真实物体或虚拟物体时，手指装置将向用户的手指提供触觉输出，为用户的手指提供所需的纹理感觉。触觉输出还可用于创建制动器和其他触觉效果。

为了提高用户与周围物体互动时的触觉灵敏度，手指装置可以采用倒 U 形或其他配置，使手指装置可以戴在用户指尖的顶部和两侧，而让用户的指垫裸露在外。

苹果的手指设备可能包含大量的各种传感器，苹果为其手指设备可能配备的传感器列表如下：

传感器可包括力传感器（如应变计、电容式力传感器、电阻式力传感器等）、音频传感器（如麦克风）、触摸和/或接近传感器（如电容式传感器、二维触摸传感器）、光学传感器（如发射和检测光的光学传感器）、超声波传感器和/或其他触摸传感器和/或接近传感器、单色和彩色环境传感器、图像传感器、指纹传感器、温度传感器、用于测量三维非接触式手势（"空气手势"）的传感器、压力传感器、用于检测位置、方向和/或运动的传感器（如加速度计、磁传感器等）、加速度传感器、磁传感器（如罗盘传感器）、陀螺仪和/或包含部分或全部这些传感器的惯性测量单元）、健康传感器（如测量血氧含量和心率的传感器）、射频传感器（如 利用雷达原理或其他射频传感技术收集位置信息、三维射频图像和/或其他信息的传感器，以及利用蓝牙定位技术或超宽带定位技术检测相对于其他物体的位置、方向和/或运动的传感器）。

以及用于检测手指动作的肌肉活动传感器（EMG）、 光学传感器，如自混合传感器和光探测与测距（激光雷达）传感器，可收集飞行时间测量数据，以及视觉里程测量传感器，可利用摄像机中的数字图像传感器收集的图像收集位置和/或方位信息；注视追踪传感器；具有数字图像传感器的可见光和/或红外摄像机；湿度传感器；三维传感器（如光电传感器）；飞行时间图像传感器、利用双目视觉收集三维图像的成对二维图像传感器、利用激光器或其他光发射器阵列和相关光学元件发射红外光束，或其他结构光并捕捉光束照射目标物体时产生的光斑图像的三维结构光传感器和/或其他三维图像传感器、基于三维图像传感器的面部识别传感器和/或其他传感器、气体传感器和/或其他传感器。

最后，苹果公司指出，这些手指设备可用作未来版本 Apple TV 的遥控器，或与 Apple Watch、Mac、汽车应用软件、iPhone、iPad 等其他设备配合使用。

想要了解更多专利详情，请查阅苹果公司11709554 号专利。

 苹果获空间音频导航新专利，可为佩戴智能眼镜、Vision Pro的用户提供导航 

今天，美国专利商标局正式授予苹果一项专利，该专利涉及未来 AirPods、智能眼镜和轻量版 Vision Pro 的空间音频导航功能。该系统利用双耳音频设备播放带有方向性的音频，从而为用户提供导航提示，帮助他们在商场、其他场所或城市公园中找到方向。该系统还可以为汽车驾驶员提供音频导航。

苹果公司获得的专利涵盖了空间音频导航的方法和设备。该专利描述了空间音频导航系统和空间音频导航方法的实施方案，例如，可以主要使用智能眼镜或 HMD（Vision Pro）来实现，如下专利图所示。空间音频导航系统以音频形式提供导航信息，引导用户到达目的地，如现实世界中的地点、人或物体。空间音频导航系统不使用传统导航应用中的语音指示或依赖视觉提示，而是使用通过双耳音频设备（如耳机、头戴式耳机、有线或无线耳机等）播放的音频的方向性和距离来为用户提供导航提示。

本文所述的空间音频导航系统和导航方法的实施例使用通过双耳音频设备播放的声音的方向性和距离来为用户提供导航提示。因此，本实施例利用声音明显来源的空间位置来引导用户朝某个方向前进。例如，为了在听音乐时引导用户走一条路，可以将音乐的声源置于用户前方，引导用户沿着这条路走，并将声源移至用户一侧，提示用户在这条路上转弯。这样，音乐就不会被打断，与传统的导航应用相比，本实施例提供了一种更微妙的方法来传达导航信息。

其他音频源也可以采用同样的方法，包括但不限于有声读物、电话交谈、模拟或捕获的环境噪声、模拟声音（如音调、铃声、警报声或白噪声）或录制的声音（如铁路列车声或狼群声）。

在空间音频导航系统的实施方案中，可以将当前位置、目标位置和地图信息输入寻路算法，以确定用户当前位置与目标位置之间的真实路径。然后，空间音频导航系统可通过耳机播放定向音频，引导用户沿着从当前位置到目标位置的路径前进。

虽然该专利描述的空间音频导航系统是在 AirPods 这样的移动多功能设备中实现的，但空间音频导航系统的实施方案也可以在包括定位技术、头部定向技术和双声道音频输出的头戴式显示器（HMD）的 VR/MR 系统中实现；集成在 HMD 中的扬声器可以用作双声道音频设备，或者使用外部耳机作为双声道音频设备。

图源：patentlyapple

苹果公司的专利图 1 展示了使用 iPhone 和 AirPods 的空间音频导航；在图 2A 中，苹果公司展示了空间音频导航可用于未来的智能眼镜或更高级的 Vision Pro 头显，用户可以在商场或其他地方轻松使用。

图源：patentlyapple

苹果公司的专利图 5C 和 5G 展示了空间音频导航系统可以使用的各种空间音频导航方法。苹果公司的专利图 6C 展示了一种离散路径跟踪方法，其中声音沿路径以离散间隔移动。在某些实施例中，当声音到达路径的终点时，它会返回到路径的起点，然后重复这个过程。

想了解更多专利详情，请查阅苹果公司的授权专利 11709068。

 苹果发布 visionOS 第二个开发者测试版 

苹果日前又发布了 visionOS 的第二个测试版本 visionOS beta 2 SDK，但由于该公司尚未提供 Apple Vision Pro 的硬件套件，因此绝大多数开发者将不得不在他们的 Mac 上安装新版本的 visionOS。

在发布硬件之前，苹果建议开发人员通过 Xcode 15 beta 5 访问。visionOS beta 2 SDK 的版本号为 21N5207f，大小为 6.72G。开发者可以在 Xcode 中访问新版本的操作系统，而里面包括模拟器运行时更新。

图源：网络

 Overture Maps Foundation发布开放地图数据集 

去年年底，Meta联合微软、亚马逊、地图公司TomTom与Linux基金会成立了Overture Maps Foundation，其目标是创建可互操作的地图产品以跟封闭的谷歌地图和苹果地图竞争。近日，该基金会发布了其首个开放地图数据集。

据了解，此次发布的内容包括5900万个名胜古迹以及有关建筑物、交通网络和行政边界数据。Overture表示，数据层已经过格式化，开发人员可以“以标准、文档化的方式使用这些地图数据，并且具有互操作性”。开发人员可以利用这些数据构建地图应用程序或任何依赖导航的服务。

图源：Overture

得益于开放式地图数据集，开发人员开发特定应用程序会变得更加轻松，且成本会更低。此前开发者必须付费才能访问谷歌地图API，而苹果地图也向开发非原生应用程序的开发者进行收费。

公告指出，未来Overture将会进一步构建以及完善地图数据服务，例如旋转、导航以及3D建筑数据。

 HTC Vive系列产品手部追踪功能得到加强 

目前HTC为其Vive Focus 3、Vive XR Elite（国内为Vive XR精英套装）两款产品配备了手部追踪功能。借助手部追踪，用户可以脱离手柄使用，并且它在沉浸式会议或者生产力工具等方面具有较大的应用价值。

近日，HTC发布公告称其手部追踪功能已经得到加强：“做好准备，获得更好的性能，尤其是在昏暗的光线下。告别对反射和棘手照明设置的担忧。”

图源：HTC

 Mirrorscape 推出适用于移动设备和 Vision Pro 的测试版 AR 桌面游戏 

Mirrorscape 近期宣布推出适用于移动设备和 Apple Vision Pro 的增强现实 (AR) 桌面游戏平台的公开测试版。

图源：venturebeat

在接受 GamesBeat 采访时，Mirrorscape 领导层表示，其设计正在针对苹果将于 2024 年推出的 XR 设备 Vision Pro 进行调整，非常适合角色扮演游戏和数字桌面体验。

除了移动设备之外，Mirrorscape 还在开发其平台，以兼容各种设备，包括苹果的 Vision Pro、高通 Snapdragon Spaces 平台上的设备以及预计于 2023 年发布的其他设备。

 VR解剖教育应用《Human Anatomy VR》现已登陆PS VR2 

PlayStation Store中更多的是专为PS VR2打造（或优化）的游戏，教育应用并不多。而现在可以在PS VR2上通过《Human Anatomy VR》进行VR医疗教育体验，该应用售价为30美元。

《Human Anatomy VR》最初发布于PSVR和Quest 2，里面包含高中和大学两个级别的内容。高中级针对“任何对人体结构感到好奇的人”提供简化内容，而大学级则包括详细的3D模型和信息，开发商Virtual Medicine称其“符合医生或医学生准备解剖学考试的需求”。

开发商表示，《Human Anatomy VR》提供了15个身体系统以及由医疗专业人员设计的超过13,000个逼真的解剖结构。用户还可以处理21个微观解剖模型，观看500多个操作动画。

《Human Anatomy VR》的PlayStation Store页面提到：“它非常适合运动、健身和锻炼爱好者、科学爱好者、高中生、医学和护理专业学生、大学生、图书馆和保健从业人员使用。其功能丰富的内容通过出色的图形、创新的演示和视觉传递，能为用户带来引人入胜的体验。”