文/VR陀螺 冉启行
一则机圈裁员消息，暴露了厂商布局 XR 业务的“野心”。2023 年 8 月，星纪魅族集团被爆旗下芯片研究院即将进行人员调整，该研究院大约有 200 名员工，调整计划是裁撤所有应届生，留下一小部分老员工。多名知情人士透露，被裁撤的芯片研究院属于前瞻技术业务之下，也是该业务板块的主力部门，成立刚刚一年，主要做 AR 芯片。裁撤原因在于，芯片投资周期长，成本高，AR 芯片现在没有出产品，影响上市计划，星纪魅族便“不想做了”。作为“下一代计算平台”，未来市场潜力不可估量，面对“芯片”这块难啃的骨头，有退场者，也有迎面直上的新玩家涌入。XR 芯片这条赛道，正成为科技巨头乃至创业公司争相布局的新赛道。凭借海思麒麟系列芯片，华为曾站在了与苹果、三星同等的高度，并一度成为全球手机销量霸主。8 月底，搭载最新款海思麒麟 9000s 的华为 Mate60 Pro 悄然上市，时隔 1500 多天后，华为“芯产品”在国内市场被疯抢至售罄。当然，于其他国产手机厂商而言，虽不设计核心处理平台，但特定场景芯片，譬如影像芯片（拍摄算法优化）、充电管理芯片（解决快充及安全）、独显芯片（游戏场景优化）也成为了它们抢占用户，争夺市场的杀手锏。抛开其他地缘政治因素不谈，自研芯片的魅力不仅仅在于功能设计上的自主，更为重要的是产品差异化上带来的强大市场竞争力，以此冲击高端市场，较高的技术门槛还意味着其难以复制，最终形成品牌的护城河。“自研芯片之争”出现于智能手机产业的成熟期，这是行业面对同质化现象，消费需求质量拉升，市场下降的积极应对。然而，在 XR 芯片上，我们看到了“芯片之争”的提前到来，在通用 PC、移动芯片的基础上，主要聚焦“交互”与“显示”两大板块，以“协处理器”作为切入，这是 XR 产品本身设计需求的延伸。相对于传统 PC、手机，XR 设备需要解决的是“交互”与“显示”两个最特殊，也是最重要的技术面。交互方面，XR 设备需要提供更加自然、直观、高效的人机交互方式，例如 SLAM 定位、眼动追踪、手势识别等。显示方面，作为近眼显示的 XR 设备需要提供更加高清、快速、舒适的视觉效果，例如高分辨率 VST、高刷新率、低延迟等。显然，传统的 PC、移动通用芯片无法满足 XR 设备对于交互和显示方面的特殊需求和标准。通用芯片在设计时往往考虑的是以手机为主的多种应用场景和兼容性，难以针对 XR 设备的高并发进行专门的优化和加速。因此，XR 协处理器应运而生。XR 协处理器是一种专门针对 XR 设备进行优化和加速的芯片，它可以与通用芯片协同工作，分担部分或全部的交互和显示任务。XR 协处理器可以根据不同的 XR 形式和应用场景进行定制化设计，以满足不同的性能和体验需求。XR 协处理器可以利用专门的算法和架构来提高传感器数据处理和图像渲染的效率和质量，通过技术手段降低延迟和晕眩感，提高视觉效果和用户体验。以苹果 Vision Pro 为例，其不仅配备了 PC 级性能的 M2 芯片，还有一颗为 MR 量身定制的 R1 芯片。苹果 M2 芯片的任务是运行与操作，简而言之就是可以让用户通过头显打开应用程序，运行应用程序，而 R1 处理器则负责来自交互传感器的几乎所有信息。 这些传感器包括 12 个摄像头，5 个传感器和 6 个麦克风，传感器将其感测到的任何内容转换或数字化为数字数据输入。R1 芯片接收输入数据进行实时处理，以生成塑造混合现实环境的输出数据。具体来看，两个主要的 RGB 外部摄像头记录外部真实世界，每秒将超过十亿像素推送到头显的 4K 屏幕上。最重要的是，一对侧面摄像头，以及两个底部安装的摄像头和两个红外传感器，即使在弱光条件下，也可以从各种位置跟踪手部运动。外向传感器还包括 LiDAR 扫描仪和 TrueDepth 摄像头，可捕获周围环境的深度图形，使 Vision Pro 能够在用户的空间中准确定位数字对象。在头戴面内部，每个周围有一圈 LED 灯和两个红外摄像头，用于跟踪眼球运动。通过这一系列的传感器，苹果实现了最重要的 VST 显示传输、SLAM 空间定位、手势+眼动交互和深度信息感知，而作为“上传下达”这一切的中枢，R1 解决了一款 MR 头显最重要的一环。该芯片本质上是一个数字信号处理器（DSP），但据外媒称，它却采用了集成更多晶体管的 5nm 芯片工艺，从而提高芯片的性能和效率，并且集成了 1 GB DRAM 以支持高速处理。该 DRAM 同样不简单，为了应对 R1 的高速处理需求，SK海力士专门开发了一款定制的 1GB DRAM，新的 DRAM 将输入和输出的引脚数量增加了 8 倍，可最大限度减少延迟，此类芯片也被称为 Low Latency Wide IO。对于近眼显示系统而言，端到端的低延迟非常重要。延迟是指摄像头看到的内容与头显 4K 屏幕上显示的图像之间的延迟，理论上滞后越短越好。当大脑从眼睛接收的输入与感知的输入之间存在明显的滞后时，就会发生晕动病，产生不适感。R1 虽仅是一颗协处理器，但依旧是一套系统化的工程，麻雀虽小，五脏俱全。整套下来，据称，R1 可以在 12 毫秒内处理来自这些传感器的输入数据，这比眨眼速度还快 8 倍。 除苹果外，不少正在布局 XR 业务的企业，也在 XR 协处理器上发力。目前，XR 芯片玩家主要分两大类：一类是产品未出，芯片先行的品牌厂商们，另一类则是瞄准 XR 增量市场的三方芯片厂商的卷入。作为科技产业的头部企业，在半导体上一直有输出和布局的三星自然不例外。XR 方面，三星入局并不算晚，只是早期略有曲折。而在近两年，伴随着苹果的竞争，我们也看到了三星 XR 的更多动态。2023 年 5 月，据报道，三星旗下设计 Exynos 处理器和 ISOCELL 相机传感器的部门 System LSI 已开始迈出为 XR 设备制造处理器的第一步。由于三星本身就有 Exynos 系列移动平台的设计能力，并有自家的晶圆代工厂，所以不管是做一颗“R1”的专用协处理器芯片，还是做一颗类“高通骁龙 XR2”的扩展芯片，皆有可能。在苹果 Vision Pro 的惊艳冲击下，三星的 XR 头显被爆料已经推迟至 2024 年 6 月，早前曝光的产品也或将重新设计。基于三星过去高举高打，一直对标苹果的市场策略，芯片方面，三星或重塑产品，打造专用协处理器，以更好应对苹果的 Vision Pro 带来的市场竞争。Meta 在 XR 业务上的投入每年都高达数十亿美元，自然也包括涉及了芯片业务。 根据早前的一份报道，Meta 公司为第二代 Ray-Ban Stories 智能眼镜开发自己的芯片以失败告终，所以才决定用高通芯片代替。而根据泄露的硬件路线图，未公布的可穿戴设备可能会在今年发布。据 The Information 报道，Meta 与三星曾合作开发 AR 眼镜的芯片，但该合作关系于 2022 年结束，当时 Meta 决定只为开发者生产数量非常有限的设备，联合开发的芯片将被用于 2024 年 Meta Connect 上亮相的第一款 AR 眼镜。在 Meta 与三星的合作关系结束后，Meta 寻找到了新的合作伙伴——联发科，这家公司将为 AR 眼镜设计芯片，该眼镜预计将于 2027 年发布。回归国内视野，vivo 在 XR 芯片方面一直都有人才积累，其芯片研发中心位于上海，首款手机 ISP 芯片 vivo v1 于 2021 年发布。不过，在 XR 硬件方面，由于一直未有相关产品露出，仍有待进一步观察。华为上一代 VR Glass 6DoF 游戏套装于 2020 年发布，而据小道消息称华为 VST 的 MR 产品也将十分惊艳，可能也与海思加持的协处理器芯片有关。这个猜测也并非无中生有，海思并非没有 XR 相关积累。早在 2020 年 5 月，上海海思就曾发布 XR 芯片平台，推出了可支持 8K 解码能力的集成 GPU、NPU 的 XR 芯片，应用于双目 AR 眼镜 Rokid Vision。整机品牌公司是一方面，近两年，以 XR 协处理器揭竿而起的初创企业也受到了极大的关注。国内企业耀宇视芯成立于 2022 年 1 月 19 日，公司位于南京，是一家 SLAM 算法及芯片提供商，主要从事 SLAM 算法及芯片研发、设计业务，致力于提供 AR、VR 软硬件解决方案。
其 SLAM 算法已落地某 AR 整机品牌厂商，交互质量已初见成效，预计其主打交互的 XR 协处理器将于今年 Q4 看到更多消息。
另一家 XR 芯片厂商可谓是资本宠儿，万有引力 GravityXR 成立于 2021 年。2022 年 4 月公司宣布在半年内连获天使轮、Pre-A 轮融资，融资金额共计数亿元
天使轮由高榕资本领投，红杉资本、IDG 资本和金沙江创投共同投资。Pre-A 轮则由某知名 XR 领军企业领投，高榕资本、红杉资本、联想创投、耀途资本、米哈游、追远创投、三七互娱、奇绩创坛、远阳资本、五源资本等投资机构共同投资。
据相关介绍，万有引力将于 2024 年完成第一代芯片的量产，这款芯片将是业内首款专门针对 XR 应用，高硬件应用定制化、高集成度的芯片平台，且在显示、感知、图像等多方面具备硬件加速处理的定制化设计。致力于解决四大问题：
- 其一，缓解主 SoC 通用平台的渲染负荷，更智能地达到 8K/120Hz；
- 其二，采用视频穿透式（VST），解决 VR 硬件终端的“老大难”晕眩问题；
- 其三，增强 VR/MR 的画质效果，包括动态高质量的显示/光学增强和相机处理；
- 其四，为感知技术提供足够的灵活性和计算能力，使得 XR 头显在不同的交互感知性能中，能够灵活分配算力资源。
根据万有引力官网介绍，其团队成员均来自苹果、Meta、华为等高科技公司，担任技术与产品研发的重要职位。在显示、感知、图像视觉、芯片和 XR 领域有着深厚的积累。据 VR陀螺获悉，万有引力的 XR 芯片的制程可能会是在 14nm 以内的先进制程工艺，或能成为安卓版的“R1”。
放眼海外市场，以色列 VR/XR 光学技术公司超视觉（hypervision）也在布局 XR 协处理器。据介绍，为快速实现基于超视觉 IP 的 PCVR VR/XR 头显，超视觉正在开发电子设备和协处理器，以在 MIPI DSI 显示器、MIPI CSI 图像传感器和 PC 之间建立桥梁。有以下模块：
- 4 x MIPI 显示器驱动基于显示端口的电子设备到 2x MIPI DSI 桥接器
- 传感器电子模块：3DoF IMU、接近传感器、IPD 传感器
- 基于4（或5）个 MIPI 相机的真实世界 240 ° /360 ° 立体相机流的See-through
- 眼睛和面部跟踪 MIPI 相机流与用于 NIR 和 RGB 照明的 LED 驱动器的组合
作为第二阶段，超视觉计划将所有模块组合到基于 FPGA（或 ASIC）的单个协处理器中，该协处理器将驱动高达 4 倍高分辨率/帧速率的 MIPI 显示器，将从外部摄像头以及凝视和面部收集图像流跟踪摄像机。
协处理器将连接到 PC 或 SoC（用于独立 VR/XR）。可以对流进行实时处理、失真补偿和显示内容渲染，以减轻 PC 或 SoC 的负担。将真实图像直接定向到显示器（绕过 PC 或 SoC）的选项将实现接近“零延迟”，这对于 VST 非常重要（就像在 AR 眼镜中的 OST 那样自然）。
从上文一系列解决方案和技术解析可以看出，XR协处理器芯片依旧在围绕 XR 硬件最核心的“交互”与“显示”两个层面设计。
尽管 XR 协处理芯片已成为 XR 行业谋求高质量交互与显示的共识，并且在未来更能助品牌形成差异化竞争力，但由于半导体行业本身的技术门槛问题，厂商需要承担较长的时间周期，以及高昂的研发成本，仍面临较大的挑战。
今年，手机半导体行业的一大地震事件是 OPPO 旗下半导体子公司 ZEKU 的解散，3000 多名员工全部毕业。OPPO 方面对外宣布：面对全球经济、手机市场的不确定性，经过慎重考虑，公司决定终止 ZEKU 业务。
究其核心原因，还是投入与产出的不成正比导致。以马里亚纳芯片为例，INNO DAY上，陈明永就曾透露，“单颗 SoC 的投入都是一亿美金级别的”。
成熟的手机产业尚且如此，还未被点燃市场的 XR 产业则可能会面对更大的风险，星纪魅族集团的 AR 芯片夭折就是一个前车之鉴，厂商们仍需做好长期入不敷出的准备。
另外，值得注意的是，目前做 XR 协处理芯片的企业还面临高通、联发科等传统手机芯片巨头业的挑战，一旦其开始重视 XR 板块，并发力 VST 显示、SLAM 算法等方面，凭借其原有的半导体产业架构，不光是在研发速度，还是落地客户上，都有极高的优势存在。
自研芯片是个好方向，于品牌厂商而言，可以建立品牌护城河，打差异化高端产品；于供应链企业而言，可以解决 XR 硬件在使用体验上的核心问题，供给未来需求市场。
然而，如此吸睛且举足轻重的业务也是最烧钱，最漫长的投资。
https://www.profolus.com/topics/what-is-the-apple-r1-chip-specifications-and-capabilities/https://www.hypervision.ai/copy-of-xr-rr-coprocessor
