光学专家炮轰Quest Pro全彩透视效果：分辨率、色彩、畸变....全踩雷了

2023-02-02 13:02

文/VR陀螺万里

Karl Guttag（卡尔·古塔格）是国外的一个近眼显示专家，在计算机图形、显示器和人机视觉界面方面拥有40多年的经验。

近期，他专门针对Meta Quest Pro（后简称MQP）的全彩透视效果进行了深度体验，他表示：“对于一些VR爱好者和YouTuber而言，他们会对MQP所展现的大屏幕以及多窗口感到惊讶。不过它的像素颗粒感、聚散调节冲突以及闪烁问题，使得它在商业应用中表现不佳。”

图源：Meta

在Meta的官方描述中，它表示MQP朝外的摄像头能捕捉的像素量为Quest 2的四倍，从而实现“物理世界和数字世界”无缝的体验。不过Karl Guttag却表示MQP全彩透视效果一般，体验很难称之为“无缝”。

为了直观展示MQP在实际表现中存在的问题，Karl Guttag进行了一系列测试。下面的图像/视频来源主要有两种，一是使用Meta Quest Developer HUB ( MQDH ) 软件对显示画面进行截屏/录屏，二是使用相机对屏幕进行拍摄。拍摄设备为佳能R5，8192 x 5464像素，镜头约16毫米，水平FOV约106°，垂直FOV 约81°，相机解析力接近于人眼所看到的效果。

图源：Karl Guttag

画面有桶形失真，分辨率表现不佳

下图为通过MQDH软件截取的画面，可以看到画面出现了旋转效果，这是因为MQP的物理显示器进行了21°反向旋转处理。

根据海外分析师SadlyItsBradley的说法，Meta之所以会采用旋转屏幕设计，原因可能有两点：一是能提供更大的垂直FOV、二是因为设备使用Pancake光学方案，光学器件更靠近用户的脸，这样可以给鼻子的三角形区域留出空间。

图源：Karl Guttag

上图出现了桶形失真，即四个边都向外弯曲，而桶形失真用于纠正MQP Pancake光学元件所导致的枕形失真问题（很多VR光学元件都有类似的失真纠正机制）。这使得画面外围的像素被光学拉长，因此分辨率较低。

下面一张图中，左1为截屏画面，左2为相机拍屏画面，右1为相机直接拍摄真实环境的照片。对比左边两张图，可以发现最左边图像已经经过失真纠正处理，不过它书柜处的外部像素因为光学畸变而被显著拉伸超过两倍。

图源：Karl Guttag

下面的测试中，Karl Guttag进一步给我们展示了MQP全彩透视糟糕的分辨率表现。

下图左为MQP开启全彩透视所拍摄到的Snellen视力表画面，右为相机直接拍摄画面（画面经过了局部放大处理）。在美国，看不到第一行的“E”基本上等同于“盲人”，而MQP的显示效果介于20/200（“法定盲人”）和10/200（“视障者”）之间。

此外，在颜色方面，左图还出现了很多问题，如书柜颜色过度饱和，视力表上方出现了色彩偏移，其他地方又有欠饱和等问题。相比之下，右边相机所拍摄的画面与肉眼观感较为接近。

左为MQP透视效果，右为相机直接拍摄画面，图源：Karl Guttag

SadlyItsBradley表示，MQP的彩色透视功能使用了两个分辨率为1280x1024的IR摄像头为显示器提供亮度信息（兼做追踪和SLAM算法），此外，它还有一个1600万像素的RGB摄像头，主要用于图像着色。

两颗1280X1024像素的摄像头，从图像采集到最终屏幕成像，会经历裁剪、旋转和桶形扭曲等过程，最终生成的图像像素质量约500x500，由于MQP单眼视场角约85度，简单换算它的图像PPD约为6。

为了更直观展示MQP相机的分辨率表现，Karl Guttag还设置了三组对比照片，左1为MQP的截屏画面，左2为相机拍摄的画面（约70PPD），右2为经过适当压缩处理的相机拍摄画面（约6PPD）。

图源：Karl Guttag

下面为局部放大图，（最右边补充了Quest 2的透视效果图）。从下图左2可以看到，MQP透视的分辨率确实不理想，它的表现甚至要比左3以6.4PPD模拟的图片还要糟糕。因此，Karl Guttag指出，佩戴MQP时，最佳中心视力只有约人类良好视力的 1/10。

图源：Karl Guttag

对于透视的成像效果问题，Meta的工程师理应清楚，将单个彩色摄像头与两个跟踪摄像头结合使用会严重损害图像质量。不过在这种情况下，它们依旧愿意牺牲图像质量来换取虚实物体位置的稳定。Meta团队实现了这一目标，但代价是图像质量以及失真程度（特别是观察近距离物体时）表现糟糕。

SadlyItsBradley指出，Meta Quest 3将配备两颗高分辨率的彩色摄像头，每只眼睛各一个（或类似于奇遇MIX的方案），这样应该能实现更好的全彩透视效果。不过，如果试图通过实时跟踪和深度感应相机信息映射真实世界的画面，仍可能会出现失真问题。因为全彩透视非常依赖处理器性能，并且对于续航而言也是一大负担。

即将发布的Quest 3爆料图片，图源：SadlyItsBradley

透视效果动态范围表现惨淡，M2P时延约50ms

除静态画面外，Karl Guttag还针对MQP彩色透视的视频效果做了相应测试。他指出，MQP彩色透视的动态范围表现简直可以用惨淡来形容。

由于MQP使用的是对红外线敏感的跟踪相机，这使得它拍摄任何明亮或发光的东西，画面都会显得发白，而在光线不好的情况下，画面会变得非常嘈杂。

下面视频中不难发现MQP彩色透视所呈现的动态范围低、画面以及颜色失真等问题。近距离物体表现很糟糕，但是距离较远的物体也会发生奇怪的扭曲现象。

在其他一些测试场景中，MQP所拍摄的灯光和电脑屏幕都出现了过曝现象，并且纸张由于出现扭曲变得基本无法阅读。

下面的视频中，里面放置了一个贴有斯内伦图表的计时器，还有一个电脑计时器（用于实现头显视频录制以及相机拍摄画面的帧同步）。由于过曝问题，电脑屏幕亮度需要设置成最低，不然无法看清楚屏幕画面。

从视频里面摆动的指针可以发现，在运动场景下，它的画面失真较为严重，并且画面颜色填充要明显滞后于运动。

值得注意的一点是，虽然录屏画面看起来颜色还原较为准确，但是拍屏画面颜色已经过饱和，实际肉眼观看也如此。考虑到在VR模式下，MQP颜色还原十分准确，但透视模式的颜色表现却不如人意，这点让人有些费解。

左为拍屏画面，右为视频录制画面，图源：Karl Guttag

除了颜色问题，Karl Guttag还发现录屏软件所捕获到的视频画面每3帧就会出现一次画面撕裂的情况，而通过相机拍摄的画面（4K60帧拍摄）并没有这一问题。原因可能在于软件录制的视频源与头显播放的视频源并不同步。

录屏情况下发生的画面撕裂现象，图源：Karl Guttag

录屏画面与拍屏画面显示效果有差异不仅在Karl Guttag的测试中有所反映，很多用户也表示他们所录制的视频源观感要优于亲眼看到的效果。

因此Karl Guttag怀疑MQP在成像时会优先照顾运动到光子的时延（M2P）而不是画面整体质量，而在录屏时则刚好反了过来，这时候会优先考虑画面质量而非M2P时延。

Karl Guttag使用光传感器测量发现，设备的M2P时延约为40-50ms。

使用视频透视做MR，许多老大难问题还没解决

AR/VR设备的透视方式主要可以分为视频透视（Video See-Through，VST）和光学透视（Optical See-Through，OST）两种。一些资料指出，光学透视方案下，用户通过放置在眼前的半透明光学合成器看到外界真实世界，同时光学合成器也将计算机生成的图像反射到用户的眼睛里，从而将真实世界和虚拟世界结合起来。

而视频透视则是通过相机捕捉到真实世界的实时视图，然后与计算机图像技术结合在一起，展示在不透明的显示器上，最终进入用户的视野。

视频透视是VR的主流透视方案，如果细分的话还包含黑白透视，全彩透视等。此前Karl Guttag曾经讨论了用视频透视做AR的一些优缺点。