光学专家炮轰Quest Pro全彩透视效果:分辨率、色彩、畸变....全踩雷了
文/VR陀螺 万里
图源:Meta
图源:Karl Guttag
画面有桶形失真,分辨率表现不佳
下图为通过MQDH软件截取的画面,可以看到画面出现了旋转效果,这是因为MQP的物理显示器进行了21°反向旋转处理。
根据海外分析师SadlyItsBradley的说法,Meta之所以会采用旋转屏幕设计,原因可能有两点:一是能提供更大的垂直FOV、二是因为设备使用Pancake光学方案,光学器件更靠近用户的脸,这样可以给鼻子的三角形区域留出空间。
图源:Karl Guttag
上图出现了桶形失真,即四个边都向外弯曲,而桶形失真用于纠正MQP Pancake光学元件所导致的枕形失真问题(很多VR光学元件都有类似的失真纠正机制)。这使得画面外围的像素被光学拉长,因此分辨率较低。
下面一张图中,左1为截屏画面,左2为相机拍屏画面,右1为相机直接拍摄真实环境的照片。对比左边两张图,可以发现最左边图像已经经过失真纠正处理,不过它书柜处的外部像素因为光学畸变而被显著拉伸超过两倍。
图源:Karl Guttag
下面的测试中,Karl Guttag进一步给我们展示了MQP全彩透视糟糕的分辨率表现。
下图左为MQP开启全彩透视所拍摄到的Snellen视力表画面,右为相机直接拍摄画面(画面经过了局部放大处理)。在美国,看不到第一行的“E”基本上等同于“盲人”,而MQP的显示效果介于20/200(“法定盲人”)和10/200(“视障者”)之间。
此外,在颜色方面,左图还出现了很多问题,如书柜颜色过度饱和,视力表上方出现了色彩偏移,其他地方又有欠饱和等问题。相比之下,右边相机所拍摄的画面与肉眼观感较为接近。
左为MQP透视效果,右为相机直接拍摄画面,图源:Karl Guttag
SadlyItsBradley表示,MQP的彩色透视功能使用了两个分辨率为1280x1024的IR摄像头为显示器提供亮度信息(兼做追踪和SLAM算法),此外,它还有一个1600万像素的RGB摄像头,主要用于图像着色。
两颗1280X1024像素的摄像头,从图像采集到最终屏幕成像,会经历裁剪、旋转和桶形扭曲等过程,最终生成的图像像素质量约500x500,由于MQP单眼视场角约85度,简单换算它的图像PPD约为6。
为了更直观展示MQP相机的分辨率表现,Karl Guttag还设置了三组对比照片,左1为MQP的截屏画面,左2为相机拍摄的画面(约70PPD),右2为经过适当压缩处理的相机拍摄画面(约6PPD)。
图源:Karl Guttag
下面为局部放大图,(最右边补充了Quest 2的透视效果图)。从下图左2可以看到,MQP透视的分辨率确实不理想,它的表现甚至要比左3以6.4PPD模拟的图片还要糟糕。因此,Karl Guttag指出,佩戴MQP时,最佳中心视力只有约人类良好视力的 1/10。
图源:Karl Guttag
对于透视的成像效果问题,Meta的工程师理应清楚,将单个彩色摄像头与两个跟踪摄像头结合使用会严重损害图像质量。不过在这种情况下,它们依旧愿意牺牲图像质量来换取虚实物体位置的稳定。Meta团队实现了这一目标,但代价是图像质量以及失真程度(特别是观察近距离物体时)表现糟糕。
SadlyItsBradley指出,Meta Quest 3将配备两颗高分辨率的彩色摄像头,每只眼睛各一个(或类似于奇遇MIX的方案),这样应该能实现更好的全彩透视效果。不过,如果试图通过实时跟踪和深度感应相机信息映射真实世界的画面,仍可能会出现失真问题。因为全彩透视非常依赖处理器性能,并且对于续航而言也是一大负担。
即将发布的Quest 3爆料图片,图源:SadlyItsBradley
透视效果动态范围表现惨淡,M2P时延约50ms
除静态画面外,Karl Guttag还针对MQP彩色透视的视频效果做了相应测试。他指出,MQP彩色透视的动态范围表现简直可以用惨淡来形容。
由于MQP使用的是对红外线敏感的跟踪相机,这使得它拍摄任何明亮或发光的东西,画面都会显得发白,而在光线不好的情况下,画面会变得非常嘈杂。
下面视频中不难发现MQP彩色透视所呈现的动态范围低、画面以及颜色失真等问题。近距离物体表现很糟糕,但是距离较远的物体也会发生奇怪的扭曲现象。
在其他一些测试场景中,MQP所拍摄的灯光和电脑屏幕都出现了过曝现象,并且纸张由于出现扭曲变得基本无法阅读。
下面的视频中,里面放置了一个贴有斯内伦图表的计时器,还有一个电脑计时器(用于实现头显视频录制以及相机拍摄画面的帧同步)。由于过曝问题,电脑屏幕亮度需要设置成最低,不然无法看清楚屏幕画面。
从视频里面摆动的指针可以发现,在运动场景下,它的画面失真较为严重,并且画面颜色填充要明显滞后于运动。
值得注意的一点是,虽然录屏画面看起来颜色还原较为准确,但是拍屏画面颜色已经过饱和,实际肉眼观看也如此。考虑到在VR模式下,MQP颜色还原十分准确,但透视模式的颜色表现却不如人意,这点让人有些费解。
左为拍屏画面,右为视频录制画面,图源:Karl Guttag
除了颜色问题,Karl Guttag还发现录屏软件所捕获到的视频画面每3帧就会出现一次画面撕裂的情况,而通过相机拍摄的画面(4K60帧拍摄)并没有这一问题。原因可能在于软件录制的视频源与头显播放的视频源并不同步。
录屏情况下发生的画面撕裂现象,图源:Karl Guttag
录屏画面与拍屏画面显示效果有差异不仅在Karl Guttag的测试中有所反映,很多用户也表示他们所录制的视频源观感要优于亲眼看到的效果。
因此Karl Guttag怀疑MQP在成像时会优先照顾运动到光子的时延(M2P)而不是画面整体质量,而在录屏时则刚好反了过来,这时候会优先考虑画面质量而非M2P时延。
Karl Guttag使用光传感器测量发现,设备的M2P时延约为40-50ms。
使用视频透视做MR,许多老大难问题还没解决
AR/VR设备的透视方式主要可以分为视频透视(Video See-Through,VST)和光学透视(Optical See-Through,OST)两种。一些资料指出,光学透视方案下,用户通过放置在眼前的半透明光学合成器看到外界真实世界,同时光学合成器也将计算机生成的图像反射到用户的眼睛里,从而将真实世界和虚拟世界结合起来。
而视频透视则是通过相机捕捉到真实世界的实时视图,然后与计算机图像技术结合在一起,展示在不透明的显示器上,最终进入用户的视野。
视频透视是VR的主流透视方案,如果细分的话还包含黑白透视,全彩透视等。此前Karl Guttag曾经讨论了用视频透视做AR的一些优缺点。
资料来源:Karl Guttag
用视频透视做AR通常是不安全的,因为它可以通过多种方式掩盖现实世界的危险。以至于有人把它称之为”VR to the ER“(从VR到急诊室)。
MQP的透视模式缓解了部分VR视觉安全问题,不过还有很多问题没有解决:
头显仍然会挡住用户的大部分视线;
VR内容完全阻隔现实世界;
动态范围太差,昏暗环境下基本不可用;
现实世界的分辨率很差;
透视模式下的视频可能会出现高度失真问题。
除此之外,头显还面临着辐辏调节冲突、闪烁等问题。
结语
MQP的透视模式相比Quest 2有了很大的提升,但是离真正的MR设备还离得很远。
彩色透视可用于在现实世界中寻找物件以及为VR应用设置安全边界,但是它在AR/MR应用方面表现很糟糕,Meta把MQP称之为混合现实设备着实有点名不符实。
Meta在元宇宙花费了超过300亿美元,而MQP是他们所打造的价值1500美元的专业设备。从人类视觉因素的角度来看,MQP犯了很多错误,以至于Karl Guttag表示,这款设备强化了他对于"Passthrough AR拥有众多缺点”的刻板印象。
资料来源:
https://kguttag.com/2023/01/03/meta-quest-pro-part-1-unbelievably-bad-ar-passthrough/
推荐阅读
微信扫码关注该文公众号作者