Redian新闻
>
光学专家炮轰Quest Pro全彩透视效果:分辨率、色彩、畸变....全踩雷了

光学专家炮轰Quest Pro全彩透视效果:分辨率、色彩、畸变....全踩雷了

科技


文/VR陀螺 万里


Karl Guttag(卡尔·古塔格)是国外的一个近眼显示专家,在计算机图形、显示器和人机视觉界面方面拥有40多年的经验。

近期,他专门针对Meta Quest Pro(后简称MQP)的全彩透视效果进行了深度体验,他表示:“对于一些VR爱好者和YouTuber而言,他们会对MQP所展现的大屏幕以及多窗口感到惊讶。不过它的像素颗粒感、聚散调节冲突以及闪烁问题,使得它在商业应用中表现不佳。”


图源:Meta


在Meta的官方描述中,它表示MQP朝外的摄像头能捕捉的像素量为Quest 2的四倍,从而实现“物理世界和数字世界”无缝的体验。不过Karl Guttag却表示MQP全彩透视效果一般,体验很难称之为“无缝”。

为了直观展示MQP在实际表现中存在的问题,Karl Guttag进行了一系列测试。下面的图像/视频来源主要有两种,一是使用Meta Quest Developer HUB ( MQDH ) 软件对显示画面进行截屏/录屏,二是使用相机对屏幕进行拍摄。拍摄设备为佳能R5,8192 x 5464像素,镜头约16毫米,水平FOV约106°,垂直FOV 约81°,相机解析力接近于人眼所看到的效果。


图源:Karl Guttag



 画面有桶形失真,分辨率表现不佳 



下图为通过MQDH软件截取的画面,可以看到画面出现了旋转效果,这是因为MQP的物理显示器进行了21°反向旋转处理。


根据海外分析师SadlyItsBradley的说法,Meta之所以会采用旋转屏幕设计,原因可能有两点:一是能提供更大的垂直FOV、二是因为设备使用Pancake光学方案,光学器件更靠近用户的脸,这样可以给鼻子的三角形区域留出空间。


图源:Karl Guttag


上图出现了桶形失真,即四个边都向外弯曲,而桶形失真用于纠正MQP Pancake光学元件所导致的枕形失真问题(很多VR光学元件都有类似的失真纠正机制)。这使得画面外围的像素被光学拉长,因此分辨率较低。


下面一张图中,左1为截屏画面,左2为相机拍屏画面,右1为相机直接拍摄真实环境的照片。对比左边两张图,可以发现最左边图像已经经过失真纠正处理,不过它书柜处的外部像素因为光学畸变而被显著拉伸超过两倍。


图源:Karl Guttag


下面的测试中,Karl Guttag进一步给我们展示了MQP全彩透视糟糕的分辨率表现。


下图左为MQP开启全彩透视所拍摄到的Snellen视力表画面,右为相机直接拍摄画面(画面经过了局部放大处理)。在美国,看不到第一行的“E”基本上等同于“盲人”,而MQP的显示效果介于20/200(“法定盲人”)和10/200(“视障者”)之间。


此外,在颜色方面,左图还出现了很多问题,如书柜颜色过度饱和,视力表上方出现了色彩偏移,其他地方又有欠饱和等问题。相比之下,右边相机所拍摄的画面与肉眼观感较为接近。


左为MQP透视效果,右为相机直接拍摄画面,图源:Karl Guttag


SadlyItsBradley表示,MQP的彩色透视功能使用了两个分辨率为1280x1024的IR摄像头为显示器提供亮度信息(兼做追踪和SLAM算法),此外,它还有一个1600万像素的RGB摄像头,主要用于图像着色。


两颗1280X1024像素的摄像头,从图像采集到最终屏幕成像,会经历裁剪、旋转和桶形扭曲等过程,最终生成的图像像素质量约500x500,由于MQP单眼视场角约85度,简单换算它的图像PPD约为6。


为了更直观展示MQP相机的分辨率表现,Karl Guttag还设置了三组对比照片,左1为MQP的截屏画面,左2为相机拍摄的画面(约70PPD),右2为经过适当压缩处理的相机拍摄画面(约6PPD)。


图源:Karl Guttag


下面为局部放大图,(最右边补充了Quest 2的透视效果图)。从下图左2可以看到,MQP透视的分辨率确实不理想,它的表现甚至要比左3以6.4PPD模拟的图片还要糟糕。因此,Karl Guttag指出,佩戴MQP时,最佳中心视力只有约人类良好视力的 1/10。


图源:Karl Guttag


对于透视的成像效果问题,Meta的工程师理应清楚,将单个彩色摄像头与两个跟踪摄像头结合使用会严重损害图像质量。不过在这种情况下,它们依旧愿意牺牲图像质量来换取虚实物体位置的稳定。Meta团队实现了这一目标,但代价是图像质量以及失真程度(特别是观察近距离物体时)表现糟糕。


SadlyItsBradley指出,Meta Quest 3将配备两颗高分辨率的彩色摄像头,每只眼睛各一个(或类似于奇遇MIX的方案),这样应该能实现更好的全彩透视效果。不过,如果试图通过实时跟踪和深度感应相机信息映射真实世界的画面,仍可能会出现失真问题。因为全彩透视非常依赖处理器性能,并且对于续航而言也是一大负担。


即将发布的Quest 3爆料图片,图源:SadlyItsBradley



 透视效果动态范围表现惨淡,M2P时延约50ms 



除静态画面外,Karl Guttag还针对MQP彩色透视的视频效果做了相应测试。他指出,MQP彩色透视的动态范围表现简直可以用惨淡来形容。


由于MQP使用的是对红外线敏感的跟踪相机,这使得它拍摄任何明亮或发光的东西,画面都会显得发白,而在光线不好的情况下,画面会变得非常嘈杂。


下面视频中不难发现MQP彩色透视所呈现的动态范围低、画面以及颜色失真等问题。近距离物体表现很糟糕,但是距离较远的物体也会发生奇怪的扭曲现象。


在其他一些测试场景中,MQP所拍摄的灯光和电脑屏幕都出现了过曝现象,并且纸张由于出现扭曲变得基本无法阅读。



下面的视频中,里面放置了一个贴有斯内伦图表的计时器,还有一个电脑计时器(用于实现头显视频录制以及相机拍摄画面的帧同步)。由于过曝问题,电脑屏幕亮度需要设置成最低,不然无法看清楚屏幕画面。



从视频里面摆动的指针可以发现,在运动场景下,它的画面失真较为严重,并且画面颜色填充要明显滞后于运动。


值得注意的一点是,虽然录屏画面看起来颜色还原较为准确,但是拍屏画面颜色已经过饱和,实际肉眼观看也如此。考虑到在VR模式下,MQP颜色还原十分准确,但透视模式的颜色表现却不如人意,这点让人有些费解。


左为拍屏画面,右为视频录制画面,图源:Karl Guttag


除了颜色问题,Karl Guttag还发现录屏软件所捕获到的视频画面每3帧就会出现一次画面撕裂的情况,而通过相机拍摄的画面(4K60帧拍摄)并没有这一问题。原因可能在于软件录制的视频源与头显播放的视频源并不同步。


录屏情况下发生的画面撕裂现象,图源:Karl Guttag


录屏画面与拍屏画面显示效果有差异不仅在Karl Guttag的测试中有所反映,很多用户也表示他们所录制的视频源观感要优于亲眼看到的效果。


因此Karl Guttag怀疑MQP在成像时会优先照顾运动到光子的时延(M2P)而不是画面整体质量,而在录屏时则刚好反了过来,这时候会优先考虑画面质量而非M2P时延。


Karl Guttag使用光传感器测量发现,设备的M2P时延约为40-50ms。



 使用视频透视做MR,许多老大难问题还没解决 



AR/VR设备的透视方式主要可以分为视频透视(Video See-Through,VST)和光学透视(Optical See-Through,OST)两种。一些资料指出,光学透视方案下,用户通过放置在眼前的半透明光学合成器看到外界真实世界,同时光学合成器也将计算机生成的图像反射到用户的眼睛里,从而将真实世界和虚拟世界结合起来。


而视频透视则是通过相机捕捉到真实世界的实时视图,然后与计算机图像技术结合在一起,展示在不透明的显示器上,最终进入用户的视野。


视频透视是VR的主流透视方案,如果细分的话还包含黑白透视,全彩透视等。此前Karl Guttag曾经讨论了用视频透视做AR的一些优缺点。


资料来源:Karl Guttag


用视频透视做AR通常是不安全的,因为它可以通过多种方式掩盖现实世界的危险。以至于有人把它称之为”VR to the ER“(从VR到急诊室)。


MQP的透视模式缓解了部分VR视觉安全问题,不过还有很多问题没有解决:


  • 头显仍然会挡住用户的大部分视线;

  • VR内容完全阻隔现实世界;

  • 动态范围太差,昏暗环境下基本不可用;

  • 现实世界的分辨率很差;

  • 透视模式下的视频可能会出现高度失真问题。


除此之外,头显还面临着辐辏调节冲突、闪烁等问题。



 结语 



MQP的透视模式相比Quest 2有了很大的提升,但是离真正的MR设备还离得很远。


彩色透视可用于在现实世界中寻找物件以及为VR应用设置安全边界,但是它在AR/MR应用方面表现很糟糕,Meta把MQP称之为混合现实设备着实有点名不符实。


Meta在元宇宙花费了超过300亿美元,而MQP是他们所打造的价值1500美元的专业设备。从人类视觉因素的角度来看,MQP犯了很多错误,以至于Karl Guttag表示,这款设备强化了他对于"Passthrough AR拥有众多缺点”的刻板印象。


资料来源:

https://kguttag.com/2023/01/03/meta-quest-pro-part-1-unbelievably-bad-ar-passthrough/




  第一时间了解XR资讯  
  关注VR陀螺官网(vrtuoluo.cn)

VR陀螺的联系方式:
商务合作 | 投稿 :
西瓜(微信号 18659030320)
六六(微信号 13138755620)
寻求免费曝光:
六六(微信号 13138755620)
投稿邮箱:[email protected]



推荐阅读

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
快来薅苹果羊毛!官方大降价,iPhone 14 Pro全系大跌700块…8点1氪:iPhone 14 Pro全系降价700元;上海招聘企业平均月薪10605元;人人视频遭集体起诉中国力量!厦门力量!Chinese rescuers save lives in quake-hit Turkiye世界杯和我:英法大战前的感想退休 11-夜市ChatGPT玩法大全火了,一键复制就能get同款效果:脱口秀张口就来,还能扮演哈利波特光学镜头“后起之秀”中润光学成功登陆科创板 差异化路径成长下的专精特新“小巨人”VR+AR!HTC公布Vive XR Elite:可玩游戏、售价1100美元4K分辨率寻找中国“小巨人” | 中润光学:光学镜头里的“技术派”科技周报:微信小号功能仍在测试中;爱奇艺回应因限制投屏被起诉;iPhone14Pro全系降价700元125㎡三口之家,复古色彩、质感、细节,串联起关于生活的精致体验!【居住榜样】冬日花儿首选 --- 水仙和朱顶红娃吃一口就爱上的软牛肉干,拒绝干硬柴!不额外添加防腐剂、色素、香精,肉香浓郁、好嚼不塞牙陌上花开990:写给你的一封信,请签收 | 聪慧美貌、生活多彩、闪闪发光的科技从业小姐姐User Sues Chinese Streaming Giant iQiyi for Curbing AccessChina Promotes Language Standardization in IT Products英国医学专业难申?攻略来了!一文读懂医学专业录取要求!2022年买的私募踩雷了一半,这些要不要拉黑?LG 公布新款 38BQ85C 带鱼屏显示器:38 英寸 3840*1600 分辨率《Nature》麻省理工学院研究垂直堆叠LED,用于高分辨率数字屏幕?持续深耕光学行业获广泛认可,茂莱光学登陆科创板发展实现“加速跑”奥斯卡奖最佳视效的《阿凡达:水之道》,今日震撼上线[干货] out of question 和 out of the question,含义天壤之别!一文详解Prompt学习和微调(Prompt Learning & Prompt Tuning)茅台起诉拼多多/ iPhone14Pro全系降价700元/ 理想汽车被曝「克扣年终奖」后续来了…今日更多新鲜事在此Chinese Cities Allow Spring Festival Fireworks Amid COVID BluesTrader Joe's也有差评?看看10种被网友吐槽最多的产品,别踩雷了!【3.31折扣】Sandro全场清仓半价!CPB罕见78折!Lacoste半价!儿童身高有最新标准了,快看看这几个误区你踩雷了吗?大温唯一的马来甜品店入驻列治文!吹爆全网的必点款,这次竟然踩雷了?退休 12-陈婉丽CVPR 2023 | 浙大提出全归一化流模型PyramidFlow:高分辨率缺陷异常定位新范式旧金山杂记​国产新冠口服药3期试验结果:高风险轻中症治疗效果不劣于Paxlovid,且不良反应更少|环球科学要闻个股"黑天鹅"频频突袭,明星基金也"踩雷",持有人该怎么办?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。