窥探他人眼中的世界：用眼睛反光重建3D场景，《黑镜》走进现实

公众号新闻

2023-06-20 04:06

机器之心报道

编辑：小舟、杜伟

英国电视剧《黑镜》中有很多不属于这个时代的高科技，其中人类的眼睛可以拥有录像功能，随时随地播放过去的场景。如今在现实中，我们也可以通过眼睛看更多世界。

从人眼反射中重建3D场景，这是一个新奇的话题。近日，马里兰大学帕克分校的一项研究实现了这一效果，利用人眼反光3D重建这个人正在观察的物体或场景，让人直呼《黑镜》重现。

论文地址：https://arxiv.org/pdf/2306.09348.pdf

你也许会问，真的有这么神奇吗？看看下面几个效果图就知道了。

研究者使用一段Lady Gaga的音乐视频，试图重建她眼中观察到的东西。我们可以从Lady Gaga的眼中观察到一个类似上身的影子。不过受限于视频的质量，重建的正确性无法确定。

原来，人眼中的3D世界是这个样子的，模糊却又有点神秘。有人表示，「这是一篇令人兴奋的论文。」

黑镜重现：人眼反射的3D场景重建

在人类的五官之中，人眼用来处理周围世界的视觉信息。人眼可以当做两个透镜来将光聚焦到感光细胞上，这些感官细胞又组成了视网膜。如果我们观察其他人的眼睛，也会捕获到从角膜反射的光。而当我们使用相机来拍摄其他人的眼睛时，可以将眼睛作为整体成像系统中的一组镜子。由于从观察者眼睛反射的光与到达视网膜的光具有相同的来源，因此相机形成的图像应包含观察者所看到世界的信息。

先前已经有研究探索过从眼睛的图像肿恢复观察者所看到的世界的全景图像，后续工作进一步探索了在个人识别、抓握姿势检测、聚焦物体估计和重照明等领域的应用。

随着3D视觉和图形学的进步，不禁要问：除了从人眼中重建单独的一张全景环境地图之外，有没有可能完整恢复观察者看到的3D世界呢？

在这篇论文中，研究者使用包含人眼反射的图像来重建相机视线以外的3D场景。做到这些非常具有挑战性，一方面难以准确估计眼睛姿态，另一方面眼睛虹膜和场景反射之间存在纠缠。

针对这些挑战，研究者联合优化了角膜姿态、用于描述场景的辐射场以及观察者的眼睛虹膜纹理，并进一步提出利用虹膜纹理模式的正则化先验来提供重建质量。

更具体来讲，研究者通过引入两个关键组件将 NeRF 用于眼睛图像的训练。这两个组件一个是纹理分解，它利用简单的径向先验来帮助从整体辐射场中分离出虹膜纹理；另一个是眼睛姿态优化，它增强了姿态估计的准确性，忽略了眼睛自身小尺寸带来的挑战。

下图4为辐射场和虹膜纹理的联合优化过程，清楚地展示了如何利用从眼睛反射的光线。