HADAR为热图像消除幽灵效应 提高图像的清晰度和细节

PURDUE UNIVERSITY

如果自动驾驶汽车和机器人要想安全高效，就需要感知周围环境。他们还需要能够预测周围物体的行为——无论是其他机器人、车辆，甚至是人——并规划他们的路径的同时做出相应的决定。换句话说，他们需要机器视觉。

传统上，机器视觉是通过相机和传感器（包括雷达、声纳和激光雷达）的组合来实现的。但机器视觉通常也依赖于热量。普渡大学电气和计算机工程教授Zubin Jacob说：“热辐射来自所有温度为非零的物体。树叶、树木、植物、建筑物——它们都在发射热辐射，但这是不可见的红外辐射，我们的眼睛和传统相机看不到。” 由于热浪不断散射，红外相机生成的图像缺乏材料特异性，导致图像模糊不清，如“幽灵般”，没有深度或纹理。

作为“幽灵”图像的替代方案，Jacob和他在普渡大学和密歇根州立大学的同事开发了一种热辅助检测和测距（heat-assisted detection and ranging，HADAR）技术，该技术可以解决杂乱的热信号，以“查看”纹理和深度，从而提高图像的清晰度和细节。在一项概念验证实验中，他们证明了夜间的HADAR测距与白天的RGB立体视觉一样好。他们的研究成果于7月26日发表在《自然》杂志（https://www.nature.com/articles/s41586-023-06174-6）上。

人类在白天或光线充足的环境中可以看到丰富多样的颜色、纹理和深度，但即使在昏暗或黑暗的情况下，也有大量的热光子在周围反弹。Jacob说，尽管人类看不到它，但这种情况并不限制于机器，所以我们需要开发新的传感器和新的算法来利用这些信息。

在他们的实验中，研究人员选择了一个沼泽地的户外空间，远离道路和城市照明。他们收集了近100个不同频率的红外光谱中的热图像。正如RGB图像中的每个像素都由三个可见频率编码（R代表红色，G代表绿色，B代表蓝色）一样，实验中的每个象素都标记有三个热物理属性，即TeX——温度（T）、材料指纹或发射率（e）以及纹理或表面几何形状（X）。Jacob说：“人们对T和e有相当好的理解，但关于纹理的关键见解实际上是在X中。”这三个输出构成了HADAR算法对物体和环境的物理描述。

HADAR算法根据估计得到的温度、发射率和深度，重建出物体和环境的纹理、形状和颜色。纹理是根据发射率的差异生成的；形状是根据深度的变化生成的；颜色是根据温度的范围生成的。这三个重建结果构成了HADAR算法对物体和环境的视觉呈现。

最终，HADAR算法能够从热图像中分离出物体和环境的物理属性，从而消除幽灵效应，提高图像的清晰度和细节。HADAR算法不仅能够在黑暗中看见物体的轮廓和热量，还能够看见物体的温度、材质和纹理，就像在白天一样。

Jacob补充道，HADAR技术能够提供更好的适应性，不受光照条件的限制，能够在黑暗或低能见度的环境中正常工作。此外，在激光雷达、声纳或雷达等主动方法中，如果场景中有很多代理，它们之间可能会有很多串扰。

Jacob说，HADAR作为一项新技术，还处于相当初级的阶段。目前，数据收集几乎需要一分钟的时间。相比之下，例如，夜间驾驶的自动驾驶汽车需要在几毫秒内对周围环境进行成像。此外，数据收集所需的相机体积庞大、价格昂贵且耗电。所以现阶段非常适合科学演示，但不适合广泛采用。研究人员目前正在研究这些问题，Jacob预测，未来几年的研究将致力于解决这些。

然而，Jacob说，有一些应用是可以立即实现的，比如夜间野生动物监测。另一个不需要毫秒决策能力的地方是一些医学应用，例如测量人体上的温度梯度。他还表示：“现在最大的挑战是硬件的改进，我们可以将先进的算法融入其中。” 他预测，下一代相机将是高速、紧凑的，可以在室温下工作，因此需要全新的材料。