1.43公里外的隔墙观物，我们做到了！
成像艺术是一门古老而又全新的科学，
未来我们要不断发展成像技术，
以此服务大众、造福人类社会。
徐飞虎 · 中国科学技术大学教授
格致论道第94期 | 2023年5月5日 杭州
大家好，我叫徐飞虎，来自中国科学技术大学。今天给大家分享一下如何实现“隔墙观物”。
我们把这个方法叫做非视域成像，也可以叫非视距、绕视或者拐角成像。首先跟大家分享一个视频，是我们近期在实验室内搭的一套实验装置，展示了对隐藏的、视场外的场景进行成像。今天希望跟大家分享我们是如何做到这一点的。
非视域（非视距、绕视、拐角）成像
它的目标很简单，就是拍出肉眼看不到的场景。比如说在上图中，能不能用一个相机拍到墙后面房间里的场景，这就是我们想做的非视域成像。
从左至右：国防应用、自动驾驶、医学检测、灾害救援
它有什么应用呢？在反恐、反劫持、自动驾驶、医学检测以及灾难救援等等场景，我们都希望能够看到肉眼看不到的一些事情，这是我们想要实现的目标。
我们再看一下如何实现非视域成像。一般是主动发一束激光到一个可见光墙面上，这个墙将光散射到隐藏的场景，再被隐藏目标散射回到墙面，最后墙面将光子散射回到探测器，被探测器接收。对接收到的光子，利用算法进行计算处理来实现成像。
非视域成像难在哪儿
已完成：10% //////////
要想实现非视域成像，我们主要面临三方面挑战。第一个挑战是漫反射。
镜面成像
我们在家照镜子，镜子是镜面反射。因此我从相机右侧，通过镜子可以很容易看到左侧的小兔子。
墙面成像
如果我们面对一个自然场景中的墙面或地面，其实就是漫反射的过程，整个光的空间信息都会散掉。所以我们再用相机去看墙面，只能看到一个散斑，失去了所有信息。这就是我们面临的第一个挑战。
刚才介绍了，我们是主动发一束激光，经过墙面到物体再到墙面的多次散射。每次散射光都是散到整个空间的，最后能回到探测器的光非常微弱。所以第二个面临的挑战是如何对这么微弱的信号进行探测，这是技术上面临的一个核心难题。
第三个挑战，每次散射过程中光是散到整个空间的各个方向，所以实验测到的时间信号其实是光场里一个光的圆球，存在复杂的时空混杂，失去了整个图像的信息。对这样复杂的数据，需要用到我们的计算成像算法，或者叫它人工智能算法来进行处理。
我大概是从2015年开始非视域成像相关的研究，首先做的就是成像算法。当初我还在麻省理工学院（MIT）的时候，我们进行了一个算法突破。有了算法，我们在实验室内进行了原理性验证。
2017年回国后，我们开展了很多关键技术的攻关，包括如何在外场试验非视域成像，如何实现更高精度的，以及更远距离的非视域成像。从近期开始，我们也希望能够把这个技术进一步工程化、实用化。
攻克三大难题的解决方案
已完成：20% //////////
再回到成像的场景，我们主要用三个方案来解决前面的三方面挑战：飞行时间，单光子探测，成像算法。
对于漫反射过程，我们重点探测光在空间的飞行时间，通过光的飞行时间乘以光速就能知道光的距离信息。这里我们重点探测的是第三次从隐藏目标回到墙面的飞行时间。
通过这个飞行时间，相当于我对隐藏目标进行时间维度的采样，不同隐藏场景回来的目标飞行时间不一样，所以通过时间探测就可以对隐藏目标进行区分。
第二个问题，由于多次散射，回来的光子非常微弱，怎样进行探测？自然场景的光可能含有的光子大概在10的17次方到10的20次方这样的量级，真正到一个光子级别，它是非常非常微弱的，相当于是一个光最基本的单元。这就用到在量子科技里发展的高灵敏单光子探测技术，能够实现对每一个微弱到单光子级别的信号进行探测。
最后一个核心技术是成像算法，用于对复杂数据进行处理。为了实现非视域成像，其实我在扫描过程中进行了多个点的探测，每一个点的探测相当于对隐藏空间画一个圆球，把所有点的数据融合起来就相当于很多个圆球交叠在一起。成像算法想解决的问题是：能够反过来推算这个圆球的交点到底在哪里？这就是它的核心思路。
成像算法
我们想做的是把实验的测量数据返回投影到隐藏空间，通过统计学里常用的比如说最大似然估计等相应的方法，对隐藏空间进行初步估计。同时再结合信号滤波技术，就能对隐藏场景进行精确图像重构。
为了能够更好地处理数据，首先是能够探测到高信噪比的数据，我们从2017年开始发展了很多相关关键技术的攻关。
单光子成像技术
首先我们采用了一个近红外波段作为光源，它是人眼不可见的，重点采用的是1550纳米波段，在整个大气环境中它的透过率非常高。
此外我们也发展了很多小型化、高灵敏的单光子探测器；研发了高耦合效率、时域滤波等技术用于滤出噪声；同时对整个系统进行集成化和双轴扫描，最终能够满足外场应用环境的需求。
真正做到隔墙观物
已完成：50% //////////
有了前面的算法和技术，我们就开展了很多实验的验证。给大家举的第一个例子在上海，我们把系统放到中国科大上海研究院，实验目标是对1.43公里外的一个民宅（叫林语溪小区）里的一个房间进行拍照。当然我们肯定不会偷窥别人家的隐私，所以在实验过程中是自己租了一个房间，把望远镜聚焦到那个房间。
通过望远镜或者说天文望远镜看过去，看到的只是一面白墙。我们想做的是能不能拍摄到躲在墙里面的隐藏场景，所以我放了一个人体模特。实验里能不能用非视域成像技术对模特的图像进行重构？
我们采用一个双轴望远镜发一束激光过去，通过一个1.43公里的链路到隐藏场景。光到达房间之后，它同样经过了可见的墙、隐藏的人、再到墙，返回来一个信号。
因此我们看到的返回来的信号一个是从墙直接返回来的，还有一个是从隐藏目标返回来的，我们叫它第3次漫反射回来的信号。重点处理的就是这第3次漫反射信号。
刚才讲到，为了实现场景成像，要对墙面进行逐点扫描，不停地对场景进行空间维度上不同点的多次采样。经过多次采样后，信号都通过另一个望远镜送到我们的单光子探测器，对信号进行接收。有了这么多原始信号，就可以送到算法里进行处理。
大家看，这是我们在实验中得到的一个原始信号。隐隐约约可以看到一些光环，总体来看是一个三维数据。对于这个数据我们要进行实验处理。我们考虑了很多实际效果，同时结合算法，重点使用的是刚才讲到的反求解或者说凸优化的算法，最终把一个场景重构出来。
从左至右：实际目标、反向投影、传统结果、我们的结果
我们在实验中做了多种测试，包括一些字母、人体姿态以及各种各样的姿势。能够很清楚地看到，我们可以把人体的姿态测出来。
这里给大家看的只是一些简单的场景，其实我们不仅能对简单的场景成像，同时也能对一些复杂的非视域场景进行成像。
复杂场景非视域成像
这里测的是一个相对复杂的场景。图像中有圆环、石狮子、字母，后面还有一个书架。右边是真正实验中得到的原始数据，大家看到的是隐隐约约的，有一些东西隐藏在其中。
仔细看一下在空间和时间维度它长什么样，其实 不同场景回来的光，在时间轴上可以区分。比如这个圆环离得近一点，是先回来的光，最后是离我们最远的柜子回来的光的传播过程。
把这样的原始数据再送到成像算法中，它的三维信息甚至字母的细节都能够很清楚地拍出来。
左：实际目标 中：我们的结果 右：传统结果
我们同时也可以实现更高精度的非视域成像。我们在近期实现了毫米级的非视域成像，这样就可以对一个A4纸打印出来的、大概4号大小的字体进行重构，比如这里展示的一些英文字母包括USTC、SCIENCE。总得来说，将来对一些隐藏场景中的文件，我们同样可以把它拍出来。
我们的成果也得到了国内外媒体的很多关注，包括《经济学人》（The Economist）以及《今日物理》（PhysicsToday）都很关注我们的一些相关成果。
古老又全新的成像艺术
已完成：80% //////////
非视域成像在国内外都是一个非常受关注的研究课题。
国内外研究进展
比如早在2010年左右，麻省理工学院媒体实验室（MIT Media Lab）就首次实现了非视域成像的原理性验证。后面美国的斯坦福大学、波士顿大学还有卡内基·梅隆大学，以及英国的赫瑞-瓦特大学都在成像算法以及相关技术上取得了很多突破性成果。
同时，非视域成像也在2020年被《科学美国人》（Sciencific American）选为十大新兴技术，并且也得到了美国，例如美国国防部高级研究计划局（DARPA）等多个项目的支持。比如“通过主动光场技术革命性提高可见能力”（REVEAL）项目的支持，它重点用于支持通过主动光场来拓展人们成像视野的技术。因此我们相信，随着技术的不断进步，非视域成像将会逐步走进千家万户。
总结一下，成像艺术其实是一门古老而又全新的科学。最早从古代墨子的小孔成像开始，告诉我们光沿直线传播。之后伽利略发明了望远镜，首次告诉我们能够用科学方法去研究整个宇宙。到近代的生物成像比如显微成像、核磁共振，再到今天讲的非视域成像。相信未来随着技术的不断发展，我们能够创造出更多新的技术来服务大众、造福人类社会。
谢谢大家。
- END -
本文经授权转载自格致论道讲坛（ID：SELFtalks），如需二次转载请联系原作者。欢迎转发到朋友圈。
微信扫码关注该文公众号作者