人工智能通过单张雷达图像生成3D城市地图
点击蓝字 关注我们
SUBSCRIBE to US
UNIVERSITY OF THE BUNDESWEHR MUNICH
一种新的机器学习系统可以通过单张合成孔径雷达（SAR）图像绘制出城市环境的高度图，从而有可能加快灾害的规划以及响应速度。
德国慕尼黑联邦国防军大学的航空工程师们声称（https://spectrum.ieee.org/topic/aerospace/），他们的SAR2Height框架是首个能从单个合成孔径雷达卫星提供完整 —— 即使并不完美的 —— 三维城市地图的系统。
当地震摧毁一座城市时，信息的供应可能无法满足所有求。当所有基本服务中断后，我们很难评估灾害到底造成了多大的破坏，或者哪里最需要人道主义援助。
“Being able to produce 3D from [synthetic aperture radar] alone would really be a revolution.”
—CARL PUCCI, EO59
使用激光雷达系统（https://spectrum.ieee.org/tag/Lidar）进行空中勘测是三维测绘的黄金标准，但这种激光测距系统的购买和操作成本都很高，这还是在不考虑重大灾难带来额外后勤困难的情况下。
遥感或许是另一种选择，但如果该地区被云层或烟雾遮挡，光学卫星图像几乎毫无用处。
而合成孔径雷达无论白天黑夜，无论天气如何，都能发挥作用。合成孔径雷达是一种有源传感器，它利用卫星向地球表面发射的信号反射—即"合成孔径 "部分来自于雷达利用卫星自身的运动，来模拟更大的天线，从而捕捉波长相对较长的反射信号。目前有数十颗政府和商业合成孔径雷达卫星在地球轨道上运行，其中许多卫星可以在数小时内完成对新地点的成像任务。
然而，合成孔径雷达图像本质上仍然是二维的，在解读时可能比普通照片更加棘手。这在一定程度上是由于一种被称为 "雷达停顿（https://natural-resources.canada.ca/maps-tools-and-publications/satellite-imagery-and-air-photos/tutorial-fundamentals-remote-sensing/microwave-remote-sensing/radar-image-distortions/9325）"的效应造成的，在这种效应下，未损坏的建筑物看起来会向传感器方向倾斜。
"高度本身就是一个超级复杂的话题。” 慕尼黑联邦国防军大学教授Michael Schmitt说："关于高度的定义有一百万种，将卫星图像转化为有意义的世界几何中的有意义高度是一项非常复杂的工作。”
Schmitt和他的同事Michael Reclastarted首先从TerraSAR-X卫星上获取了51个城市的合成孔径雷达图像，TerraSAR-X卫星是一个是德国公共航空航天中心与私营企业—空中客车防务与航天公司的合作项目。
研究人员随后获得了这些城市的高质量高度图，其中大部分由激光雷达勘测生成，但也有一些由携带立体相机的飞机或无人机生成。下一步是在高度图和合成孔径雷达图像之间进行一对一、像素到像素的映射，在此基础上训练深度神经网络。
结果令人惊叹，Schmitt说："我们纯粹在 TerraSAR-X 图像上训练了我们的模型，但开箱即用，它在其他商业卫星的图像上也能很好地工作"。他说到，这个模型只需要几分钟就能运行，它可以预测合成孔径雷达图像中建筑物的高度，精确度约为3米—这是典型建筑物的单层高度。
这意味着该系统应该能够发现城市中几乎每一栋遭受重大破坏的建筑物。
休斯顿大学地球传感系统工程教授Pietro Milillo希望在美国国家航空航天局资助的地震恢复项目中使用Schmitt和Recla的模型（https://link.springer.com/article/10.1007/s10518-024-01877-1）。他说：“我们可以将应用从建筑物高度图变为建筑物倒塌概率图。”本月晚些时候，Milillo打算前往去年造成2900多人死亡的摩洛哥地震现场，验证他的应用（https://www.reuters.com/world/africa/morocco-earthquake-death-toll-passes-2800-survivors-camp-outdoors-2023-09-11/）。
“There are a million definitions of what height is, and turning a satellite image into a meaningful height...is a very complicated endeavor.”
—MICHAEL SCHMITT, UNIVERSITY OF THE BUNDESWEHR MUNICH
但Schmitt警告说，人工智能模型还远不够完美。它很难准确预测摩天大楼的高度，而且偏向于北美和欧洲城市。这是因为发展中国家的许多城市没有定期的激光雷达测绘飞行来提供代表性的训练数据。激光雷达飞行与合成孔径雷达图像之间的间隔时间越长，建造或更换的建筑物就越多，模型预测的可靠性就越低。
即使在那些较富裕的国家，"我们也确实依赖于政府执行激光雷达任务并公开数据的缓慢重访周期，"弗吉尼亚海滩一家专门从事合成孔径雷达软件的公司EO59的创始人Carl Pucci说，"这太厉害了。如果仅凭合成孔径雷达就能制作3D图像，那将是一场真正的革命。
Schmitt说，SAR2Height模型现在包含了来自 177个城市的数据，并在不断改进。"我们已经非常接近于通过单张合成孔径雷达图像重建实际的建筑模型。但你必须记住，我们的方法永远不会像传统的立体或激光雷达那样精确。它永远只是一种最佳猜测，而不是高精度测量。”
在一场大地震发生后的混乱中，即使是一个最具可能的猜测也比什么都不知道要好。
供稿：胡乐
微信号｜IEEE电气电子工程师学会
新浪微博｜IEEE中国
· IEEE电气电子工程师学会 ·
往
期
推
荐
微信扫码关注该文公众号作者