北航等提出TTP：基于大模型的遥感图像变化检测新网络，性能表现SOTA！

变化检测是遥感领域的一个重要研究领域，对于观察和分析地表变化起着关键作用。尽管基于深度学习的方法在该领域取得了显著的成果，但在时空复杂的遥感场景中执行高精度的变化检测仍然是一个重大挑战。最近流行的基础模型，凭借其强大的通用能力和泛化能力，为该问题提供了潜在的解决方案。然而，如何弥补不同数据域和任务域之间的鸿沟仍然是一个挑战。在本文中，作者介绍了一种名为“时空旅行”（TTP）的新方法，该方法将SAM基础模型的通用知识整合到变化检测任务中。该方法有效地解决了在通用知识转移中的领域偏移问题，以及大模型在表达多时相图像同质性和异质性特征时的挑战。在LEVIR-CD上取得的SOTA结果证明了TTP的有效性。

为了减轻变化检测的注释需求，本文利用了从基础模型转移过来的通用知识。作者利用SAM的通用分割能力来构建一个变化检测网络，即TTP。TTP主要由三个部分组成：基于低秩微调的基础模型主干；插入双时相图像特征间的时间旅行激活门；以及一个高效的多层级解码头。其结构如图1所示。

SAM的主干由Transformer编码器组成，可以分为base版、large版和huge版，分别对应12层、24层和32层。为了提高计算效率，主干中的大部分Transformer层使用局部注意力，只有四层使用全局注意力。在本文中利用预训练的视觉主干，保持其参数处于冻结状态，以加速适应下游任务。为了弥补自然图像和遥感图像领域之间的差距，在多头注意力层中引入了低秩可训练参数，如下式所示，

当前的视觉基础模型擅长理解单个图像的内容，在提取图像间的特征时表现不佳。然而，在变化检测中，专注于双时相图像中的“有效差异”而忽略“无关差异”是至关重要的。为了解决这个问题，文中引入了时间旅行激活门，它促进了时相特征流入像素特征的语义空间。这使基础模型能够理解双时相图像中的变化，并关注“有效变化”。为了提高效率，只在主干中的全局注意力层后加入激活门，按照下面的公式来整合双时相信息，

遥感图像的场景多样，地物的尺度存在显著变化。然而，基于ViT的视觉编码器通常只生成单一尺度的特征图。尽管这些图包含了高级的全局语义信息，但如果没有多层级的解码头，它们的性能优势可能难以显现。为了解决这个问题，文中设计了一个轻量高效的多层级变化预测头。该头通过转置卷积上采样和最大池化下采样来构建多级特征。然后使用一个轻量级的MLP映射层来输出最终的变化概率图，

如表1所示，当移除时间旅行门（ttg）和多级解码头（ml）时，性能会有所下降。此外，从基础模型中移除低秩微调参数会导致性能大幅下降。这些观察结果强调了本文提出的方法可以有效地弥补领域差距并增强时空理解。它们同时也验证了每个组件在变化检测任务中的有效性。

本文通过将基础模型的通用知识融入变化检测任务，缓解了复杂时空遥感场景下模型难泛化的挑战。具体来说，作者引入了低秩微调来弥补自然图像和遥感图像之间的空间语义鸿沟，缓解了基础模型的局限性；提出了一个时间旅行激活门，使基础模型具有时相建模的能力。此外设计了一个多层级变化预测头来解码密集特征。在LEVIR-CD数据集上的实验结果表明了提出方法的有效性，该方法能在单卡4090上进行训练。

在CVer微信公众号后台回复：论文，即可下载论文pdf和代码链接！快学起来！

遥感图像交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-遥感图像微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如遥感图像+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看