首个！SpectralGPT：光谱遥感基础模型

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【遥感图像和Transformer】微信交流群

在CVer微信公众号后台回复：光谱GPT，可以下载本论文pdf，学起来！

扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！

一句话总结

SpectralGPT：第一个通用遥感基础模型，专门为使用新型 3D 生成预训练Transformer(GPT) 处理光谱遥感图像而构建的，对一百万个光谱 RS 图像进行训练，超6亿参数，在四个下游任务(分类/分割/变化检测等)上性能表现SOTA！

SpectralGPT

SpectralGPT: Spectral Foundation Model

单位：中科院, 国科大, 东南大学, 东京大学, 慕尼黑工业大学等（6位IEEE Fellow）

论文：https://arxiv.org/abs/2311.07113

基础模型最近因其以自监督的方式彻底改变视觉表征学习领域的潜力而引起了极大的关注。虽然大多数基础模型都是为有效处理各种视觉任务的 RGB 图像而定制的，但针对光谱数据的研究存在明显差距，光谱数据为场景理解提供了有价值的信息，尤其是在遥感 (RS) 应用中。

为了填补这一空白，本文首次创建了一个名为 SpectralGPT 的通用 RS 基础模型，该模型是专门为使用新型 3D 生成预训练Transformer (GPT) 处理光谱 RS 图像而构建的。

与现有的基础模型相比，SpectralGPT：

1) 以渐进式训练的方式容纳不同大小、分辨率、时间序列和区域的输入图像，从而能够充分利用广泛的 RS 大数据；

2) 利用 3D token生成进行空间光谱耦合；

3）通过多目标重建捕获光谱序列模式；

4) 对一百万个光谱 RS 图像进行训练，产生具有超过 6 亿个参数的模型。

算法细节

实验结果

大量实验评估强调了预训练 SpectralGPT 模型的显著性能改进，这表明在地球科学领域内跨四个下游任务推进光谱 RS 大数据应用的巨大潜力：单/多标签场景分类、语义分割和变化检测。

在CVer微信公众号后台回复：光谱GPT，可以下载本论文pdf，学起来！

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
遥感图像和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-遥感图像或者Transformer微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如遥感图像或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看