科学岛团队提出用于遥感图像全色锐化的Pan-Mamba网络架构
- 2024/11/15 10:46:08 21789
- 来源：合肥物质科学研究院 作者：张洁 何炫华
【仪表网 研发快讯】近期，中国科学院合肥物质院智能所谢成军与张洁团队将 Mamba 模型引入遥感图像全色锐化领域，提出了一种名为Pan-Mamba的网络框架。相关研究成果发表在计算机科学和人工智能领域国际顶尖权威刊物、中科院1区Top期刊Information Fusion上。
全色锐化是一项关键的遥感图像处理技术，旨在通过融合低分辨率的多光谱图像和高分辨率的全色图像，生成高分辨率的多光谱图像。近年来，Mamba模型在长程依赖建模方面取得了突破性进展，它能够以线性复杂度实现对长距离关系的建模，并且在众多领域展现出的效果与计算复杂度更高的 Transformer 架构相近。受此启发，研究团队将 Mamba 模型引入全色锐化领域，期望挖掘其在该领域的潜在价值。
Pan-Mamba的核心创新点在于定制了两个关键组件：通道交换Mamba和跨模态Mamba。具体而言，通道交换Mamba在网络的早期阶段引入了部分全色和多光谱特征通道的交互，使得模型能够在早期就捕捉到不同模态间的相关性，从而提高了信息传递的效率。跨模态Mamba在网络的后期阶段进一步加强了多光谱和全色图像特征之间的信息融合，通过多层的跨模态交互，确保了模型能够充分利用两种模态的信息，生成高质量的融合图像。这种设计不仅促进了不同模态间的信息交流与融合，还保证了模型的计算效率，使其在处理大尺度遥感图像时仍能保持高性能。
为了验证Pan-Mamba的有效性，研究团队进行了广泛的实验，涵盖多种不同的数据集，包括WorldView-III、WorldView-II和GaoFen-2等。实验结果显示，Pan-Mamba在全色锐化任务中显著超越了现有最先进方法，无论是在定量指标还是定性视觉效果上都表现出色。在WorldView-II和WorldView-III数据集上，相比次优方法在峰值信噪比指标上取得了0.38dB和0.31dB的提升。
目前，Pan-Mamba的源代码已对外公开，可供相关领域的研究者和开发者使用，访问网址为：https://github.com/alexhe101/Pan-Mamba。
硕士生何炫华为论文第一作者，张洁副研究员为论文通讯作者。该项工作得到了安徽省自然科学基金项目的支持。
图 1Pan-Mamba 网络结构图
表 1Pan-Mamba模型在不同数据集下的实验结果
图 2 不同全色锐化模型在全分辨率WorldView-II数据集下可视化结果比较
全部评论