上海光机所在图像频谱智能欠采样研究方面取得新进展_频谱欠采样

上海光机所在图像频谱智能欠采样研究方面取得新进展

2023/6/19 10:24:38 15554: 来源：上海光机所

摘要：近期，中国科学院上海光学精密机械研究所信息光学与光电技术实验室司徒国海研究员团队在基于深度学习的频谱欠采样及复原方面取得新进展。

　　【仪表网研发快讯】近期，中国科学院上海光学精密机械研究所信息光学与光电技术实验室司徒国海研究员团队在基于深度学习的频谱欠采样及复原方面取得新进展。研究团队通过联合优化频谱采样和频谱重建，在7.5%的极限采样率下成功实现复杂场景的高质量彩色重建。相关研究成果以“Learning-based adaptive under-sampling for Fourier single-pixel imaging”为题发表于Optics Letters上。

　　自然场景图像往往在频域较空域更具稀疏性。传统成像在空域采样，而傅里叶单像素成像(FSI)通过投影不同频率的正弦条纹对场景编码，可直接使用单像素探测器对场景频谱采样。利用频谱稀疏性，FSI可在不显著牺牲图像质量的条件下减少采样次数，提升信息获取效率。但这种有损压缩方法，难以在极低采样率下应用。通过引入深度学习可对降质的欠采样图像进行增强，但其性能受到手动设计频谱采样方案的限制。

　　研究人员基于自编码架构(图1a)，在编码层引入一个可学习的频域欠采样二值掩膜，并在解码层实现对欠采样重建结果的增强，通过计算网络输出结果和标签值之间的差异，指导欠采样掩膜和解码网络参数协同优化。研究人员还引入一个色彩滤波阵列(图1b)，获取Bayer格式图像，经Demosaic算法处理得到彩色图像。仿真和实验结果表明，所提基于人工智能的端到端联合优化方法有望为FSI提供最优编解码策略(图2)，从而有望促进其在遥感、显微、特殊波段成像、三维成像等领域的应用。此外，这种引入二值采样掩膜的智能欠采样策略可应用于众多需要按重要性降采样的任务中，如傅里叶叠层成像，计算层析等。