城市环境研究所在利用效能指标评价图像分割模型性能方面取得重要进展
- 2024/8/29 10:33:15 17929
- 来源：中国科学院上海分院城市环境研究所
【仪表网 研发快讯】随着深度学习技术在图像分割任务中的广泛应用，如何准确评估模型性能成为了研究的重点和难点。传统的评估方法往往受限于类别分布的变化，导致评价结果出现偏差。对此，唐立娜研究员领衔的合作团队通过引入图像分类效能(Image Classification Efficacy, ICE)指标，提供了一种更为精细的评估框架，特别是在缺乏黄金标准的情况下。该研究系统应用ICE指标，旨在解决深度学习图像分割模型在面对分类类别不平衡时潜在的评估难题。
在这项研究中，团队应用多模态遥感数据(多光谱和LiDAR数据)，从多个角度(单一或多个模型在同一或不同数据集上的测试，以及二分类和多分类方案)进行了六组图像分割实验，系统演示了ICE指标的应用。
通过与Precision、Recall、F-Score和Overall Accuracy等常用精度评价指标进行对比，ICE指标显示出稳定的可靠性。此外，研究还探讨了Kappa系数、ROC-AUC和PR-AUC等其他常用评估指标的适用性，并与ICE指标进行了比较。研究结果显示，ICE指标在处理类别不平衡问题时具有明显优势，该指标能够有效地降低类别不平衡带来的影响，从而更加准确地评估模型的性能。这种方法将有助于提高图像分割工具的可靠性和适用性，尤其是在遥感应用领域。
这项研究有望为图像分割领域提供一项新的、性能更加稳定评估工具，进一步增强图像分割工具在各种应用中的性能和实用性。相关研究成果以Bolstering Performance Evaluation of Image Segmentation Models with Efficacy Metrics in the Absence of a Gold Standard为题发表在遥感领域国际顶级期刊IEEE Transactions on Geoscience and Remote Sensing上，中国科学院城市环境研究所研究员唐立娜为第一作者兼通讯作者，美国普渡大学邵金圆博士生为共同通讯作者。该研究得到了国家重点研发计划(2022YFF1301303)的资助。
图1 精度评估和模型表现评价流程
全部评论