SAR-UMSDN:基于无监督多模态学习的合成孔径雷达图像舰船检测新方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:SAR-UMSDN: The Unsupervised Multimodal Ship Detection Network Based on SAR Images

【字体: 大 中 小 】 时间:2026年01月05日 来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4

编辑推荐:

  为解决复杂近岸场景下SAR图像小目标信噪比低、单模态特征表征能力有限,以及光学图像易受云层和昼夜影响难以实时配准的问题,研究人员开展了基于无监督多模态学习的SAR图像舰船检测网络(SAR-UMSDN)研究。该研究通过自监督SAR图像增强网络(URSIEN)和生成对抗网络着色模块(cGAN4ColSAR)生成多模态输入,结合多模态检测模型,在六个公开数据集上验证了其优越性,mAP@0.5达到93.5%,为SAR舰船检测提供了高效稳健的解决方案。

  
在当今全球贸易飞速发展的背景下,海上船舶的检测与识别对于贸易监管、航行安全和军事侦察等领域具有至关重要的意义。然而,传统的合成孔径雷达(SAR)图像舰船检测在复杂近岸场景中面临诸多挑战:小目标船舶的信噪比低,单模态SAR图像的特征表征能力有限,而真实的光学图像又常常受到云层、昼夜变化等条件的影响,难以与SAR图像实现实时配准。尽管基于卷积神经网络(CNN)的方法在SAR舰船检测中取得了显著进展,但现有研究多集中于模型结构的改进,仍依赖于单一模态的SAR图像信息,难以突破性能瓶颈。
针对上述问题,武汉理工大学的研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了一项创新研究,提出了一种名为SAR-UMSDN的无监督多模态舰船检测网络。该研究的独特之处在于,它不依赖外部光学图像,而是通过深度学习技术从单一SAR图像源生成互补的多模态信息,构建了一个自给自足的多模态检测系统。
研究人员采用了三项关键技术方法:首先,设计了自监督SAR图像增强网络(URSIEN),该网络结合物理成像模型与深度学习,通过无标记的照明-反射解耦和细节恢复来增强原始SAR图像;其次,开发了基于条件生成对抗网络的SAR图像着色模块(cGAN4ColSAR),将单通道SAR图像映射到具有丰富光学纹理的伪彩色图像;最后,构建了多模态检测模型,通过双流并行共享权重架构实现跨模态多尺度特征融合。研究使用了包括HRSID、SSDD、RSDD、MRSSD、SAR-SHIP Dataset和SRSDD在内的六个公开SAR舰船数据集进行验证。
A. 图像增强算法比较
通过与其他主流低光图像增强模型(URetinexNet、EnlightenGAN、ZeroDCE和SCI)在LSRW数据集上的对比实验表明,URSIEN在峰值信噪比(PSNR)达到28.63 dB,结构相似性(SSIM)为0.45,模型大小仅为0.0004 MB,推理速度为0.0017秒,在保持高处理效率的同时显著提升了图像质量。
B. 基线检测模型比较
SAR-UMSDN与四类基线检测模型(基础CNN、YOLO系列、Transformer系列和多模态模型)在HRSID数据集上进行了全面比较。结果显示,SAR-UMSDN在mAP@0.5指标上达到93.5%,在mAP@0.5-0.95指标上达到67.4%,均优于其他对比模型,且模型参数量为34.7M,在准确性和效率之间取得了良好平衡。
C. 先进检测模型比较
与七种先进检测模型(BDAM-DETR、BL-Net、GL-DETR、OEGR-DETR、FEPS-Net、FBUA-Net和CPoints-Net)的对比进一步验证了SAR-UMSDN的优越性,其在mAP@0.5指标上比第二名GL-DETR高出1.4%,在mAP@0.5-0.95指标上达到67.4%,略优于CPoints-Net的67.3%。
D. 消融研究
消融实验结果表明,单独使用cGAN4ColSAR可将mAP@0.5提升1.9%至92.7%,单独使用URSIEN可提升0.4%至91.2%,而两者结合使用可将mAP@0.5进一步提升至93.5%,证明了两个组件的互补性和协同效应。
E. 泛化实验
在五个具有不同特征的SAR数据集(SSDD、RSDD、MRSSD、SAR-SHIP Dataset和SRSDD)上的测试表明,SAR-UMSDN在所有数据集上的mAP@0.5均排名第一,在四个数据集上的mAP@0.5-0.95也排名第一,展现了优秀的跨场景、跨尺度泛化能力。
该研究的结论部分强调了SAR-UMSDN框架的创新性和实用性。通过完全基于SAR数据的无监督多模态学习方法,成功克服了传统单模态检测的局限性。URSIEN网络以极小的模型规模(0.0004 MB)实现了高质量的图像增强,而cGAN4ColSAR生成的伪彩色图像与增强图像的交互作用将检测精度提升至93.5%。与主流基线模型和先进模型相比,SAR-UMSDN在多个指标上均表现出最优性能,为复杂场景下的SAR舰船检测提供了高效、稳健的解决方案。
研究的讨论部分深入分析了不同模态输入对舰船检测的影响,证实了多模态协作的优势。同时,研究也指出了当前方法的局限性,如URSIEN的预训练基于通用低光场景而非专用SAR图像,以及着色模型未针对船舶特征进行专门优化等。未来工作将致力于构建SAR专用增强数据集,设计船舶感知损失函数,并探索引入文本模态等进一步改进方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号