基于语义提示引导渐进对齐的光学与合成孔径雷达图像桥接方法用于旋转跨域船舶检测

《International Journal of Africa Nursing Sciences》:Bridging optical and SAR images via semantic prompt-guided progressive alignment for rotated cross-domain ship detection

【字体: 大 中 小 】 时间:2026年01月24日 来源:International Journal of Africa Nursing Sciences CS2.4

编辑推荐:

  遥感影像中的船舶检测对于海洋监视、渔业管理和环境评估等多种海事相关任务至关重要。在实际应用场景中,光学影像在晴空条件下能够提供丰富的纹理线索,而合成孔径雷达(SAR)则能够在夜间和多云天气下实现可靠观测。然而,由于成像机理差异、斑点噪声以及背景杂波的影响,尤其

  
遥感影像中的船舶检测对于海洋监视、渔业管理和环境评估等多种海事相关任务至关重要。在实际应用场景中,光学影像在晴空条件下能够提供丰富的纹理线索,而合成孔径雷达(SAR)则能够在夜间和多云天气下实现可靠观测。然而,由于成像机理差异、斑点噪声以及背景杂波的影响,尤其是在近岸场景中存在相似反射特性的情况下,同时叠加船舶朝向的任意性,光学与SAR模态之间的跨域船舶检测仍然面临严峻挑战。为解决这些问题,研究人员提出了RotCD-Ship,一种旋转跨域船舶检测框架,该框架在缩小光学与SAR图像之间域间差距的同时,实现了对任意朝向船舶的精确检测。具体而言,研究引入了一种基于SAR物理先验的领域知识引导语义提示(DKSP)策略,用于抑制船迹和海岸干扰等背景杂波。为处理模态差异,研究设计了一种渐进式特征对齐方案,结合多尺度局部特征对齐(MSL-align)与全局特征对齐(GF-align),从而实现跨域细粒度纹理与高层语义的联合迁移。此外,研究开发了由粗到细旋转感兴趣区域(CF-RRoI)生成器,通过逐步细化具有方向感知能力的候选区域,增强SAR图像中带状船舶的定位精度。在五个公开船舶检测数据集上的大规模评估表明,RotCD-Ship在检测精度与鲁棒性方面均显著优于现有最先进方法;与现有最佳方法相比,在水平船舶检测任务中平均mAP提升7.5%,在定向船舶检测任务中平均mAP提升5.5%。此外,在Gaofen-3 SAR图像上的大规模测试进一步验证了该框架在密集船舶场景和复杂海岸环境中的强泛化能力,突出了其在全天候海事监测中的实际应用价值。
该论文发表于《International Journal of Africa Nursing Sciences》,但论文内容实际属于遥感智能解译与跨模态目标检测领域,核心研究聚焦于光学遥感与合成孔径雷达(SAR)船舶检测之间的跨域迁移问题。研究背景在于,船舶检测是海洋监视、渔业监管、环境评估和海上应急中的关键任务。光学影像具备较高空间分辨率与丰富纹理细节,适于刻画船舶外观;SAR则具备全天时、全天候成像能力,在夜间及云雾遮挡条件下更具稳定性。然而,两种模态的成像机理完全不同,导致纹理、散射特征、噪声结构与背景表征存在显著域偏移。尤其在近岸场景中,陆地、码头、海岸线、尾迹及杂波与船舶目标之间易产生混淆,加之SAR图像中普遍存在斑点噪声,使得跨模态知识迁移极为困难。现有深度学习检测器虽然在单模态任务上已取得进展,但在光学到SAR的无监督域适应(UDA)场景中,仍存在三方面突出问题:其一,模态差异显著,易引发背景干扰与错误迁移;其二,现有方法多采用单层或粗粒度特征对齐,难以兼顾浅层几何相似性与深层语义差异;其三,船舶在SAR图像中具有任意方向分布,传统水平包围框(HBB)会引入大量背景噪声,不利于特征聚焦和跨域对齐。因此,有必要建立一种同时兼顾背景抑制、多层对齐与旋转定位的跨域船舶检测框架。

围绕上述问题,研究人员提出RotCD-Ship端到端框架,以Faster R-CNN为基础架构,联合引入领域知识引导语义提示(DKSP)、渐进式跨域特征对齐以及由粗到细旋转感兴趣区域(CF-RRoI)生成机制,实现光学到SAR的旋转船舶检测。研究结论表明,该方法能够有效抑制SAR近岸复杂背景中的干扰信息,促进模态间局部纹理与全局语义的一致性学习,并提升任意朝向船舶的精确定位能力。在五个公开数据集上的实验显示,RotCD-Ship在水平船舶检测与定向船舶检测两类任务中均优于代表性通用检测器、旋转检测器及无监督域适应旋转目标检测方法,并在Gaofen-3大尺度SAR图像中展现出良好泛化性。这说明该框架在复杂海洋环境下具备较强应用潜力,对推动全天候、多源遥感船舶智能监测具有重要意义。

研究人员采用的主要技术方法可概括如下:以ResNet-101主干的Faster R-CNN为检测基础,在有标注源域与无标注目标域构成的无监督域适应框架下训练;基于公开近岸SAR数据构建领域知识引导语义提示(DKSP),通过掩膜与原图加权融合形成语义提示样本;设计多尺度局部特征对齐(MSL-align)与全局特征对齐(GF-align)组成的渐进对齐模块,分别对浅层局部结构和深层语义分布实施对抗式对齐;引入由粗到细旋转感兴趣区域(CF-RRoI)生成器,通过离散角度锚与连续回归细化实现定向定位。实验样本来自SSDD/SSDD+、HRSID、HRSC2016、DIOR、HRRSD,并进一步在MSAR-1.0中的Gaofen-3样本上验证泛化性能。

3.1 Domain knowledge-guided semantic prompt
该部分提出领域知识引导语义提示(DKSP)策略,目标是缓解SAR图像中斑点噪声、陆海边界模糊以及近岸高亮背景对跨域学习造成的干扰。研究人员构建了一个近岸SAR知识库,并利用原始标注提取仅保留前景船舶的掩膜图像。随后,将船舶掩膜与原始SAR图像按固定权重进行融合,其中原图权重为1,掩膜权重为0.7,从而得到兼具目标显著性与场景完整性的语义提示样本。该设计的核心作用是利用SAR物理先验和近岸场景知识,弱化陆地、尾迹和海岸背景的影响,增强模型对模态不变船舶特征的关注。论文认为,DKSP不仅是一种目标导向的数据增强手段,更构成光学与SAR之间的知识桥梁,为后续跨域对齐提供了更加干净和稳定的特征基础。

3.2 Progressive alignment approach for modal divergence
该部分针对光学与SAR在不同网络层级上存在的模态差异,提出渐进式对齐策略。

1)Multi-scale local-level adversarial learning
研究人员指出,浅层卷积特征主要表征边缘、轮廓和局部结构,这些低层几何信息在光学与SAR之间具有较高共享性,因此适合进行局部对抗对齐。为此,研究设计了多尺度局部域分类器(Dm),分别接入64通道早期特征图与256通道中期特征图,通过梯度反转层(GRL)实现对抗式训练。该机制不显式使用旋转参数,而是基于密集卷积特征学习模态无关的局部表示,减少将方向差异误判为域差异的风险。相关实验表明,多尺度局部对齐能够明显提升小尺度与中尺度船舶的跨域检测性能,证明分层局部对齐优于单一局部判别器。

2)Global-level adversarial learning
考虑到深层特征承载更强语义信息,但同时更容易受到背景布局和场景语义偏移的影响,研究进一步引入全局域分类器(Dg)对1024通道深层特征进行全局对齐。该分支通过3 × 3卷积下采样聚合上下文,再经全连接层实施图像级与实例级域判别,并使用Focal Loss聚焦难对齐样本。作者强调,全局对齐主要作用于空间聚合后的语义表示,旋转诱导变化在大感受野下得到部分归一化,因此该模块更关注场景分布差异而非目标方向差异。局部与全局两级对齐共同构成渐进式模态桥接机制,使模型既能学习一致的底层结构模式,又能缓解高层语义偏移。

3.3 Coarse-to-fine RRoI generator
针对SAR船舶姿态任意、水平框引入冗余背景的问题,该部分提出由粗到细旋转感兴趣区域生成器。研究首先通过区域建议网络(RPN)产生水平候选框(HRoI),再引入方向参数θ构造粗粒度旋转候选框。由于直接在大角度范围内回归θ难以收敛且存在π周期方向等价问题,研究采用角度锚策略,将每个HRoI扩展为四个离散方向候选,方向分别为?π/6、?π/4、?π/3、?π/2,再通过小范围角度偏移回归获得更稳定的旋转定位。随后,利用RRoI Align依据目标方向进行特征采样与聚合,减少背景混入,提高条带状船舶在SAR图像中的定位精度。相关结果显示,该模块能够有效改善定向检测任务中的定位质量,并在更高IoU阈值下保持优势。

3.4 Overall Objective
整体优化目标由检测损失与对抗损失共同组成。检测损失包括分类损失Lcls、边界框回归损失Lreg以及方向回归损失Lori;对抗损失则由局部对齐损失Lloc与全局对齐损失Lglob构成。模型通过最小化检测目标、同时在梯度反转机制下实现对抗式域混淆,从而学习兼具判别性与域不变性的表征。参数λ用于平衡检测损失与对抗损失。

4.1 Datasets
研究采用五个公开船舶检测数据集进行评估,包含SAR域的SSDD/SSDD+与HRSID,以及光学域的HRSC2016、DIOR和HRRSD。SSDD与SSDD+分别用于水平框与定向框任务;HRSC2016、DIOR、HRRSD作为不同来源的光学源域数据;HRSID作为更复杂的SAR目标域数据。该数据配置覆盖多种传感器、空间分辨率、极化方式与场景复杂度,为验证方法的跨模态泛化能力提供了基础。

4.2 Evaluation criteria and experimental setup
论文使用平均精度(AP)与平均精度均值(mAP)作为核心评估指标,在IoU = 0.5条件下遵循PASCAL VOC协议进行评价。实验在Ubuntu 16.04、NVIDIA Tesla K80 GPU、CUDA 9.0和PyTorch 0.4环境下完成,主干网络为ImageNet预训练的ResNet-101。训练阶段每个小批次包含一张源域图像与一张目标域图像,采用随机梯度下降(SGD)优化,动量为0.9,权重衰减为0.0005,λ = 1,γ = 5.0。

4.3 Accuracy assessment
该部分通过水平检测和定向检测两类跨域任务验证RotCD-Ship的有效性。

在水平船舶检测任务中,Dior→SSDD与HRRSD→SSDD两个任务的结果表明,源域直接迁移的单域检测器仅取得20%~30%左右的mAP,反映出明显的模态偏移问题。无监督域适应方法虽有提升,但在近岸场景中仍存在稳定性不足。RotCD-Ship分别达到65.5%与62.7%的mAP,显著优于DA Faster R-CNN、HTCN、SWDA、CRDA等方法,说明其在跨模态水平检测上具备更强泛化性。计算效率分析进一步显示,该方法在维持较高检测精度的同时,推理速率与计算负载处于可接受水平,性能提升并非依赖显著增加的模型复杂度。可视化结果则表明,该方法在远海与近岸场景下均能更有效地区分船舶与陆地干扰,减少误检与漏检。

在定向船舶检测任务中,研究在HRSC2016→SSDD+与HRSC2016→HRSID两个任务上进行比较。结果显示,常规定向检测器在源域直接迁移时性能有限,mAP多在15.3%~36.3%之间。相比之下,RotCD-Ship在两个任务上分别取得44.3%与40.6%的mAP,优于ROI Transformer、Redet、Rotated Faster R-CNN、Oriented R-CNN以及PITM等方法,表明渐进对齐与CF-RRoI生成器对定向跨域船舶检测具有明显增益。进一步的角度误差统计显示,在HRSC2016→SSDD+任务中,61.66%的正确检测样本角度偏差小于10°,32.44%的样本偏差位于10°至20°之间,超过20°的比例很低,说明模型在姿态定位上具有较高稳定性。

4.4 Ablation studies and analysis
消融实验系统检验了各模块的独立作用与协同增益。结果表明,MSL-align与GF-align单独使用时均能优于源域直接迁移基线,二者联合可进一步提升跨域一致性;在此基础上加入DKSP后,Dior→SSDD任务mAP提升至65.5%,HRSC2016→SSDD+任务提升至44.3%,证明三模块之间具有互补关系。局部对齐的尺度分析显示,MSL-align较单局部判别器在小尺度与中尺度船舶上表现更好,验证了双层局部对齐的合理性。

IoU阈值分析显示,在0.5至0.95的不同阈值范围内,RotCD-Ship始终保持优于对比方法的AP表现,且在更严格阈值下优势更为明显,说明该框架不仅改善了跨域识别能力,也提高了定位精度。DKSP可解释性分析借助Grad-CAM展示了特征热图变化:加入DKSP后,目标域SAR图像中的激活区域更加集中于船舶本体,背景干扰被显著抑制。域判别器可视化结果进一步表明,对抗训练后模型学到的船舶特征更具域无关性。t-SNE特征分布图则显示,适配前源域与目标域特征明显分离,适配后两域分布更紧凑、重叠度更高,支持所提渐进对齐策略确实缩小了域间差异。

4.5 Evaluation of model generalization performance
为验证真实复杂环境中的泛化能力,研究将训练得到的最优模型迁移到MSAR-1.0数据集中的Gaofen-3高分辨率SAR样本上测试。结果显示,Dior→SSDD训练得到的模型可在密集Gaofen-3 HH场景中较准确地检测船舶;HRSC2016→SSDD+训练得到的模型在Gaofen-3 VV图像中面对密集小目标和狭窄水道时仍保持竞争力。尽管在部分情况下仍有漏检,但总体上模型在不同模态、不同传感器和不同极化条件下均表现出较强稳健性,证明该方法具备面向实际海事监测应用的潜力。

讨论部分表明,本文工作的价值在于从背景抑制、层级对齐和旋转定位三个关键维度同时解决光学到SAR跨模态船舶检测的核心瓶颈。DKSP利用近岸SAR先验知识提高了特征学习的针对性,避免模型过度拟合模态特异噪声;MSL-align与GF-align分别从局部结构和全局语义层面推动域不变表示学习,避免了单层对齐策略的局限;CF-RRoI生成器则通过离散角度锚和连续精修兼顾了训练稳定性与姿态定位精度。实验结果与可解释性分析相互印证,说明该框架的性能提升具有明确机制基础。论文也指出,在极其复杂的背景、边缘区域以及高密度重叠场景中,仍会出现一定误检和漏检,提示后续研究仍需进一步优化复杂环境下的定位与识别能力。

研究结论部分可译为:本研究提出了RotCD-Ship,一种用于弥合光学影像与合成孔径雷达(SAR)影像之间差距的旋转跨域船舶检测框架。该框架引入了基于物理先验的领域知识引导语义提示(DKSP)策略,以抑制SAR图像中的背景干扰和散射效应。为高效利用不同模态间的互补信息,研究构建了渐进式特征对齐模块,在多个层级上对局部与全局特征进行对齐,以提升特征迁移能力。此外,研究设计了由粗到细旋转感兴趣区域(CF-RRoI)生成器,以精确定位任意朝向的船舶。基于五个公开船舶检测数据集、涵盖水平包围框与定向包围框任务的实验评估表明,RotCD-Ship在精度和鲁棒性方面均持续优于现有方法,在水平船舶检测与定向船舶检测任务中平均mAP分别提升7.5%和5.5%。此外,Gaofen-3 SAR图像复杂海事环境下的测试验证了该框架具有稳健的泛化能力。未来工作将致力于减少误检和漏检,进一步推动RotCD-Ship在跨域场景中的实际部署。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号