基于稀疏性感知的尾部记忆学习实现开放长尾声呐图像识别

《Pattern Recognition》:Open long-tailed sonar image recognition via sparsity-aware tail memory learning

【字体: 大 中 小 】 时间:2026年09月28日 来源:Pattern Recognition 9.1

编辑推荐:

   • 基于真实水下场景构建了全帧声纳基准数据集。 • 所提出的框架解决了开放长尾声纳识别问题。 • 实验结果在声纳和主动波成像数据集上验证了该方法的有效性。 ## 引言 声纳成像对于水下感知至关重要,自动声纳识别是水下自主作业的基础[1]、[2]。然而,在开放的真实环境中,

  

• 基于真实水下场景构建了全帧声纳基准数据集。
• 所提出的框架解决了开放长尾声纳识别问题。
• 实验结果在声纳和主动波成像数据集上验证了该方法的有效性。

## 引言

声纳成像对于水下感知至关重要,自动声纳识别是水下自主作业的基础[1]、[2]。然而,在开放的真实环境中,自动目标识别系统面临两个相互耦合的难题:系统会不断遇到训练集中不存在的新类别,且已知类别服从强烈的长尾分布。封闭集模型会将未见的目标错误分类为最相似的已知类别,考虑到水下机器人机动能力和资源有限,这可能导致代价高昂的任务失败。因此,可靠的自主性需要同时识别已知类别并拒识未知类别的开放集长尾识别。

开放集识别(OSR)在自然图像领域已取得显著成功。然而,由于声纳图像的成像机制和视觉特征与光学图像不同,针对光学图像开发的OSR方法往往难以有效推广到声纳数据。为弥补这一差距,[3]引入了第一个声纳OSR基准并提出PLUD方法,该方法生成伪未知样本并为未知类别保留决策空间。然而,PLUD采用了流形混合(Manifold Mixup),这是一种最初为封闭集识别设计的正则化技术。如[4]所讨论的,此类正则化可能降低结构风险,但会增加开放空间风险,从而降低开放集性能。这促使研究者开发声纳特定的正则化策略,以从有限训练数据中生成信息丰富的负样本,并提高未知类别拒识能力。

经典的正则化方法如Mixup、CutMix和Cutout通过最小化结构风险来提高已知类别的泛化能力。然而,开放集识别还必须解决开放空间风险,以避免将未知样本错误分类为已知类别。为此,近期OSR工作[5]提出了专门策略来显式建模未知类别边界。然而,大多数这些增强策略是为自然图像量身定制的。声纳图像通常比光学图像具有更高的类间相似性,小信噪比目标嵌入在大面积均匀背景中。在这种条件下,流形混合以空间均匀系数扰动特征,而CutMix或Cutout应用目标无关的掩码,要么稀释脆弱的前景,要么仅仅交换近乎相同的背景,生成的伪未知样本仍留在已知类别分布内。这一固有特性显著降低了基于混合或掩码方法在声纳场景中的判别力,限制了其在涉及声纳图像的开放集识别任务中的有效性和适用性。

真实世界的水下声纳识别同时面临开放集条件和严重的长尾分布[6]。常见目标主导训练数据,而稀有目标样本有限[7]、[8],导致决策边界偏置、尾部类别表征微弱,尾部样本与头部类别混淆的风险增加或未知样本被吸收到已知类别区域的风险增加。这些问题在声纳图像的高类间相似性、弱纹理和强背景干扰下进一步加剧。然而,现有数据集如KLSG、FLSMDD和NKSID主要包含裁剪的目标区域,丢弃了与环境噪声、水下地形和尺度感知相关的上下文线索,而这些对于异常检测和开放空间风险建模至关重要[9]。因此,开放集长尾声纳识别需要具有判别力的伪未知样本、紧凑的尾部类别表征和全场景上下文。为此,我们构建了OpenSID,一个保留完整成像上下文的大规模声纳数据集,如图1所示。

基于这些见解,我们提出了稀疏感知尾部记忆学习(SATML),一个联合解决伪未知合成和长尾表征学习的统一框架。SATML由两个互补组件组成:稀疏感知伪特征合成(SAPFS)和原型引导的尾部记忆对比学习(PTMCL)。SAPFS利用类别激活图(CAM)响应和稀疏感知特征混合生成语义相关但结构扰动的伪未知特征,从而提高已知-未知决策边界的学习。PTMCL构建逐类别尾部记忆库,并结合原型引导的过滤和类别平衡归约来增强尾部类别表征,同时减轻噪声记忆和头部类别偏置。通过同时扩展已知-未知边界和正则化不平衡的已知类别特征空间,SATML提高了未知类别拒识和尾部类别识别性能。

我们的主要贡献总结如下:
(1) 我们发布了OpenSID,第一个面向开放集识别的大规模全帧前视声纳数据集,包含8个类别共9194张图像,保留了背景上下文和真实的长尾分布。
(2) 我们提出了SAPFS,一种稀疏感知伪特征合成方法,通过CAM引导的掩码自适应保留高响应区域,同时融合其他样本的低响应区域以生成语义多样的伪特征,从而改进未知类别识别。
(3) 我们提出了PTMCL,构建逐类别尾部特征记忆库以补充尾部类别的正样本,并引入基于原型的动态过滤以抑制噪声记忆并增强尾部类别表征学习。
(4) 在FLSMDD、NKSID和OpenSID上的大量实验表明,SATML取得了优越的开放长尾识别性能。该方法还能良好地推广到具有相似主动波成像机制的SAR和太赫兹数据集。

### 相关数据集片段

如表1所示,大多数现有声纳图像识别研究主要依赖LTSID、KLSG、FLSMDD和NKSID数据集。然而,这些基准存在固有局限:(1) 样本数量有限,阻碍了类别间决策边界的清晰建模;(2) 单场景偏置限制了算法在不同水下环境中的泛化能力;(3) 裁剪图像通常去除背景上下文,使模型无法区分——

### OpenSID数据集

OpenSID包含9194张前视声纳图像,涵盖八个类别。详细信息见表2。我们报告了不平衡因子(IF)来量化长尾严重程度,同时列出各类别的材质,因为材质影响声反射率从而影响声纳识别。为确保标注可靠性,两名专业声纳工程师对每张图像的类别标签进行了验证。该数据集将在 https://github.com/Jorwnpay/OpenSID 公开。

### 声纳开放集识别中的前景-背景先验

现有OSR方法大多针对通用视觉场景开发,伪未知样本通过封闭集增强生成。然而,声纳图像在成像机制和外观上与光学图像存在显著差异:由声学回声形成,它们面临低分辨率、强斑点噪声、弱边界、目标形状模糊和复杂背景混响等问题。直接将通用伪未知合成方法迁移到声纳开放长尾识别(Sonar-OLTR)可能产生不真实的——

### 整体架构

SATML的整体框架如图4所示。遵循声纳图像识别的通用做法,主干网络使用预训练权重进行初始化以缓解样本有限的问题。

训练期间,一个小批次的声纳图像x和标签y被划分为两个子集。第一个子集由稀疏感知伪特征合成(SAPFS)模块处理。基于CAM响应和Gini稀疏度估计,SAPFS保留显著目标特征,同时替换——

### 数据集

我们在三个声纳图像数据集上评估所提方法:FLSMDD、NKSID和我们新构建的OpenSID。FLSMDD包含10个类别共2364张声纳图像,不平衡因子为6.91。我们随机选择|CTR|=2、4、6、8个已知类别用于训练,并使用所有|CTE|=10个类别进行测试。未知类别数为|CTE|?|CTR|,对应开放程度O′ =0.55、0.37、0.23、0.11。NKSID包含8个类别共2617张图像,具有严重的47.55的不平衡因子。我们设定|CTR|——

### 局限性与未来工作

尽管SATML在声纳开放长尾识别(Sonar-OLTR)任务上有效,本研究仍存在若干局限性指向未来方向。首先,SAPFS模块依赖基于卷积特征图的CAM显著性来引导伪未知合成,我们的方法目前设计并验证在CNN主干网络上。将此显著性引导的合成方法扩展到注意力机制表示如视觉Transformer(其中空间响应组织方式不同)留待未来——

### 结论

本工作研究声纳图像的开放长尾识别,并引入OpenSID,一个与现有声纳识别数据集对比的大规模全帧前视声纳基准。OpenSID保留完整场景上下文并呈现真实的长尾分布,为声纳开放长尾识别提供了具有挑战性的基准。基于此基准,我们提出稀疏感知尾部记忆学习(SATML),一个结合稀疏感知伪特征合成——

### CRediT作者贡献声明

李杰:原始稿件撰写、可视化、软件、方法论、形式分析、数据整理。
焦文培:审阅与编辑、验证、资源提供。
张春艳:项目管理。
谢光明:资金支持获取。
张建雷:指导、项目管理、调查研究。

### 利益冲突声明

作者声明没有已知的可能影响本文所报告工作的竞争经济利益或个人关系。

### 致谢

本工作得到了国家自然科学基金(批准号62573239和62473211)和天津市自然科学基金联合基金(批准号25JCLZJC00630)的支持。

李杰 | 焦文培 | 张春艳 | 谢光明 | 张建雷
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号