《Multimodal Technologies and Interaction》:Semantic-Enhanced Underwater Videos Multi-Label Classification Network Based on Structural Graph Convolution
编辑推荐:
水下视觉退化使得图像模态难以表征视频语义,而水下场景中的标签稀疏性导致类别间相关性较弱,从而降低了多标签分类的性能。为解决这些问题,本文提出了一种基于结构图卷积的语义增强水下视频多标签分类网络(SEMGCN)。具体而言,该方法首先将图像和文本模态解耦为共享表示
水下视觉退化使得图像模态难以表征视频语义,而水下场景中的标签稀疏性导致类别间相关性较弱,从而降低了多标签分类的性能。为解决这些问题,本文提出了一种基于结构图卷积的语义增强水下视频多标签分类网络(SEMGCN)。具体而言,该方法首先将图像和文本模态解耦为共享表示和私有表示,并通过正交约束和特征重建来增强特征表示能力。此外,构建了跨模态类别感知模块(CCAM),用于建模图像与文本特征之间的交互,并与类别标签文本嵌入执行双向交叉注意力,从而生成类别感知的初始节点表示。进一步地,为缓解稀疏标签共现导致的语义传播限制,提出了一种结构图卷积网络(SGCN)。通过整合显式共现关系与隐式结构相似性关系,该模型协同捕获显式和潜在语义关联,从而在标签稀疏条件下提高多标签分类性能。实验在自建的水下视频多标签分类数据集(UVMC)和公开的MLSV2018数据集上进行。实验结果表明,SEMGCN在UVMC和MLSV2018上的平均精度(Average Precision,AP)分别达到0.8645和0.8388,证明了所提出方法的有效性。
水下视频作为海洋环境智能感知的重要信息载体,通常同时包含多种生物类别与环境要素,具有典型的多标签特性。然而,水下环境存在视觉退化现象,使得图像模态难以充分表征视频语义;同时,水下场景中标签共现稀疏,导致类别间相关性较弱,仅依靠标签共现频率构建类别图往往造成节点连接弱、边稀疏,限制了语义信息的传播,尤其不利于低频类别的分类推理。此外,现有大多数多模态方法侧重于样本级的整体表示学习,难以构建与单一类别对应的特征表示,限制了类别关系的有效建模。为解决上述问题,研究人员开展了本研究。
研究人员构建了一个包含4992个水下视频、每个时长约5-10秒、覆盖19个水下类别的多标签数据集UVMC,并提出了基于结构图卷积的语义增强水下视频多标签分类网络(SEMGCN)。该网络通过类别语义模块生成类别节点初始表示,利用结构图卷积网络(SGCN)捕获显式与隐式语义关联,有效缓解了标签稀疏问题。在自建UVMC数据集和公开MLSV2018数据集上,SEMGCN的平均精度(AP)分别达到0.8645和0.8388,验证了方法的有效性,为水下视频智能理解提供了可靠技术支持。该论文发表在《Multimodal Technologies and Interaction》。
研究采用的主要关键技术方法包括:数据集方面,基于MVK数据集和UW-COT220数据集构建了UVMC,并使用公开MLSV2018数据集验证;特征提取方面,图像模态采样15帧经预训练ResNet50提取并平均池化,文本模态经BERT获取全局语义特征;通过模态解耦与重建利用正交和重建损失增强特征表示;设计跨模态类别感知模块(CCAM)进行双向交叉注意力生成类别节点表示;提出结构图卷积网络(SGCN),使用动态时间规整(DTW)计算节点多阶邻域度序列的结构距离以构建结构增强矩阵,并融合显式共现矩阵进行图卷积传播。
研究结果与分析如下:
5.3 收敛性分析:通过观察平均精度和损失随迭代次数的变化,得出平均精度在约24次迭代后趋于稳定,损失函数逐渐收敛,表明模型训练过程稳定。
5.4 模块消融分析:通过逐一移除结构图卷积模块、跨模态类别感知模块、正交损失及重建损失,发现任意模块的移除都会导致各项指标不同程度下降,其中移除结构图卷积模块性能下降最明显;通过对比不同图构建策略,证明融合共现和结构相似性的SGCN要优于仅依赖单一关系的图结构。
5.5 特征维度分析:将CCAM输出维度设置为{128, 256, 512, 768, 1024}进行实验,结果表明当维度设为512时,模型取得最佳分类结果。
5.6 参数敏感性分析:采用网格搜索确定超参数,当正交损失权重α、重建损失权重β、分类损失权重γ以及结构矩阵稀疏控制参数λ分别设置为0.01、0.01、1和0.01时,模型性能最优;曲线分析显示,过强的正交约束会损害模态间语义关联,过大的重建损失权重会导致模型偏离分类任务,而合适的结构稀疏约束能有效增强标签关系表达。
5.7 模态消融分析:在仅使用图像模态、仅使用文本模态以及联合使用两种模态的设置下进行实验,结果显示联合使用图像和文本模态时分类性能最佳,文本模态单独使用时优于图像模态,表明多模态信息具有互补性,且文本能提供相对稳定的类别语义信息。
5.8 模型有效性分析:在UVMC数据集上与多种现有方法对比,SEMGCN在平均精度等多个指标上均取得最优结果;在MLSV2018数据集上,SEMGCN的排序损失(RL)和汉明损失(HL)达到最优值0.0122和0.0083,而AP值略低于部分专门针对陆地场景多模态方法,表明其核心机制对于非水下场景具有一定适用性,但性能优势随数据特征变化。针对UVMC数据集中不同出现频率类别的分组实验显示,SEMGCN在高、中、低频类别上均取得最好AP值,且对低频类别的性能提升尤为显著(AP达0.8319,较对比方法提升4.56%),验证了模型在标签稀疏条件下对低频类别的分类能力。
讨论与结论方面,研究人员分析了各核心模块的贡献和模态间的互补作用。结论部分指出,所提出的SEMGCN通过类别语义模块生成与各分类对应的初始特征表示,并通过结构图卷积建立类别间的关联,有效提升了水下视频多标签分类的性能。未来工作将聚焦于视觉信息增强和类别关系建模两个方向,探索物理模型与端到端任务驱动的水下图像增强对分类性能的影响,并研究提升结构相似图语义可靠性的方法,以减少拓扑相似但语义弱相关节点间连接的干扰。