在弱监督多标签学习中实现稳健的语义重建

《Neurocomputing》:Robust semantic reconstruction for weakly supervised multi-label learning

【字体: 大 中 小 】 时间:2026年03月24日 来源:Neurocomputing 6.5

编辑推荐:

  本文提出RSWL方法,通过语义自表示学习与特征-标签依赖最大化纠正缺失标签,结合L1正则化和灵活稀疏邻域图嵌入,有效推断未知标签并克服现有方法对低秩标签空间和平滑假设的依赖,实验验证其优越性。

  
赵大伟|洪立康|李洪|高庆伟|孙东|卢一翔|朱德

摘要

在弱监督多标签学习任务中,只有一部分训练数据具有完整的标签信息,而剩余样本的标签部分缺失或完全缺失。现有的弱监督多标签学习方法利用标签相关的自表示学习和图嵌入的标签传播策略来修正部分缺失的标签并推断完全缺失的标签。然而,这些自表示学习方法在标签重构过程中忽略了特征和标签之间的依赖性。此外,大多数图嵌入标签传播方法基于平滑性假设,即特征和标签样本的图结构是一致的。然而,这种严格的约束不利于保持数据的内在流形结构,可能导致图质量低下。我们提出了一种鲁棒的弱监督多标签学习方法来解决这些问题。具体来说,首先,我们利用语义自表示学习和特征-标签依赖性最大化指标策略来修正部分缺失的标签,并采用-范数正则化项来提高其鲁棒性。其次,我们使用残差项来放宽图结构一致性约束,并采用灵活的稀疏邻域图学习来训练样本的非线性嵌入以传播标签信息,从而推断未知标签。最后,我们在一个统一的学习框架内获得真实标签,并开发了一种交替优化方案,其中迭代优化过程促进了自表示学习和图嵌入过程之间的相互作用。在各种实际任务中的广泛实验表明,所提出的方法优于一些最先进的方法。

引言

近年来,多标签学习(MLL)作为机器学习中的一个热门研究方向受到了更多关注,并在许多领域有广泛的实际应用,如图像注释[1]、故障诊断[2]和文本分类[3]。与传统的单标签分类任务不同,在MLL中,单个示例同时与多个语义相关联。
在实际应用中,由于资源和环境限制,我们经常难以获得强监督信息,在大多数情况下,我们是在弱监督框架下操作的[4],[5]。(a) MLL是一个弱监督框架,这违反了强监督学习中唯一标签信息的假设[6]。(b) 我们面临的数据变得越来越庞大和复杂,样本标注是一个成本高昂的过程,这在实际情况中表现为只有少数样本被标注[7],这违反了强监督学习中充分标注信息的假设。(c) 另一个普遍的弱监督问题是标签信息不清晰的问题,即由于手动标注导致标签空间中的标签缺失[8]。当过多的错误标签导致样本异常时,类内的数据紧凑性和类间的可分性将受到严重损害。上述现象引发了两个重要且具有挑战性的弱监督多标签学习任务:带有缺失标签的多标签学习(MLML)[9],[10],[11]和半监督多标签学习(SML)[12],[13]。
现有的弱监督多标签学习方法主要分别在语义层和实例层对部分缺失的标签进行修正和对完全缺失的标签进行推断。在语义层,许多学者利用标签相关的知识实现了自表示的软标签学习,从而减轻了弱监督的负面影响。大多数利用高阶标签相关性的现有方法假设标签空间是低秩的[14],[15],然后通过低秩矩阵分解捕获潜在的标签表示和高阶语义概念。然而,使用潜在表示来获得高阶标签相关性通常是一种隐含的策略,这会导致语义关系不明确。此外,研究表明,在实际应用中标签矩阵的秩通常是满秩或近似满秩的[16],这意味着低秩标签空间的假设是不恰当的。标签自表示策略可以挖掘高阶标签相关性,保持标签空间的秩不变并暴露标签之间的联系[17],[18],[19]。自表示策略容易受到标签噪声和缺失标签的影响,不可避免地会学习到错误的自表示信息。实际上,相似的标签在相应的特征上往往具有相似性,如何充分捕获这种依赖性以帮助模型理解标签相关性是当前自表示软标签学习方法需要解决的关键问题之一。
此外,现有的自表示软标签学习方法无法避免由于异常值数量增加而导致的样本失败问题。另一种方法是异常值样本过滤,它为分类损失较大的样本分配较小的权重,从而减少样本错误的影响[20]。此外,损失函数的选择对优化问题的泛化能力也至关重要。-范数比-范数更稀疏,能够进行更鲁棒的特征选择[21]。然而,-范数只能解决标签噪声问题,无法减轻标签缺失的影响。
在实例层,学者们提出了许多基于图嵌入的未知标签推断方法。一种简单而有效的方法是在原始空间中构建图,分别学习相似性图矩阵和语义分类,因此无法充分利用它们之间的依赖性。从原始空间构建的图容易受到特征异常值的影响,导致图结构难以区分。为了解决这个问题,学者们提出了几种用于自适应图嵌入的弱监督多标签学习方法[22],[23],这些方法避免了噪声特征和冗余干扰。然而,现有的自适应图嵌入方法仍然面临以下问题。首先,上述的自适应图构建方法只考虑了样本之间的成对关系,忽略了高阶结构相似性,因此无法有效捕获数据中普遍存在的复杂非高斯数据结构。其次,大多数现有的自适应图方法在构建过程中考虑了硬线性约束,无法处理来自非线性流形的数据。
为了解决上述挑战,我们提出了一种鲁棒的弱监督多标签学习方法(RSWL)。RSWL的框架如图1所示。首先,RSWL利用高阶标签相关性重构语义空间,从而保持标签矩阵的秩不变。使用语义依赖性最大化正则化项来学习具有区分性的表示。然后,基于原始样本相似性的流形正则化,构建一个自适应的NN图相似性矩阵,不仅可以学习样本的局部结构关系,也不依赖于数据的高斯分布假设。最后,我们采用-范数来约束软标签和真实标签之间的信息一致性,以提高鲁棒性。这个想法类似于深度学习中的注意力机制,更加关注贡献较大的样本并赋予它们更高的权重。我们的主要贡献如下:
  • •
    我们提出了一种新的正则化方法,用于最大化语义依赖性和先验知识约束的灵活图嵌入策略,以解决有效标签信息不足的弱监督多标签分类问题。
  • •
    RSWL通过关注特征和标签的异常值来提高鲁棒性。-范数的一致性约束减轻了标记样本异常值的影响,而稀疏自适应图学习减轻了特征样本噪声和非高斯分布的影响。
  • •
    在14个广泛使用的基线多标签数据集上的实验验证了所提方法在典型弱监督场景中的有效性和优越性。
  • 小节片段

    基于图的半监督多标签学习

    在监督学习任务中,关于标签的充分信息是获得泛化能力强的模型的关键。然而,在实践中,注释过程变得越来越昂贵和不切实际,我们只能获得部分标记的样本信息[24],[25]。半监督学习(SSL)框架应运而生并受到了广泛关注。作为基本的学习形式,基于图论的SSL在SML[26],[27],[28],[29]中得到了广泛应用。
    传统

    符号说明

    在介绍所提出的方法之前,我们首先介绍本文中使用的符号和数学预备知识。根据半监督学习的定义,我们用表示训练数据矩阵,包括一个标记样本集和一个未标记样本集,其中是特征维度,是标记样本的数量,是未标记样本的数量,是样本的总数。是对应于标记样本的标签矩阵:

    优化

    目标函数Eq. (18)有五个变量需要优化:,,,和。因此,我们提出了一种交替迭代优化方法来获得最优解。优化算法的具体步骤如下:

    实验

    在本节中,我们在多个真实世界数据集上进行了实验,以评估我们提出方法的有效性和可扩展性。我们的目标是回答四个主要问题:
  • 1.
    RSWL在半监督多标签数据分类中的表现与最先进方法相比如何?
  • 2.
    RSWL在处理缺失标签方面的鲁棒性与最先进方法相比如何?
  • 3.
    RSWL中的各个模块的有效性如何?
  • 4.
    参数对RSWL有什么影响?
  • 参数敏感性分析

    在本小节中,我们对RSWL中的四个重要正则化参数,,和进行了敏感性分析。RSWL在半监督多标签学习中的参数敏感性实验结果在图4中报告。我们选择在数据集上进行实验分析,同时改变一个参数并固定其余三个参数(,,,),选择范围是对于,和参数。注意,为了确保,因此2的搜索范围是。

    结论

    我们提出了一种新颖的方法来解决具有部分和完全缺失标签的弱监督多标签分类问题,通过语义依赖性度量联合优化灵活图嵌入解决方案和高阶标签相关性。与以往的工作不同,我们使用自表示和高阶标签相关性来获得软标签矩阵,并通过-范数最小化来重构语义特征空间,从而提供了更多的

    CRediT作者贡献声明

    赵大伟:撰写——原始草稿,验证,方法论,研究,资金获取,形式分析,数据管理,概念化。洪立康:撰写——审阅与编辑,撰写——原始草稿,验证,软件,研究,形式分析,数据管理。李洪:撰写——审阅与编辑,撰写——原始草稿,可视化,验证,研究,形式分析,数据管理。高庆伟:资源,方法论,形式分析。孙东:

    利益冲突声明

    作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
    赵大伟报告称获得了中国国家自然科学基金会的财务支持。赵大伟报告称获得了安徽省自然科学基金的财务支持。赵大伟报告称获得了中国博士后科学基金的财务支持。如果有其他作者,他们声明没有已知的利益冲突
    赵大伟1993年出生于中国安徽。他于2022年在安徽大学计算机科学与技术学院获得工程博士学位。他目前是安徽大学电气工程与自动化学院的博士后。他的当前研究兴趣包括深度学习、多视图多标签学习和智能计算。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号