利用标签相关性与特征交互增强不平衡标签分布学习
《Pattern Recognition》:Enhancing imbalanced label distribution learning with label correlation and feature interactions
【字体:
大
中
小
】
时间:2026年08月27日
来源:Pattern Recognition 9.1
编辑推荐:
•我们提出了 ImLCFI,一种用于不平衡标签分布学习的新颖框架。
•它建模标签相关性和特征 - 标签交互以缓解不平衡。
•在公共数据集上的实验表明,该方法比现有方法有显著改进。
引言
在监督学习最常见的分类范式中,单标签学习 (SLL) [1] 训练模型为每个实例分配单个
•我们提出了 ImLCFI,一种用于不平衡标签分布学习的新颖框架。
•它建模标签相关性和特征 - 标签交互以缓解不平衡。
•在公共数据集上的实验表明,该方法比现有方法有显著改进。
引言
在监督学习最常见的分类范式中,单标签学习 (SLL) [1] 训练模型为每个实例分配单个、明确的标签。多标签学习的最新进展侧重于标签相关性和特征交互 [2],而相关工作已将标签分布学习应用于多标签特征选择 [3]。当一个实例可以与多个类别相关联时,采用多标签学习 (MLL) [4], [5],将所有相关标签同等视为二值输出。然而,在现实场景中,相关标签和不相关标签之间的区别通常是模糊的,实例由多个标签在不同程度上描述。为了解决这种模糊性,标签分布学习 (LDL) [6] 学习一个标签分布,其中每个元素称为描述度,反映标签对实例的相关性。LDL 已成功应用于各种细粒度模式识别任务,包括年龄估计 [7]、视频解析 [8]、情感分析 [9]、头部姿态估计 [10] 和面部美感感知 [11] 等。
基础 LDL 框架最小化预测标签分布和真实标签分布之间的库尔back-莱布勒散度,这有效解决了现实数据中的标签模糊性 [12], [13]。在此基础上,LDL-HR [14] 引入了一种机制,明确区分具有最高描述度的标签,利用这种区别进一步提高模型准确性。近期研究侧重于增强模型对标签模糊性 [13] 和不完整标签 [15], [16] 的鲁棒性,探索替代损失函数并引入标签结构信息以捕获复杂的标签分布 [16]。
在现实场景中,由于标注固有的主观性 [17],获得平衡的标签分布具有挑战性。当标签描述度差异显著时,LDL 性能可能会大幅下降。这种现象称为不平衡标签分布学习 (ILDL) [17],其特征是分布倾斜,其中主导标签具有高描述度,而非主导标签获得相对较低的度,偏置优化过程并阻碍后者的有效学习。例如,在电影评分预测中,数据收集偏差可能导致某些流派对特定标签获得不成比例的高评分。为解决此问题,Zhao 等人 [17] 提出了 RDA,它对齐特征和标签分布以缓解不平衡引起的偏移。然而,RDA 采用静态优化策略,具有均匀的对齐强度,可能过度约束主导标签,并对非主导标签提供不足的梯度反馈。Gao 等人 [18] 引入了 DILDL,将标签分布解耦为主导和非主导成分,以减少训练期间对非主导标签的抑制。尽管如此,这两种方法主要作用于表示层面,并未明确利用标签间依赖性或标签条件特征交互,限制了它们在倾斜监督下的有效性。这些限制表明需要在倾斜监督下联合增强感知标签表示并平衡主导和非主导标签的优化。
为了解解决这些挑战,我们提出了带有相关性引导特征交互的不平衡标签分布学习 (ImLCFI),这是一个在倾斜标签分布下学习的统一框架。如图 1 所示,ImLCFI 围绕表示增强和优化平衡调整组织。对于表示增强,(a) 标签相关性建模首先从标签表示构建相关性矩阵,通过相关性传播增强原始标签分布,并将其编码为相关性增强标签表示。然后,(b) 标签 - 特征交互使用标签表示生成逐维度调制权重,从而将原始特征表示细化为感知标签特征。对齐项通过强制感知标签特征和相关性增强标签表示之间的语义一致性来连接这两种增强表示。对于优化平衡调整,(c) 动态标签解耦分离主导和非主导分支,并使用 EMA 平滑的自适应加权来平衡它们的优化贡献。通过这些机制,ImLCFI 联合缓解表示偏差和优化不平衡。
我们分析了不平衡标签分布引起的固有局限性,展示倾斜的描述度如何偏置优化并阻碍低度标签的有效学习。基于这一见解,我们建立了 ImLCFI 的泛化误差界,为不平衡下的学习提供理论保证。为了验证提出的 ImLCFI,我们在十个具有不同程度不平衡的现实标签分布数据集上进行了广泛实验,证明了其有效性。
我们的主要贡献总结如下:
•我们提出了 ImLCFI,一个统一的 ILDL 框架,集成标签相关性建模和标签引导特征交互用于感知标签表示学习。
•我们开发了一种基于 EMA 的动态加权机制,基于主导和非主导标签的学习难度平衡它们的优化。
•我们提供了理论泛化保证,并在十个现实数据集上进行了广泛实验,证明了比最先进的 ILDL 方法的一致改进。
章节片段
标签分布学习
标签分布学习 (LDL) 是一种学习范式,为每个实例分配标签分布,其中每个元素代表标签描述实例的程度。LDL 已广泛应用于以标签模糊性为特征的任务,如年龄估计 [7]、面部美感感知 [11] 和情感分析 [9]。传统 LDL 方法通常可分为三类。第一是问题变换,如 PT-SVM [19] 和 PT-Bayes [19],
形式化
在不平衡标签分布学习框架中,令 X=[x1;x2;…;xn]T∈Rn×d 表示特征空间,其中 d 是特征空间的维度,n 是实例数量,xi 表示第 i 个实例的特征向量。令 D=[d1;d2;…;dn]T∈Rn×m 为标签空间,其中 di=[dxiy1,dxiy2,…,dxiym]T 是与实例 xi 相关的标签分布。术语 dxiyj 称为描述度,表示标签 yj 对实例 xi 的描述度,其中
实验
在本节中,我们在十个基准数据集上评估了提出的 ImLCFI 方法,并将其与最先进的 ILDL 方法进行比较。我们采用四个基于距离的指标和两个基于相似性的指标进行性能评估,并进一步执行统计显著性检验以验证报告的比较。
结论
本文提出了 ImLCFI,一个用于不平衡标签分布学习的统一框架,集成标签相关性建模、特征 - 标签交互以及动态解耦与自适应重新加权。ImLCFI 通过增强感知标签表示和自适应平衡主导与非主导标签学习,解决了表示偏差和优化不平衡。在十个基准数据集上的广泛实验表明,ImLCFI 实现了始终具有竞争力或
CRediT 作者贡献声明
Xiangcheng Sun:撰写 – 初稿,可视化,方法论。Guohua Lv:监督,资源。Yongbiao Gao:撰写 – 审查与编辑,监督,资源,项目管理。Changchun Fan:资源,方法论。
稿件准备过程中生成式 AI 和 AI 辅助技术声明
在本工作准备过程中,作者使用 OpenAI 的 ChatGPT 进行语言改进和起草辅助。使用此工具后,作者根据需要审查和编辑了内容。作者对已发表文章的内容承担全部责任。
竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系,可能会影响本文报告的工作。此外,作者与任何可能影响研究的组织没有财务利益或个人隶属关系。本稿件未提交或正在其他地方考虑,也未曾以前允许的形式(例如预印本、论文)发表。本研究未获得资助
致谢
这项工作得到了国家自然科学基金(编号 62406155)、山东省自然科学基金支持的项目(编号 ZR2024QF115)、山东省科技型中小企业创新能力提升项目(编号 2025TSGCCZZB0077)、济南科学技术计划(后补贴)项目(编号 202430039)以及科教融合试点项目(编号 2025ZDZX01)的支持。
Xiangcheng Sun|Guohua Lv|Yongbiao Gao|Changchun Fan
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号