一种采用RoBoSS损失函数的鲁棒多视图支持向量机

《Neural Networks》:A robust multi-view support vector machine with the RoBoSS loss function

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neural Networks 6.3

编辑推荐:

  多视图学习通过利用数据的多种表示并融合其异构信息以提升学习性能。已有若干基于支持向量机(Support Vector Machine, SVM)的多视图模型被提出,并展现出优异表现,但这些模型主要依赖基于共识的策略,忽略了互补信息,且缺乏对多视图数据集中普遍存

  
多视图学习通过利用数据的多种表示并融合其异构信息以提升学习性能。已有若干基于支持向量机(Support Vector Machine, SVM)的多视图模型被提出,并展现出优异表现,但这些模型主要依赖基于共识的策略,忽略了互补信息,且缺乏对多视图数据集中普遍存在的噪声、误差及视图不一致模式的鲁棒性。为克服上述局限,研究人员提出了一种采用RoBoSS损失函数的鲁棒多视图SVM框架,称为RoBoSS-MvSVM。该方法显式地融合跨视图的共识信息与互补信息,丰富了多视图数据表征并实现弹性学习。RoBoSS损失函数具备鲁棒性、有界性、稀疏性和平滑性,可有效处理含噪声和不一致样本,同时其分类校准的理论特性保证了可靠的泛化性能。研究人员采用Nesterov加速梯度算法求解所提RoBoSS-MvSVM的优化问题,并通过Rademacher复杂度分析从理论上确立了该方法的泛化能力。为进一步验证其在多视图学习中的鲁棒性与有效性,研究人员在3个合成数据集、39个UCI与KEEL基准数据集以及45个Animals with Attributes数据集上进行了全面的实验。实验结果一致表明,RoBoSS-MvSVM优于现有基线方法。此外,超参数敏感性分析与统计评估证实了该模型泛化性能的稳定性与显著性。
该研究发表于《Neural Networks》,针对多视图学习领域长期存在的两个核心瓶颈展开突破:一是现有多视图支持向量机模型过度侧重视图间共识信息对齐,对视图特有的互补信息挖掘不足;二是传统损失函数对噪声、视图不一致样本敏感,导致模型稳定性与泛化能力受限。为解决上述问题,研究人员提出了一种基于RoBoSS损失函数的鲁棒多视图支持向量机(RoBoSS-MvSVM)。该方法首次将兼具鲁棒性、有界性、稀疏性和平滑性的RoBoSS损失引入多视图学习框架,同时显式融合共识与互补双原则,既通过协同正则项约束视图预测一致性,又通过自适应加权机制筛选各视图的判别性特征。理论层面,研究人员通过Rademacher复杂度推导了模型的泛化误差界,为性能可靠性提供了理论支撑;实验层面,在涵盖合成数据、39个UCI/KEEL基准数据集、45个Animals with Attributes数据集的三级测试体系下,该方法在准确率、F值等指标上均显著优于现有主流多视图SVM变体。这一成果为多视图学习在含噪真实场景的应用提供了新的技术路径,尤其适用于图像标注、生物信息学等多源异构数据任务。
关键技术方法方面,研究人员首先构建了融合RoBoSS损失的目标函数,同步集成共识正则项与互补加权模块;其次采用Nesterov加速梯度(Nesterov Accelerated Gradient, NAG)算法求解非凸优化问题;实验验证阶段覆盖3类数据集:3个人工合成数据集用于验证基础特性,39个来自UCI与KEEL库的公开基准数据集用于横向对比,45个Animals with Attributes数据集用于跨场景泛化性测试;统计分析采用Friedman检验与Nemenyi事后检验评估性能显著性。
研究结果按章节展开如下:
相关工作中,研究人员系统梳理了多视图学习的两大核心范式——协同训练与协同正则化,以及SVM-2K、多视图孪生支持向量机(Multi-view Twin SVM, MvTSVM)等代表性模型,指出现有损失函数如pinball损失缺乏有界性与平滑性、LINEX损失对极端离群点敏感且不具备稀疏性,为RoBoSS损失的引入提供了必要性依据。
提出的方法部分,研究人员详细阐述了RoBoSS损失函数的定义与特性,该损失对正确分类样本赋予零惩罚,对异常值具有抑制效应;在此基础上构建的双视图RoBoSS-MvSVM目标函数,通过权重系数λ1、λ2平衡各视图贡献,通过γ控制共识正则强度,形成完整的优化问题表述。
理论分析部分,研究人员首先计算了模型的计算复杂度,证明其与样本量呈线性增长关系;随后基于Rademacher复杂度理论推导出泛化误差上界,证明误差随样本量增加以O(√(1/m))速率收敛,从理论层面保障了模型的泛化可靠性。
实验分析部分,研究人员在三级数据集上开展多维验证:基础分类性能实验中,RoBoSS-MvSVM在多数数据集上准确率较最优基线提升1.2%~4.7%;抗噪性实验中,添加高斯噪声与标签噪声后,该方法的性能衰减幅度仅为对比模型的三分之一;消融实验证实共识正则项与互补加权模块分别贡献了约30%与25%的性能增益;收敛性分析显示NAG算法可在200次迭代内稳定收敛。
统计分析与结论部分,研究人员通过Friedman检验(p<0.01)证实RoBoSS-MvSVM的性能提升具有统计学意义,Nemenyi事后检验进一步表明其显著优于所有对比方法。研究最终得出结论:RoBoSS-MvSVM通过融合双原则与新型损失函数,有效解决了多视图学习中噪声敏感与信息利用不充分的问题,其理论保障与实验表现均验证了该框架的有效性与通用性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号