基于最大总相关熵的广义学习系统与鲁棒的M估计器

《Neural Networks》:Maximum Total Correntropy-based Broad Learning System with Robust M-estimator

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neural Networks 6.3

编辑推荐:

  提出基于最大总相关熵的BLS(MTC-BLS),结合TLS方法有效处理输入输出噪声,并设计MMTC-BLSa和MMTC-BLSb缓解核宽度偏差影响,引入固定点迭代优化训练效率,实验验证其鲁棒性和有效性。

  
陈涛|陈曦|李伟
华中科技大学人工智能与自动化学院,中国湖北武汉,430074

摘要

尽管广义学习系统(BLS)及其现有的鲁棒变体由于表现出色而广泛应用于各个领域,但它们仍然无法有效处理训练样本输入数据中的噪声,这可能导致算法性能下降。为了解决这个问题,本文提出了一种基于最大总互信息的广义学习系统(MTC-BLS),该系统使用最大总互信息(MTC)准则进行模型训练。这使得模型兼具总最小二乘(TLS)方法和MCC准则的优点,能够有效处理输入和输出噪声。此外,为了减轻基于熵的准则中核函数宽度选择偏差的影响,进一步提出了两种新的鲁棒方法,即MMTC-BLSa和MMTC-BLSb。前者将M-估计量直接纳入算法的目标函数中,利用M-估计量和MTC的双重约束来平衡模型的预测性能,同时减少算法对核函数宽度的依赖。后者在MTC准则中使用M-估计量作为权重系数进行模型训练,利用M-估计量来补偿由核函数宽度偏差引起的模型误差,从而有效减轻这些偏差的负面影响。为了实现高效训练,分别为MTC-BLS、MMTC-BLSa和MMTC-BLSb引入了定点迭代方法。通过多个时间序列数据集、回归数据集和图像数据集的比较实验验证了所提方法的有效性和优越性。

引言

近年来,深度神经网络(DNN)在特征提取和非线性预测方面展现了显著的能力。然而,随着数据的指数级增长,深度网络通过不断增加层数和采用复杂的权重迭代方法,不可避免地导致了训练速度减慢(Rasch等人,2024年)和梯度爆炸(Ceni,2025年)等问题。为了解决这些问题,陈等人(Chen和Liu,2018年)提出了一种新型且高效的轻量级神经网络——广义学习系统(BLS)。BLS使用随机映射从输入数据中提取特征节点,并通过非线性映射增强这些特征节点以获得增强节点,然后将它们整合成网络的最终隐藏层。显然,与DNN相比,BLS的网络构建过程和架构更为简洁。此外,隐藏层的权重在训练过程中是随机生成的并且固定的,只需要使用伪逆运算就可以快速获得输出层和隐藏层之间的连接权重,这进一步显著降低了算法的训练成本。凭借这些独特优势,BLS现已广泛应用于故障诊断(Qin等人,2025年)、视觉分类(Mallea等人,2026年)、赵等人(2022年)以及回归预测(Peng和ChunHao,2022年;Yuen和Kuok,2025年)等领域。
然而,BLS使用最小均方误差准则(MMSE)来构建目标函数,虽然实现了快速训练,但这同时也限制了模型的适用性,使其只能在无噪声或高斯噪声环境中表现出色。为此,在BLS中构建了几种更鲁棒的代价函数。Zhang等人(2022年)提出了一种基于误差熵的BLS(BLS-QMEE),通过引入量化最小误差熵准则(QMEE)来构建BLS的目标函数,从而使模型能够有效减轻异常值的不利影响。然而,由于QMEE的局限性,BLS-QMEE在处理零均值误差时的性能会下降。与使用熵准则的BLS-QMEE不同,鲁棒BLS(RBLS)(Guo和Xu,2023年)通过引入M-估计量来构建权重运算符,从而减少了异常样本的权重并提高了模型的预测性能。需要注意的是,当训练样本包含极端异常值时,RBLS容易受到这些异常值的主导,导致性能下降。除了引入误差熵准则外,还基于最大互信息准则提出了多种BLS变体(Wang等人,2026年;Zhao和Lu,2024年;Zhao等人,2025年;Zheng、Chen、Wang、Wang,2021年;Zheng、Wang、Chen,2024年)。互信息作为一种衡量随机变量之间广义相似性的核函数,可以表征误差的高阶矩,从而增强BLS的鲁棒性。然而,现有的结合各种互信息变体的鲁棒BLS模型不适用于输入数据包含噪声的情况,也无法有效处理输入中的噪声。此外,当最大互信息准则(MCC)中使用的核函数的超参数偏离其最优值(过大或过小)时,可能会导致算法性能下降。
来自信息论的基于熵的方法(Polyanskiy和Wu,2025年;Yuan等人,2024年)可以有效增强BLS的鲁棒性。考虑到现有的基于最大互信息的BLS无法有效处理输入数据中的噪声,本文提出了一种基于最大总互信息准则(MTC)的新型鲁棒BLS(MTC-BLS)(He等人,2019年;Hou等人,2022年;Wang等人,2017年)。MTC-BLS结合了总最小二乘(TLS)方法和MCC准则的优点,能够有效处理输入和输出数据中的噪声。因此,MTC-BLS可以更高效地提取数据特征。此外,为了减少MTC-BLS对最大互信息准则中核参数选择的依赖,我们提出了两类新的鲁棒方法,称为MMTC-BLSa和MMTC-BLSb。前者将M-估计量直接纳入模型训练的目标函数中。通过同时利用M-估计量和MTC作为双重约束,确保了模型的鲁棒性,从而减少了算法对核参数选择的依赖。后者在MTC准则中使用M-估计量作为权重系数来训练模型。通过利用M-估计量来补偿由核参数选择偏差引起的模型误差,有效抑制了核参数偏差的不利影响。最后,多项鲁棒性实验证明了本文提出的三种BLS变体的优越性。总结来说,本文的主要贡献如下:
1) 通过基于MTC准则重构BLS的目标函数,得到了MTC-BLS。它结合了TLS方法和MCC准则的优点,能够在处理输入和输出数据中的噪声的同时实现更高效的特征提取。
2) 提出了两类新的鲁棒BLS方法(即MMTC-BLSa和MMTC-BLSb),以减少MTC-BLS对核参数选择的依赖。MMTC-BLSa通过同时利用M-估计量函数和MTC准则作为双重约束来保证模型的鲁棒性,而MMTC-BLSb通过使用M-估计量作为MTC准则的权重系数来调整由核参数选择偏差引起的模型误差。
3) 通过引入定点迭代方法作为优化理论,为MTC-BLS、MMTC-BLSa和MMTC-BLSb提供了迭代解决方案策略。此外,还分析了迭代的收敛性质和计算复杂性。
4) 在回归数据集和时间序列数据集上的鲁棒性实验验证了这三种新型RBLS的鲁棒性。同时,分类实验也证明了新算法的有效性。

章节片段

预备知识

本节主要详细介绍了广义学习系统和最大总相关熵的基本概念,有助于读者理解我们的主要工作。

提出的算法

为了解决BLS及其一些现有变体主要依赖于岭回归进行模型训练的问题,使它们对噪声和异常值非常敏感,本节通过整合最大总互信息准则和鲁棒M-估计量,介绍了三种改进的算法,即MTC-BLS、MMTC-BLSa和MMTC-BLSb。前者通过引入最大总互信息准则来优化模型,以提高其处理输入数据中的噪声和异常值的能力。

计算复杂性和收敛性质

本节将讨论所提算法的计算复杂性和收敛性质。注意,在本节中,N表示可用于训练的样本数量,Nw表示特征节点组的数量,Nf表示每个特征节点组中的节点数量,Ne表示增强节点的总数,Nk表示网络中的总节点数,Nk=Nw·Nf+Ne,Ti表示完成定点过程所需的实际迭代次数。

实验结果与分析

在本节中,对七个回归数据集、两个时间序列数据集和四个图像数据集进行了实验,以评估三种新型BLS的性能。所使用的回归数据集和时间序列数据集的信息见表2。为了确保实验结果的无偏性并消除不同变量尺度的影响,所有数据在实验前都被规范化到(0, 1)的范围内。

结论

在本文中,为了解决BLS及其一些改进的鲁棒变体只能处理训练样本输出中的噪声而无法有效处理输入数据中的噪声的问题,提出了一种基于最大总互信息的BLS(MTC-BLS)。它结合了TLS方法和MCC准则的优点,能够有效处理输入和输出中的噪声。同时,为了减少MTC-BLS对核参数选择的依赖,提出了两种新的鲁棒方法

未引用的参考文献

图9,图10。

CRediT作者贡献声明

陈涛:撰写——原始草稿、方法论、形式分析。陈曦:撰写——审稿与编辑、资源管理、数据整理。李伟:撰写——审稿与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号