OLC-WA:基于加权平均的、具备漂移感知且无需调参的在线分类方法

《Expert Systems with Applications》:OLC-WA: Drift Aware Tuning-Free Online Classification with Weighted Average

【字体: 大 中 小 】 时间:2025年12月25日 来源:Expert Systems with Applications 9.4

编辑推荐:

  莫哈默德·阿布·沙伊拉|冯云鹤|范恒|石伟士 北德克萨斯大学计算机科学与工程系,美国得克萨斯州丹顿市埃尔姆街3940号,邮编76207 摘要 现实世界中的数据集往往具有随时间变化的数据分布特征。忽视这一现象——即概念漂移——会显著降低模型的预测精度。此外,在线模型中

  莫哈默德·阿布·沙伊拉|冯云鹤|范恒|石伟士
北德克萨斯大学计算机科学与工程系,美国得克萨斯州丹顿市埃尔姆街3940号,邮编76207

摘要
现实世界中的数据集往往具有随时间变化的数据分布特征。忽视这一现象——即概念漂移——会显著降低模型的预测精度。此外,在线模型中存在的超参数还会加剧这一问题。这些参数通常是固定的,用户无法根据不断变化的数据分布对其进行动态调整。本文介绍了一种名为加权平均在线分类(OLC-WA)的自适应、无超参数的在线分类模型,该模型具备自动优化机制。OLC-WA通过将新数据流与现有基础模型相结合来运行,这种结合是通过指数加权移动平均实现的。此外,该模型还包含一个集成优化机制,能够动态检测概念漂移、量化其程度,并根据观测到的数据流特征调整模型。这种方法使模型能够在流式环境中有效适应不断变化的数据分布。在多种基准数据集上的严格实证评估表明,OLC-WA在静态环境中的性能可与批量模型相媲美,准确率保持在1–3%之间;而在存在概念漂移的情况下,其性能比现有的主流在线模型高出10–25%,充分展现了其在适应动态数据流方面的有效性。

引言
在当今以数据为驱动的时代,实时处理和解读数据的能力愈发重要。来自物联网、社交媒体和金融交易等领域的动态数据源不断增加,这就需要快速且即时的分析能力(Hashem等人,2015年)。然而,传统的批量学习方法由于假设数据分布是静态的、需要完整的数据集以及缺乏持续更新,难以满足快速变化的场景需求。这些限制使得批量学习在快速变化的任务中效果不佳。例如,欺诈检测系统难以追踪不断变化的欺诈行为,而预训练的情绪分析模型也会随着社交媒体趋势的变化而迅速过时。因此,迫切需要能够即时适应新数据的在线学习技术,以实现及时且可扩展的决策制定。

分类任务旨在分析“对象”集合,判断它们是否可以合理地归入少数几个相似的类别中(Gordon,1999年)。在线分类则着眼于可扩展性、适应性以及低延迟等关键特性,以弥补批量学习方法的不足(Hoi、Sahoo、Lu和Zhao,2021年)。这包括放宽一些假设,比如无需每次计算都访问所有数据、无需假设数据分布是固定不变的(独立同分布),也无需考虑训练过程的时间限制。

在线分类面临着诸多挑战,其中概念漂移尤为突出——即数据分布随时间发生变化,导致模型难以保持高精度(Mehta等人,2017年)。此外,在线学习中存在的超参数也会加剧这一问题,因为每次出现概念漂移时都手动调整超参数并不现实。而且,缺乏衰减机制会使情况更加恶化,因为在在线学习中,实现适应性与稳定性之间的平衡是一个重要目标。

现有的在线分类模型可分为基于深度学习的模型和传统机器学习方法两类。基于深度学习的方法在批量处理环境中通常表现较好,因为它们依赖多轮训练;而单次处理的变体则往往性能较差,除非通过架构或优化技术进行改进(a)Hu (Li);c)Valkanas (Oreshkin)。此外,基于深度学习的方法还存在一些局限性,比如相比批量训练,每条样本的计算成本更高、硬件利用率较低,而且由于需要存储权重、梯度及激活值,内存需求较大(Goodfellow、Bengio、Courville和Bengio,2016年)。在非静态环境中,灾难性遗忘仍然是一个长期存在的难题(Sulaiman、Farmanbar、Kagami、Belbachir和Rong,2025年),而且深度模型通常需要比简单模型更多的数据才能收敛(b)SAHOO (PHAM)。因此,本文的重点是研究那些属于传统机器学习方法的简单模型。

虽然传统方法在历史上一直支持实时学习,但如今的在线分类算法已发展出多种多样的方法,从简单的到复杂的都有,这些方法旨在以最小的计算和内存开销实现对流式数据的持续适应(Gama、Indr?、Bifet、Pechenizkiy和Bouchachia,2014年)。不过,尽管有这些优势,这些算法仍存在一些局限性。有些算法无法有效分类非线性可分离的数据(Bifet和Gavalda,2009年),还有些算法在分类边界案例时性能不佳(Crammer等人,2006年)。在实时场景中,处理多类分类和不平衡数据流也会带来额外困难(Brzezinski和Stefanowski,2013年;Krawczyk,2016年)。许多模型也无法有效实时适应概念漂移。这一问题因超参数的存在而更加复杂,因为每次出现概念漂移时都手动调整超参数并不现实。此外,一些算法对过时的数据也很敏感,由于缺乏加权机制,这会影响预测精度(Bifet等人,2010b年)。

由于在每次概念漂移发生后都在线调整超参数并不现实,因此无超参数的在线模型显得尤为重要。为了明确本研究中的超参数概念,我们将其与配置参数区分开来。配置参数在部署时就已经确定,反映了用户的偏好或操作要求。例如,选择较高的误报概率(用户设定,ρ=0.10)意味着更严格地将细微变化视为概念漂移,而选择较低的概率(用户设定,ρ=0.01)则意味着更为宽松的判定标准。另一个例子是关键绩效指标的选择,有些用户可能更关注准确率,有些则更关注损失值,还有的用户会同时使用多个指标。相比之下,超参数则是可直接影响学习过程的可调设置,通常需要通过训练和验证来进行优化,比如学习率或正则化强度。在本研究中,当我们说OLC-WA是无超参数的,是指它不需要这类可调参数,而仅依赖于用户在运行过程中设定的、保持不变的配置参数,这些参数能体现用户的偏好。

鉴于上述局限性,本文提出了一种模型,旨在解决在线学习中的三个关键问题:应对概念漂移、通过自适应优化消除对超参数的依赖,以及引入有效的加权或衰减机制。本文介绍了OLC-WA,这是一种具备漂移感知能力、无超参数且基于衰减机制的在线分类器。其主要贡献包括:(1)提出了一种新的策略,能够根据新出现的数据模式动态重新定义模型。(2)设计了一种新颖的主动式内存内置漂移检测与适应机制,该机制采用可变阈值技术,并利用关键绩效指标,无需假设特定的数据分布,因此适用于高维数据集和大规模数据流。(3)通过用户指定的误报概率ρ来有效控制误报率,从而确保误报率保持稳定,同时让使用者能够权衡模型的灵敏度与稳健性。(4)实现了批量分类器向在线模型的无缝转换,为将现有方法应用于流式环境提供了实用途径。(5)在典型的分类场景中,该方法的性能可与批量模型相媲美;而在动态环境中,由于能有效应对数据流中的概念漂移,其性能优于现有的主流在线方法,充分体现了OLC-WA在实时学习中的高效性与适应性。本研究使用的源代码和数据集可通过我们的GitHub仓库获取:https://github.com/anonymous273800/OLC-WA。

片段摘录
在线深度学习分类器:为了解决从数据流中学习的难题,人们提出了多种在线深度学习分类模型。例如,Hedge Backpropagation(HBP)b)SAHOO (PHAM)利用不同深度的分类器构成的加权集成模型,从而实现模型复杂度的动态调整。Batch-level Distillation Fini、Lathuiliere、Sangineto、Nabi和Ricci(2020年)则采用两阶段更新机制来平衡模型的可塑性与记忆能力。其他方法还包括基于实例的路由机制Chen、Cheng、Juan。

问题设定
设X?Rd表示输入特征空间,Y={1,2,?,K}则表示可能的类别标签集合。在每个时间步t,会依次出现一个样本(xt, yt),其中xt∈X是特征向量,yt∈Y是真实的类别标签。该数据流被假定为无限长,必须以顺序方式处理,任何时刻内存中只能存储有限数量的数据(Gama等人,2014年)。我们的在线分类模型的目标就是更新决策函数。

实验
本节将在合成数据集和真实世界数据集上评估模型的性能(见表5、表4),内容涵盖分类任务和概念漂移问题,同时会给出详细的设置说明和可重复性指导原则。

讨论
OLC-WA提供了一种自适应、无超参数的在线分类框架,能够在动态流式环境中有效平衡模型的稳定性与适应性。本节将阐述该模型的主要优点、局限性以及潜在的实际应用场景。

结论与未来工作
作为一种具备自适应能力、无需额外调优且带有内置优化技术的模型,OLC-WA为解决多种问题提供了有效方案。首先,作为一款具备漂移感知能力的模型,OLC-WA拥有主动式内存内置的漂移检测与适应机制,该机制采用可变阈值技术,并利用关键绩效指标,无需假设特定的数据分布,因此特别适合用于动态且不可预测的环境。其次,数据的动态特性使得……

利益声明
作者声明,他们不存在任何可能影响本文研究成果的已知竞争性财务利益或个人关系。

利益冲突声明
所有列为作者的人员都在本研究的概念设计、实验实施、论文撰写或修改等方面付出了足够多的努力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号