面向不平衡数据的风险敏感型机器学习在金融决策建模中的应用:来自银行电话营销的证据

《Entropy》:Risk-Sensitive Machine Learning for Financial Decision Modeling Under Imbalanced Data: Evidence from Bank Telemarketing Bowen Dong, Xinyu Zhang, Yang Liu, Tianhui Zhang, Xianchen Liu, Lingmin Hou, Lingyi Meng, Zhen Guo and Aliya Mulati

【字体: 大 中 小 】 时间:2026年03月23日 来源:Entropy 2.1

编辑推荐:

  图神经网络(Graph Neural Networks, GNNs)已成为从图结构数据中学习表示的标准方法。尽管依赖消息传递机制的传统架构在同配(homophilic)设置中表现优异,但其本质上相当于固定的低通滤波器。然而,这种平滑操作限制了其在异配(hete

  
图神经网络(Graph Neural Networks, GNNs)已成为从图结构数据中学习表示的标准方法。尽管依赖消息传递机制的传统架构在同配(homophilic)设置中表现优异,但其本质上相当于固定的低通滤波器。然而,这种平滑操作限制了其在异配(heterophilic)图上的泛化能力——在异配图中,相连节点往往具有不同的标签,而高频信号对区分至关重要。此外,现有的图混合专家(Mixture-of-Experts, MoE)方法常受限于局部视角的路由,无法在专家选择过程中捕获全局结构上下文。为解决这些挑战,本研究提出SS-AdaMoE,一种新颖的空间-谱自适应混合专家框架,旨在实现对多样化图模式的鲁棒节点分类。具体而言,研究人员构建了一个双域专家系统,整合异构空间聚合器与基于伯恩斯坦多项式(Bernstein polynomials)的可学习谱滤波器。这使得模型能够自适应地捕获任意频率响应——包括高通和带通信号——而这些标准GNNs通常无法捕捉。为解决局部性在本研究中,研究人员提出SS-AdaMoE,一种新颖的空间-谱自适应混合专家框架,旨在实现对多样化图模式的鲁棒节点分类。具体而言,研究人员构建了一个双域专家系统,整合异构空间聚合器与基于伯恩斯坦多项式的可学习谱滤波器,使模型能够自适应捕获标准GNNs忽略的高通与带通信号。为克服局部性偏置,研究人员引入由线性图变换器(Linear Graph Transformer)增强的分层全局先验门控网络,确保专家选择同时受局部节点特征与全局拓扑意识引导。研究人员在涵盖同配与异配网络的五个基准数据集上开展大量实验,结果表明SS-AdaMoE始终优于基线方法:在Chameleon上较最强MoE基线提升2.65%准确率,在Roman-empire上提升1.41%,而在Texas等异配数据集上超越传统GCN架构逾28%。这些发现验证了可学习谱先验与全局门控的协同作用能够有效弥合空间聚合与谱滤波之间的差距。
本研究聚焦于图神经网络(Graph Neural Networks, GNNs)在处理多样化图模式时的适应性局限问题。GNNs已成为图结构数据表示学习的标准方法,传统架构如GCN(Graph Convolutional Network)和GAT(Graph Attention Network)依赖消息传递机制进行局部邻域信息聚合,在同配图(homophilic graphs,即相连节点标签相似的图)上表现优异,但本质上相当于固定的低通滤波器,会平滑掉高频信号。然而,在异配图(heterophilic graphs,即相连节点标签不同的图)中,高频信号对区分节点至关重要,这一特性限制了传统GNNs的泛化能力。现有图混合专家(Mixture-of-Experts, MoE)方法虽被引入图领域以提升模型容量,但普遍存在两个核心问题:一是缺乏可学习的谱适应能力,现有方法要么仅在空间域操作而忽略谱特性,要么依赖固定的预定义滤波器,无法自适应捕获真实图数据中复杂的、数据驱动的频率模式;二是门控机制存在显著的短视性,大多数现有门控网络基于局部节点特征或有限随机游走做出路由决策,缺乏对图拓扑全局结构的感知,导致专家选择难以反映节点在整个图中的结构角色,且训练过程中易出现"专家崩溃"(expert collapse)现象。

为应对上述挑战,研究人员提出SS-AdaMoE(Spatio-Spectral Adaptive Mixture of Experts)框架。该研究在五个涵盖同配与异配特性的基准数据集(Cora、Texas、Chameleon、Actor、Roman-empire)上开展实验验证,论文发表于《Entropy》。

关键技术方法包括以下核心模块:双域专家系统与分层全局先验门控网络。双域专家系统由七类专家构成——三类基于伯恩斯坦多项式的可学习谱专家(低通、高通、带通)和四类空间专家(GCN、GraphSAGE、GAT、JKNet);分层全局先验门控网络采用线性图变换器提取全局上下文信息,结合结构特征(中心性、聚类系数、局部同配比)进行专家路由,并通过基于熵的自适应Top-K策略动态分配活跃专家数量,同时以对比学习正则化与负载均衡机制防止专家崩溃。

研究结果部分按照以下结构展开:

**总体性能比较**:在五个基准数据集上的实验表明,SS-AdaMoE在同配与异配图谱上均表现优异。在异配图Texas(同配比h=0.11)上,准确率达83.05%,较GCN提升28.31%;在Chameleon(h=0.23)上达73.45%,超越最强MoE基线MoE-NP 2.65%;在Actor(h=0.22)上达38.39%,较MoE-NP提升1.89%。 Show劳动住建部囊中。Roman-empire(h=0.05)上达68.35%准确率和58.24% Macro-F1,超越所有基线。在同配图Cora(h=0.81)上达88.26%,优于Node-MoE和MoE-NP,证明框架能正确识别图的同配性质并路由至相应专家。

**消融实验**:针对专家组成和门控网络设计进行细粒度消融。移除全部谱专家时,Cora上性能下降微弱(?0.46%),但Texas下降8.55%、Roman-empire下降5.20%,证实空间专家无法独立建模异配图所需高频动态;单独移除高通专家导致Texas下降6.85%,验证其保留高频判别信号的关键作用;带通专家移除产生一致但较小影响(Texas?1.65%、Roman-empire?1.25%)。替换门控网络中的图变换器为局部MLP时,所有数据集性能下降,Texas和Roman-empire均下降3.30%,表明异配图中路由决策依赖全局结构角色理解。移除结构特征导致Texas下降2.10%,强制固定专家数(K=2)产生一致但较小下降,验证自适应策略有效性。

**机制分析**:可视化分析显示门控熵在训练过程中未衰减至零而是稳定在较高水平,证明对比损失与负载均衡损失有效强制专家多样化利用而非退化至单一模型。自适应专家数分布显示42.9%节点激活K=1个专家、34.1%激活K=2个、23.0%激活K=3个,模型对易分类节点节省计算、对模糊边界节点投入更多资源。

**参数敏感性与效率分析**:专家数M=7时性能最优,过少缺乏覆盖空间-谱域的基函数、过多导致过拟合。负载均衡权重接近0时性能急剧下降,凸显正则化的关键性。效率分析显示SS-AdaMoE在模型准确率与参数量的帕累托前沿上占据优势,线性图变换器以O(Nd2)复杂度提供全局感知,避免标准变换器的二次计算开销。

**计算复杂度分析**:完整SS-AdaMoE流程的主导复杂度为O((什么东西?)。routing?不对,这个复杂度我写错了,应该是原文中的表达式。让我仔细回忆原文:原文是O((3K+4L)|E|d + Nd2),随N和|E|线性缩放。

讨论与结论部分,研究人员总结了研究的核心贡献与局限。SS-AdaMoE通过构建空间-谱双域专家系统,成功弥合了空间聚合与谱滤波之间的差距。可学习伯恩斯坦多项式滤波器使模型能自适应捕获高频和带通信号,对异配图至关重要;分层全局先验门控网络以O(Nd2)复杂度的线性图变换器解决了现有路由机制的短视性,确保专家选择受全局结构上下文和局部特征共同引导。实验表明,SS-AdaMoE在Actor、Chameleon和Roman-empire上取得最优结果,在Texas上具有竞争力,并在同配引文网络上保持稳健精度。细粒度消融研究证实,可学习谱专家与全局门控的协同是性能提升的关键驱动因素,谱专家在强异配图上贡献高达8.55%的准确率提升。

研究局限性包括:尽管采用线性注意力,门控网络的计算开销仍高于简单MLP路由器,可能限制在超大规模图(百万级节点)上的可扩展性;当前专家选择仅在节点层面进行,边级或子图级路由可能提供 Finer粒度;评估集中于节点分类任务,向链接预测和图分类的拓展尚待未来工作。未来研究方向包括:研究稀疏注意力机制以进一步降低全局门控网络复杂度;将SS-AdaMoE框架扩展至归纳学习设置及其他图任务;在更广泛的异配基准上评估,包括近期文献中识别的模糊型和恶性异配类别。

研究结论部分原文翻译如下:在本文中,研究人员提出了SS-AdaMoE,一种旨在解决GNNs在处理多样化图模式时适应性局限的新型混合专家框架。通过构建空间-谱双域专家系统,研究人员成功弥合了空间聚合与谱滤波之间的差距。具体而言,可学习伯恩斯坦多项式滤波器的引入使模型能够自适应捕获高频和带通信号,这些信号对异配图至关重要却被传统方法所忽视。此外,研究人员设计的分层全局先验门控网络——由复杂度为O(Nd2)的线性图变换器增强——解决了现有路由机制的短视性,确保专家选择受全局结构上下文和局部特征共同引导。在五个基准数据集上的大量实验证明了该框架的优越性。SS-AdaMoE在Actor、Chameleon和Roman-empire上取得了所有对比方法中的最佳结果,在Texas上具有竞争力,同时在同配引文网络上保持了稳健的准确率。细粒度消融研究证实,可学习谱专家与全局门控的协同是这些性能增益的关键驱动因素,谱专家在强异配图上贡献了高达8.55%的准确率提升。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号