带有残差连接的Kolmogorov-Arnold网络在Besov范数下的逼近速率与样本复杂度

《Neural Networks》:Approximation Rates in Besov Norms and Sample-Complexity of Kolmogorov-Arnold Networks with Residual Connections

【字体: 大 中 小 】 时间:2026年03月09日 来源:Neural Networks 6.3

编辑推荐:

  受Kolmogorov-Arnold叠加定理启发,Kolmogorov-Arnold网络(KANs)近年来已成为大多数深度学习框架的改进骨干,通过允许可训练的基于样条的激活函数,承诺比其多层感知机(MLP)前身更具适应性。研究人员通过证明KAN架构能够以关于任

  
受Kolmogorov-Arnold叠加定理启发,Kolmogorov-Arnold网络(KANs)近年来已成为大多数深度学习框架的改进骨干,通过允许可训练的基于样条的激活函数,承诺比其多层感知机(MLP)前身更具适应性。研究人员通过证明KAN架构能够以关于任意较弱Besov范数Bp,qα(X)的最优逼近速率,在Rd中的有界开集甚至分形域X上最优地逼近Bp,qs(X)中的任何Besov函数(其中α<s),从而探究了其理论基础。研究人员通过界定相关残差KANs(Res-KANs)类别的伪维度(pseudodimension)来补充逼近结果,提供了统计保证。作为后者的应用,研究人员直接推导出了从无噪声训练数据中学习具有高正则性的Besov函数的残差KAN模型的样本复杂度(sample complexity)的无维度估计,表明KANs能够学习它们所能逼近的光滑映射。
该论文针对Kolmogorov-Arnold网络(KANs)的理论基础进行了深入探究,旨在解决现有理论支持在处理偏微分方程(PDE)类型问题时存在的局限性。当前,尽管KANs在表达能力上得到了Kolmogorov-Arnold表示定理的支持,但大多数理论结果主要集中在函数的复合形式逼近、Lp范数下的保证,或是展示特定激活函数实现叠加表示的能力。然而,在物理、工程、生物和金融等领域的PDE应用中,不仅需要逼近函数本身,通常还需要AI模型收敛于目标函数的高阶导数。此外,现有的KAN逼近理论多局限于有界开域,缺乏对更复杂域(如分形域)以及更精细的函数空间(如Besov空间)的考量。为此,研究人员开展了关于带有残差连接的KANs(Res-KANs)在Besov空间框架下的逼近能力与统计学习性质的研究,相关成果发表在《Neural Networks》。
在研究过程中,研究人员采用了若干关键技术方法。首先,基于基数B样条(cardinal B-splines)构建了Res-KAN模型,引入了层间残差连接。其次,研究框架涵盖了有界开Lipschitz域以及Ahlfors n-正则分形域上的Besov空间理论。核心分析技术包括对Res-KANs类的伪维度进行界定,并利用这些界限推导PAC可学习性(PAC-learnability)保证。此外,研究人员还运用了Besov空间插值理论和Sobolev扩展算子来处理不同定义域上的逼近问题。
研究结果表明:
Main Results
研究人员提出了主要的逼近定理(Theorem 1),证明了对于任何Besov函数f∈Bp,qα?(X),其中α?根据定义域是(?,δ)-域还是Ahlfors正则分形域而取不同定义,均存在一个Res-KAN f^,能以低于给定误差?的程度在Bp,qr(X)范数下逼近f。该网络的宽度和参数数量被严格界定,显示出最优的逼近速率。
Statistical Guarantees
研究人员推导出了Res-KANs的伪维度界限(Lemma 6),这是文献中首次为KANs提供的统计保证。基于此,研究人员得出了从高维无噪声样本中学习Besov函数的样本复杂度界限(Theorem 2),证明了在高光滑性区域下,该复杂度不随维度增加而呈指数级诅咒。
Conclusion
研究人员总结了理论发现,确立了KANs在Besov函数逼近上的理论基础,展示了其在有界甚至分形域上达到最优逼近速率的能力,并提供了维度无关的样本复杂度估计。
Uncited Float
文中包含未引用的图表浮动内容,如图C.2。
CRediT authorship contribution statement
Anastasis Kratsios负责初稿撰写、软件、方法论、形式分析和概念化;Bum Jun Kim负责审阅编辑、初稿撰写、调查和形式分析;Takashi Furuya负责审阅编辑、调查、形式分析和概念化。
Declaration of competing interest
作者声明不存在已知的竞争性财务利益或个人关系影响本研究工作。Anastasis Kratsios报告获得了McMaster University的财政支持。
Acknowledgements
作者感谢Yao Liding关于欧几里得域上Sobolev扩展算子的反馈。A. Kratsios获得了NSERC Discovery Grant No. RGPIN-2023-04482和No. DGECR-2023-00230的资助。资源由安大略省、加拿大政府通过CIFAR以及赞助Vector Institute的公司提供。
综上所述,该研究通过引入残差连接并结合Besov空间理论,显著拓展了KANs的理论适用范围,从传统的Lp逼近提升到了更高阶的Besov范数逼近,并首次给出了相应的统计学习保证,为KANs在科学计算和高维函数逼近领域的应用奠定了坚实的理论基石。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号