具有插值功能的神经网络的锐度感知最小化收敛理论

《IEEE Transactions on Signal Processing》:Convergence Theory of Sharpness-Aware Minimization with Interpolating Neural Networks

【字体: 大 中 小 】 时间:2026年03月24日 来源:IEEE Transactions on Signal Processing 5.8

编辑推荐:

  Sharpness-Aware Minimization (SAM)在神经网络的平滑损失优化中的收敛率分析,提出浅层网络宽度下界Ω(1/T)和深层网络Ω(1/√T)的迭代收敛率?(1/T),首次建立SAM在训练损失上的理论界限,并发现逻辑损失函数可降低到常数宽度下界。

  

摘要:

我们提出了对“锐度感知最小化”(Sharpness-Aware Minimization, SAM)在神经网络和平滑激活函数下的应用进行理论分析。与以往在标准非凸平滑优化环境中研究静态点的方法不同,我们利用神经网络损失函数的内在特性,证明了在平滑损失函数和插值神经网络的条件下,训练损失平均值的收敛速率为 ?(1/T)。其中,T 表示总迭代次数。我们的分析基于类似自界的梯度和海森矩阵的属性,这将神经网络优化与一般的非凸平滑优化区分开来。我们的结果要求:对于浅层神经网络,宽度 m ≥ Ω(T);而对于深层神经网络(尽管具有略微不同的缩放结构),宽度 m ≥ Ω(T ? √)。在恒定学习率和小扰动参数的情况下,这一宽度要求可以进一步降低到 m ≥ ?(1)。据我们所知,我们的研究结果是首次针对神经网络训练损失界限的 SAM 方法的相关成果。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号