具有插值功能的神经网络的锐度感知最小化收敛理论
《IEEE Transactions on Signal Processing》:Convergence Theory of Sharpness-Aware Minimization with Interpolating Neural Networks
【字体:
大
中
小
】
时间:2026年03月24日
来源:IEEE Transactions on Signal Processing 5.8
编辑推荐:
Sharpness-Aware Minimization (SAM)在神经网络的平滑损失优化中的收敛率分析,提出浅层网络宽度下界Ω(1/T)和深层网络Ω(1/√T)的迭代收敛率?(1/T),首次建立SAM在训练损失上的理论界限,并发现逻辑损失函数可降低到常数宽度下界。
摘要:
我们提出了对“锐度感知最小化”(Sharpness-Aware Minimization, SAM)在神经网络和平滑激活函数下的应用进行理论分析。与以往在标准非凸平滑优化环境中研究静态点的方法不同,我们利用神经网络损失函数的内在特性,证明了在平滑损失函数和插值神经网络的条件下,训练损失平均值的收敛速率为 ?(1/T)。其中,T 表示总迭代次数。我们的分析基于类似自界的梯度和海森矩阵的属性,这将神经网络优化与一般的非凸平滑优化区分开来。我们的结果要求:对于浅层神经网络,宽度 m ≥ Ω(T);而对于深层神经网络(尽管具有略微不同的缩放结构),宽度 m ≥ Ω(T ? √)。在恒定学习率和小扰动参数的情况下,这一宽度要求可以进一步降低到 m ≥ ?(1)。据我们所知,我们的研究结果是首次针对神经网络训练损失界限的 SAM 方法的相关成果。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号