使用伪归一化方法缓解梯度消失问题

《Entropy》:Mitigating the Vanishing Gradient Problem Using a Pseudo-Normalizing Method

【字体: 大 中 小 】 时间:2026年01月02日 来源:Entropy 2

编辑推荐:

   摘要 在训练神经网络时,激活函数的选择会对其性能产生很大影响。如果激活函数的导数较大,可能会导致后续层的系数偏离计算出的方向,从而使深度学习的训练变得更加困难。然而,如

  

摘要

在训练神经网络时,激活函数的选择会对其性能产生很大影响。如果激活函数的导数较大,可能会导致后续层的系数偏离计算出的方向,从而使深度学习的训练变得更加困难。然而,如果激活函数的导数值小于一,则可能会出现梯度消失的问题。为了解决这个问题,我们提出使用伪归一化方法,通过将梯度除以均方根来放大某些梯度。这种放大操作每隔几层进行一次,以确保梯度幅度大于一,从而避免梯度消失的情况并防止梯度爆炸。我们将这种方法成功应用于多个使用双曲正切激活函数的深度学习网络中,用于图像分类任务。为了更深入地理解该算法,我们采用了可解释性技术来分析网络的预测结果。我们发现,与那些学习图片特征的热门网络不同,这些网络主要利用图像的轮廓信息来进行分类。这表明我们的技术可以与其他广泛使用的算法结合使用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号