多样性感知差分进化(Diversity-Aware Differential Evolution, DADE)赋能的树突学习

《IEEE Access》:Dendritic Learning Empowered by Diversity-Aware Differential Evolution

【字体: 大 中 小 】 时间:2026年03月10日 来源:IEEE Access 4.2

编辑推荐:

  摘要:受生物神经元结构启发且以其优越的非线性信息处理能力著称的树突神经元模型(Dendritic Neuron Model, DNM),是经典McCulloch–Pitts神经元模型的一种有前景的替代方案。然而,其实际应用常受传统反向传播(Backpropag

  
摘要:受生物神经元结构启发且以其优越的非线性信息处理能力著称的树突神经元模型(Dendritic Neuron Model, DNM),是经典McCulloch–Pitts神经元模型的一种有前景的替代方案。然而,其实际应用常受传统反向传播(Backpropagation, BP)算法的局限所制约,包括梯度消失、过度依赖梯度信息以及在高度非凸优化任务中适应性不足等问题。为解决上述缺陷,研究人员提出了一种多样性感知差分进化(Diversity-Aware Differential Evolution, DADE)算法,这是一种专为DNM训练设计的新型进化学习框架。DADE采用种群多样性感知的自适应变异策略,其中变异因子从柯西分布(Cauchy distribution)采样,经非线性激活函数变换以保证稳定性,并根据实时多样性度量动态调整以防止早熟收敛。精细化的种群分组机制进一步平衡全局探索与局部开发,而历史参数更新则增强整个优化过程中的自适应性。在多个不同分类数据集上的广泛实验表明,DADE在准确率、稳定性和泛化能力方面均持续优于基于BP的训练方法及常规进化算法。
论文解读:Diversity-Aware Differential Evolution赋能的树突神经元模型训练研究
《IEEE Access》刊发的本研究针对树突神经元模型(Dendritic Neuron Model, DNM)采用反向传播(Backpropagation, BP)训练时存在的梯度消失、依赖可微性、易陷入局部极小及生物不合理性等问题,提出用完全无梯度的多样性感知差分进化(Diversity-Aware Differential Evolution, DADE)算法替代BP来优化DNM的可训练参数(突触权重aij与树突阈值bij)。DNM模拟生物神经元的突触—树突—胞体三级处理层级,各树突分支对输入做乘法整合(类AND),胞体对各分支输出做加法整合(类OR)后经Sigmoid激活输出,具备单神经元实现复杂非线性及逻辑运算的能力,但参数优化困难。研究人员通过引入柯西分布采样变异因子并经Sigmoid约束,结合基于种群各维标准差计算的实时多样性指标来自适应放大变异强度以防早熟收敛,并设计按适应度排序的分组进化策略,实现了对DNM参数的高效全局寻优。实验在Australia、BUPA、BreastEW、CongressEW、Exactly、German、Heart、KrVsKpEW、Tic-tac-toe及Gaussians共10个UCI二分类基准数据集上,将DADE训练的单树突或多树突DNM与BP、MaDE、BBO、CJADE、IFDE、SCJADE、SEDE、SHADE等对照算法比较,经30次独立重复以均值±标准差记录测试准确率,并做Wilcoxon符号秩检验与Friedman检验验证统计显著性,同时对训练后DNM做树突修剪与逻辑电路映射以实现可视化与可解释性分析。结果表明DADE在多数数据集上取得最高或次高准确率(10个数据集中5项第一、3项第二),平均排名2.2为全体最优,Wilcoxon与Friedman检验证实其显著优于多数对照算法(p<0.05);收敛曲线显示DADE后期超越最强对照MaDE,箱线图表明DADE结果分布更集中、离群值更少;移除多样性感知模块后部分数据集性能下降,证实该机制有效性;DADE训练后可经由兴奋/抑制突触判定准则修剪恒活或恒死的树突分支,最终映射为紧凑AND-OR逻辑电路(以Australia数据集为例原始约70个突触经进化筛选仅保留X4、X7、X8、X12四个特征对应突触,剪枝率约91%),直观展现DNM的特征选择逻辑与生物可解释性。研究表明,DADE为DNM及其他百至数千参数的小规模分类模型提供了一种无梯度、抗早熟、高精度且能诱导稀疏可解释结构的优化新范式。
主要关键技术方法:
研究人员采用种群编码DNM全部突触权重aij与阈值bij(初始化于[-1,1]均匀分布),每代先计算种群各维度标准差取平均得多样性指数δ(t),与初始均匀分布理论标准差σ0=2/√3相比得多样性比r(t);变异因子F从Cauchy(μ,σ=0.5)采样后经Sigmoid映射至(0,1),若r(t)< />(t)>0.3则以系数η=0.2自适应放大F;种群按适应度降序排列后分组,各组独立执行"best/1/bin"式变异—交叉生成试验向量,DNM前向计算分类错误率为适应度,贪心选择更新种群,成功变异因子记入记忆以调整Cauchy位置参数;最大函数评估次数设30000次,最终输出历代最优参数供测试。超参数(σ,τ,η)经由BOHB(Bayesian Optimization and Hyperband)自动确定。对照实验基于相同DNM结构与10折分层抽样(70%训练/30%测试)开展。
研究结果
SECTION I. Introduction
介绍深度学习依赖工程驱动设计忽视生物机理,DNM作为仿生替代具多分支树突与非线性整合优势,但BP训练遇梯度消失、不可微限制、局部极小及生物不合理四大问题,引出无梯度进化算法特别是差分进化(Differential Evolution, DE)适合DNM高度非凸曲面,指出现有DE易早熟,从而提出DADE三大创新——柯西变异+Sigmoid稳定化+多样性感知自适应调节——并列出四点贡献:用全进化框架替BP、提出多样性调制DE变体、十数据集验证优越性、可视化兴奋/抑制树突通路。
SECTION II. Preliminaries
阐述DNM数学模型:式(1)突触层Sigmoid变换Vij=1/(1+exp[-α(aiju-bij)]),式(2)树突分支乘法整合Zij=∏pr=1V(r)ij,式(3)胞体加法整合H=∑Bj=1Zj,式(4)胞体Sigmoid输出Y=1/(1+exp[-β(H-θ)]),说明aij、bij符号组合对应兴奋/抑制突触及逻辑门类比。
SECTION III. Diversity-Aware Differential Evolution Algorithm
详述DADE流程:(A)初始化个体Xg编码{a11…aNB, b11…bNB}∈[-1,1]D;(B)柯西分布采Fraw~Cauchy(μ,0.5)再φ=1/(1+exp(-Fraw))约束至(0,1);(C)按式(10)(11)算各维标准差sd(t)与平均δ(t),式(12)r(t)=δ(t)/σ0,若r(t)<0.1且ρ(t)>0.3按式(14)放大φ,上限截断为1;种群按适应度分组分别做DE/rand/1或best/1变异与二项交叉CR=0.9,选择更新,记忆成功F更新Cauchy参数μ;(D)时间复杂度O(G·D·T)、空间复杂度O(G·D),与标准DE同阶。
SECTION IV. Experiment Results
(A)实验设置:十UCI二分类数据集,70%训练30%测试,30次独立运行,对照BP、MaDE、BBO、CJADE、IFDE、SCJADE、SEDE、SHADE。
(B)总体性能比较:DADE在BreastEW(93.45%)、Exactly(77.78%)、German(75.73%)、KrVsKpEW(82.13%)、Tic-tac-toe(84.64%)居首,Australia、CongressEW、Heart居次,10数据集综合最优,BP显著落后。
(C)统计显著性分析:Friedman检验DADE平均秩2.2最低,Wilcoxon配对检验DADE显著优于多数对照(Wins>Ties>Losses模式),Bonferroni/Holm/Hochberg校正后p<0.05仍显著。
(D)收敛性与鲁棒性分析:KrVsKpEW收敛曲线DADE最终超越MaDE获最高精度;箱线图DADE四分位距窄、离群少,证明多样性感知提升稳定性。
(E)神经元可视化:Australia数据集训练后按w、q关系判定兴奋(w>q>0)/抑制(w< />
(F)消融实验:去除多样性感知(DADE w/o diversity)在6/10数据集上精度低于完整DADE,证实多样性机制贡献。
(G)可解释性分析:Australia实例初约70突触经DADE训练与剪枝仅留X4、X7、X8、X12四特征对应突触(剪枝率≈91%),形成多层AND汇聚结构,突触阈值直接对应生物门控功能,权重矩阵热图显示诱导出稀疏有意义连接。
讨论与结论翻译(Conclusion节浓缩):
研究人员提出了一种多样性感知差分进化(Diversity-Aware Differential Evolution, DADE)算法——一种用于训练树突神经元模型(DNM)的无梯度学习框架以替代传统反向传播(BP)。该算法将柯西分布采样与非线性激活相结合生成有界变异因子,并融入种群多样性感知调节机制以动态平衡全局探索与局部开发。在十个分类基准数据集上的广泛实验表明,DADE较七种竞争性学习算法(含BP及多种先进进化算法)持续获得更优准确率与鲁棒性,在具复杂或不平衡分布的数据集上优势尤为明显;Wilcoxon与Friedman统计检验确认改进具显著性而非偶然;所学树突结构显示DNM具增强的可解释性与结构紧凑性。当前DADE面向百至数千参数量的DNM及同类模型验证,极高位参或强噪场景尚需额外稳定机制;未来拟扩展至多标签分类、大规模应用、注意力或自适应特征加权策略,以及神经形态硬件友好优化。
(全文严格依据原文凝练,未添加推测性内容,专业术语首次出现标注英文缩写,上标下标以标记,去除文献与图表引用标记。)
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号