《Neurocomputing》:Efficient on-device continuous learning enabling evolutionary edge intelligence
编辑推荐:
BiMemNet基于人脑记忆编码与任务特定路径机制,通过高斯混合分布压缩多尺度特征数据存储,减少160倍训练数据存储需求,同时利用独立参数路径和动态门控机制防止灾难性遗忘,在Jetson边缘平台上实现2.3%额外计算复杂度下零级遗忘率,并显著降低能耗和提升收敛效率。
Xinxin Li|Yifan Zhang|Fei Zhou|Peng Zhang|Xinglong Ji
清华大学精密仪器系,北京,100084,中国
摘要
设备上的持续学习受到计算资源有限、模型僵化、训练效率低下以及灾难性遗忘问题的限制。相比之下,传统的范式(如基于云的训练后进行边缘部署或云-边缘协作训练)并不能充分满足实时处理、隐私保护和边缘自主适应的需求。为了克服这些限制,我们提出了BiMemNet框架,该框架借鉴了人脑中的记忆编码和任务特定路径机制。记忆编码使用高斯混合分布处理多尺度、高维特征,生成多个低维潜在嵌入,从而实现显著的数据压缩并减少分布偏差。这种方法使训练数据存储的压缩率高达160倍。此外,任务特定的路径机制严格隔离了跨任务参数,有效防止了灾难性遗忘。我们在NVIDIA JETSON边缘计算平台上验证了BiMemNet的可行性。与表现良好的基线方法相比,我们的设计在计算复杂度仅增加2.3%的情况下,遗忘率接近于零,可训练参数仅增加了0.47%。我们的训练过程比基于云的训练节省了39.53%的电力,比云-边缘协作训练节省了14.88%的电力。此外,BiMemNet的收敛效率提高了11%,而推理精度仅降低了1%。实验结果表明,BiMemNet优于传统的部署范式,为资源受限设备提供了终身学习的解决方案。
引言
预训练的视觉模型[1]、[2]、[3]通过在大规模数据集[4]、[5]、[6]上的训练获得了可泛化的特征表示,为下游任务提供了坚实的基础。然而,当这些模型部署在边缘设备上时,数据分布通常与云训练环境有很大差异,导致模型性能显著下降。为了解决这一挑战,需要对模型进行边缘适应,例如通过微调来使其与新数据相匹配。基于云的微调方法需要大量的内存和计算资源[7],这限制了边缘设备自主升级和适应的能力。云-边缘协作方法通过交换样本[8]、[9]、任务[10]、[11]、[12]或特征[13]、[14]、[15]、[16]来促进服务器和边缘设备之间的交互。然而,这种适应需要频繁与云通信,从而导致显著的时间消耗。
设备上的学习使得模型能够在较小的预算下进行训练和微调[17]、[18],从而快速适应用户的个性化需求和新数据分布。这种转变从传统的云训练和边缘部署范式转向了云预训练结合边缘持续学习的模式,有效解决了实际场景中常见的长尾分布问题[19]。此外,这项技术在机器人等领域具有重要的应用价值,它使设备能够在运行过程中进化,加速模型迭代,并为多个行业的智能发展带来新的机会。
设备上的学习由于存储和计算资源有限而面临重大挑战。以下是主要挑战:
(1) 边缘设备的有限内存容量要求在训练过程中使用小批量数据,这大大减缓了收敛速度并影响了训练精度。受限于片外存储,难以容纳大规模数据集和网络。因此,基于重放[20]、[21]、[22]的方法或基于动态架构[23]、[24]的方法变得不可行。这些限制阻碍了模型整合历史知识和适应新数据的能力。
(2) 边缘设备主要针对推理进行优化,通常配备低精度的推理加速单元。训练所需的高精度计算资源有限,导致高通量计算效率低下。因此,训练时间延长,难以满足边缘应用的实时需求。
(3) 存储和计算的共同限制进一步降低了训练效率,延长了模型迭代周期。边缘设备在模型迭代过程中经常出现长时间的等待和潜在的任务中断,导致不必要的功耗。这些因素影响了能效和设备稳定性。
相比之下,人脑能够在仅约20瓦的功耗下实现高效的持续学习[25]、[26],在不中断现有任务的情况下迅速提升其能力。这种效率得益于大脑中多种学习和记忆机制的协同作用。基于这些见解,我们提出了一个设备上的持续学习框架BiMemNet。BiMemNet的核心概念是利用预训练模型的特征提取能力,通过专门的结构设计实现高效的特征存储和任务适应。其主要特点和贡献包括:
(1) 为了数据表示,我们开发了一个记忆编码模块(MEM),用于概率建模预训练模型产生的多尺度特征。MEM通过多轮最大似然估计生成最优的低维潜在嵌入。这些潜在嵌入存储在内存池中,作为设备上学习的输入。MEM用三组高斯分布参数替换了原始的高维特征参数,通过丢弃冗余维度实现了高压缩率,并减少了训练过程中的分布变化影响。
(2) 为了减轻灾难性遗忘,我们在特定的卷积层之后引入了任务特定的生成模块和数据感知的门控模块。这些模块为每个新任务自动激活一条专用路径,BiMemNet为重新编程分配独立的参数路径并通过门控机制激活相应的卷积滤波器。通过这种方式,我们隔离了不同任务的学习过程,保持了现有任务的性能。
基于这两个核心机制,我们在NVIDIA JETSON ORIN NX边缘平台上实现了并评估了BiMemNet。与表现良好的基线方法相比,BiMemNet的可训练参数仅增加了约0.47%,将训练数据的存储需求减少了大约160倍,并将训练收敛效率提高了11%,同时推理精度仅降低了约1%。此外,在连续学习10个任务时,额外参数仅占BiMemNet参数的4.7%(BiMemNet共有6815万个参数)。此外,遗忘度(FM)接近于零,不变性度(IM)仅为0.06。这些结果表明,BiMemNet有效克服了边缘设备在存储和计算资源方面的限制,为实际应用中的持续学习提供了有力支持。
部分片段
基于云的训练与边缘部署
在这种范式中,模型在云中使用大规模集中式数据集进行离线训练。训练完成后,模型被部署到边缘设备上进行推理,进一步通过量化、剪枝和蒸馏进行优化[27]、[28]。这种方法利用了云的计算资源和大量数据,提高了计算效率和模型精度。尽管有这些优势,但仍存在一些限制。云中训练数据的分布
问题表述
对于实现设备上持续学习的场景,我们定义了以下问题。用 表示初始权重空间,属于 -任务的传入训练数据可以表示为: