适用于端边云架构的半异步、能效高的联邦原型学习方法
《Future Generation Computer Systems》:Semi-Asynchronous Energy-Efficient Federated Prototype Learning for End-Edge-Cloud Architectures
【字体:
大
中
小
】
时间:2026年01月04日
来源:Future Generation Computer Systems 6.2
编辑推荐:
半异步联邦原型学习框架 FedSAE 通过端-边-云架构优化工业物联网中的异构模型与数据不平衡问题,结合动态电压频率调整(DVFS)技术降低能耗,实验表明其相比传统方法在准确率和能效上均有显著提升。
罗文迪安|余彤|戴胜新|郭冰|林学森|蒲阳林
四川大学计算机科学学院,中国成都,610065
摘要
随着工业4.0的快速发展,工业物联网(IIoT)整合了人工智能(AI)技术,显著提升了生产过程的智能化水平。然而,这一进步也导致了数据生成速度的加快以及工业场景中对数据处理需求的增加。这使得边缘设备和云服务器持续处于高负载运行状态,从而增加了碳排放,并引发了数据安全方面的担忧。在IIoT框架中实施联邦学习(FL)可以有效分配客户端和服务器之间的计算负担,解决隐私问题并提高能源效率。但在一个以异构AI模型和不平衡数据为特征的IIoT系统中,同时实现能源效率和模型性能的提升是一个挑战。我们提出了一种半异步、高能效的联邦原型学习方法,该方法专为应对这些挑战而设计,适用于端-边-云架构。该方法上传数据分布而非原始数据以保护隐私,并利用动态电压和频率调节(DVFS)技术在训练过程中管理功耗,从而实现最佳能源效率。为了提升模型性能,我们通过从客户端收集特征分布数据、在云服务器上生成虚拟样本以及训练全局分类器来促进本地客户端学习。我们的实验涵盖了多种数据集,包括工业数据集和大规模异构场景,结果表明,与竞争方法相比,所提出的方法能够提高模型准确性并显著降低能耗,从而验证了其在现实世界多样化环境中的适用性。
引言
学术界目前正在探索工业4.0的愿景[1],重点关注可持续性、韧性和以人为中心的价值观。在工业4.0的背景下,核心概念是通过整合先进技术[2][3](如工业物联网(IIoT)、人工智能(AI)、机器人技术和物联网(IoT)来实现零浪费和最小化成本的定制化生产[4]。具体而言,AI技术通过处理大量实时数据来支持各种任务,如模式识别和决策制定,从而显著提升工业过程的智能化水平[5]。尽管传统的集中式学习范式(如云计算)具有资源共享和高度可扩展性等优势,但它引发了数据隐私和安全方面的担忧[6]。此外,由于传输成本增加和延迟,云计算在满足IIoT数据的即时处理需求方面面临挑战,这直接影响了能源消耗和碳排放。
为了提高数据保护和计算效率,谷歌于2016年首次提出了联邦学习(FL)[7],该方法结合了云计算和边缘计算进行分布式学习,并在云端聚合模型。其范式得到了积极发展,涵盖了从无监督学习到自监督学习的各种方法[8],引起了广泛关注。最近,FL已广泛应用于IIoT领域,例如安全保护和入侵检测[9][10]。在FL中,计算任务从云端转移到了边缘设备,减少了云服务器的高能耗。然而,正如刘[11]所展示的,许多长时间运行的边缘设备仍然会产生大量且难以估计的能耗。因此,迫切需要一种高效的通信策略和节能计算方法,以在不降低服务质量的前提下减少能耗和碳排放。
为了解决通信挑战,已经探索了多种架构。端-边-云分层架构[12][13][14]有效地解决了传统两层系统中通信效率与训练性能之间的权衡[11]。此外,去中心化的FL架构[15][16]实现了多设备之间的点对点协作,优化了分层框架中的两跳传输,同时进一步增强了隐私保护。已经开发了许多针对FL能效优化的算法。特别是动态电压和频率调节(DVFS)技术,通过调整设备运行频率来降低高频操作相关的能耗[17]。
然而,这些引入的架构仍面临重大挑战。首先,全局同步机制在设备性能异构和通信环境复杂的场景中难以实现高效聚合。此外,大多数架构[18][19]仅适用于同构模型,缺乏对异构模型设置的足够适应性[20]。现有的节能方法依赖于执行时间的静态估计[17],但实际上设备架构和工作负载的变化等因素会显著影响训练时间。理论上计算出的最佳频率往往会导致能源效率不佳。因此,设计能够在复杂场景中平衡模型准确性和能耗的架构至关重要。
为了解决上述挑战,我们提出了FedSAE,这是一种高能效的联邦原型学习方法,它在端-边-云分层架构中采用了半异步聚合策略。我们的方法共享的是类级统计信息——具体来说是嵌入向量的协方差摘要——而非原始数据,从而确保了隐私保护。该方法解决了数据不平衡和模型异构性问题,同时减少了无线通信负担。当启用协方差传输时,客户端会上传这些额外信息,从而产生额外的上行链路成本。我们证明了这种微小的开销是值得的。我们引入了一种异步全局聚合方法,避免了全局同步带来的延迟,有效利用了计算资源并降低了能耗。模型聚合在边缘层同步进行,同时利用DVFS技术进一步降低了能耗。本文的贡献包括:
•提出了一种原型FL方法,该方法仅上传关注隐私的数据分布信息到云端训练全局分类器,进而指导本地客户端训练,从而提高了原型聚合的有效性和模型准确性。
•我们用半异步聚合替代了全局同步聚合,从而在不解决复杂 staleness 问题的情况下实现了与同步聚合相当的模型准确性。
•对于连接到同一边缘服务器的客户端,空闲时间是指最慢客户端的训练时间与每个客户端自身训练时间之间的差值。DVFS利用这段时间来节省能源。
•与流行的异构FL方法相比,实验结果表明,所提出的方法提高了模型准确性并实现了显著的能源节省,在大规模异构环境中进行的额外实验进一步验证了其有效性。
章节片段
异构联邦学习
随着数字化和智能技术的进步,许多物联网设备在全球范围内分布,收集了有价值且敏感于隐私的数据。FL作为一种有前景的范式,能够在保护数据隐私的同时在这些边缘设备上训练大型模型。然而,传统的FL方法(如FedAvg [7])在面对实际场景中的统计异构性、模型异构性和设备异构性时,性能会显著下降,通信成本也会增加
动机
在异构工业场景中,客户端上传异构模型的参数并在云端进行聚合是不切实际的。联邦原型学习方法通过在云端聚合全局原型并指导本地客户端训练,有效地解决了模型异构性问题,显著减少了通信开销。具体而言,基于原型的FL要求客户端仅上传每个类别的平均原型,通常只有几十KB
方法
在本节中,我们将详细描述所提出的算法,涉及的关键符号列在表1中。
数据集和算法实现
我们使用六个流行的基准数据集评估了所提出的方法,包括MNIST [39]、FashionMNIST [40]、CIFAR-10 [41]、CIFAR-100 [41]以及带有或不带背景(WB/WoB)[42]的合成工业零件数据集(SIP-17),该数据集包含17个类别。在我们的实验中,我们使用了SIP-17的官方预处理过的15个类别子集,并将其图像大小调整为32×32像素,以匹配CIFAR-10/CIFAR-100的输入尺寸。客户端数据集被划分为训练集和测试集,比例为3:1
局限性
我们的方法依赖于上传类级协方差矩阵来缓解类别不平衡问题。然而,这种设计引入了额外的、但可以忽略不计的客户端计算开销,并且与仅传输类别均值的基本FL方法相比,它在一定程度上增加了通信开销。我们的实验表明,低维原型已经能够实现高准确性;因此,我们认为这种轻微的通信开销增加是可以接受的。
其次,我们的方法
结论
随着工业物联网(IIoT)的快速发展,如何在保持高性能的同时确保数据隐私并最小化碳排放已成为一个关键的研究挑战。在这项研究中,我们提出了一种半异步、高能效的框架,利用联邦原型学习来应对异构模型和不平衡数据分布带来的挑战。通过利用无偏特征分布信息,我们在云服务器上生成虚拟特征以训练全局模型
CRediT作者贡献声明
罗文迪安:撰写——原始草稿,软件实现。余彤:数据整理。戴胜新:撰写——审稿与编辑,监督,资金获取。郭冰:监督。林学森:验证。蒲阳林:软件实现。
利益冲突声明
作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号