迈向可持续联邦学习:能耗与实验实践综述
《Sustainable Computing: Informatics and Systems》:Towards sustainable Federated Learning: A survey on energy and experimental practices
【字体:
大
中
小
】
时间:2026年09月24日
来源:Sustainable Computing: Informatics and Systems 3.8
编辑推荐:
• 回顾联邦学习中能耗与实验实践。
• 阐明能源感知联邦学习研究中的目标、指标与方法。
• 识别实验验证与测量范围方面的不足。
• 总结可持续联邦学习设计的关键挑战与未来方向。
## 引言
机器学习(ML)已经发展到能够处理许多复杂问题,并为日常生活带来诸多便利。在集中式
• 回顾联邦学习中能耗与实验实践。
• 阐明能源感知联邦学习研究中的目标、指标与方法。
• 识别实验验证与测量范围方面的不足。
• 总结可持续联邦学习设计的关键挑战与未来方向。
## 引言
机器学习(ML)已经发展到能够处理许多复杂问题,并为日常生活带来诸多便利。在集中式机器学习中,本地设备将数据和请求发送到中央服务器进行处理。该服务器可以位于数据中心或云端,并且应包含一个机器学习模型。为了构建机器学习模型,该服务器必须收集训练数据。训练数据来自我们使用和与该应用交互的地方。由于这些数据通常无法持续存在于中央服务器上,从客户端向中央服务器发送这些数据将产生传输成本。此外,数据传输可能因信息缺失或法律及隐私限制而面临挑战,尤其是当敏感数据(如医疗记录或个人用户信息)无法共享或传输时。这种数据稀缺可能导致训练结果不理想,从而影响机器学习应用的整体有效性[1]。
此外,随着用户数量的增加,集中式计算和通信基础设施面临计算压力的问题。在这种情况下,联邦学习(FL)被提出并有望为解决这些问题带来方案[2]。它通过将训练移至数据端(用户设备上)而不是将数据移至训练端,实现了分布式数据上的机器学习。图1展示了这两种方法的区别。与传输数据集不同,联邦学习将专用模型分发到每个用户,使其能够在自己的设备上使用自己的私有数据进行本地训练。
然而,作为机器学习的一部分,联邦学习也面临可扩展性问题,涉及用户数量、模型复杂度以及系统运行的总能耗成本。文献[10]中提到了"RedAI"这一术语,指的是旨在通过海量计算能力提高准确率而忽略成本的AI研究——本质上是"购买"更强的结果。这不仅成本高昂,而且对自然资源包括能源的消耗也很大。
联邦学习在资源受限环境中引起了越来越多的关注,如物联网(IoT)、多接入边缘计算(MEC)和无线网络,由此产生了一批综述文献来探讨其挑战,包括能效等。在我们的检索过程中,也发现了其他与联邦学习能耗相关的综述。每篇综述都有其独特的关注点和贡献,我们在表1中进行了总结。表2展示了相关工作的对比表,以突出其差异。
[3]对适用于受限物联网设备端训练的联邦学习算法及其适用性进行了广泛概述。他们的工作分析了学习过程和优化技术,强调了能量受限场景中的新兴挑战。然而,该综述依赖基于专家选定文献库的临时分类法,没有明确的研究问题,难以系统评估其覆盖范围。
类似地,[4]进行了第一项专门针对能源受限物联网环境下联邦学习的系统映射研究。他们根据五个研究问题对67项研究进行了分类,强调了客户端选择和更新压缩等方法,并确定了模型规模缩减和去中心化学习等六个关键挑战。作者还强调了实验验证的重要性,指出了需要标准基准和真实世界测试环境。然而,他们将这些问题留作开放问题,未给出具体方向。
其他几篇综述将关注范围缩小到特定的系统环境或技术。[5]强调能效是联邦学习可扩展性的核心要求,回顾了用户调度、能源感知算法以及区块链和6G网络等新兴技术的集成策略。在多接入边缘计算(MEC)的背景下,[6]对能耗进行建模,并将节能联邦学习策略分为三大类:基于学习的方法、资源分配方法和客户端选择方法。这两篇综述都采用临时方法,没有正式的研究问题,且未明确报告覆盖时间段和主要来源数量,限制了可重复性和范围评估。
尽管上述综述主要从架构或算法角度关注能效,其他工作则探讨了联邦学习的轻量级模型和网络特定实现。[7]通过系统文献综述(SLR)回顾了针对物联网应用的轻量级联邦学习技术,强调了模型压缩、隐私保护以及动态环境下的部署。同时,[8]探讨了联邦学习在无线网络架构中的部署,探索了集中式和去中心化联邦学习框架。他们还评估了SWIPT、IRS和NOMA等新兴技术对联邦学习的增强作用,以提高通信效率和可扩展性。
尽管有如此多的综述,一个明显的局限是它们对实验验证和可重复性的关注有限,尤其是能耗影响方面。如表2所总结,大多数相关综述聚焦于算法分类和系统设计,但很少有系统性地洞察所提方法是如何进行实验验证的、使用了什么实验设置以及结果是否具有可比性或可重复性。实证方面,特别是标准评估方法和实际适用性,也仍然在很大程度上未被探索。
此外,大多数综述没有遵循具有明确研究问题的结构化方法,有些甚至没有报告所审阅主要来源的数量,这本身损害了透明度。相比之下,我们的工作通过系统映射研究来解决这一差距,设定了明确的研究问题,涵盖了2020至2024年的50项主要研究,并刻意保持环境无关性以避免范围偏差。除了编目录所提方法之外,我们系统地评估了实验是如何进行和报告的:使用了什么能耗测量实践,评估设置是否描述得足够详细,以及结果是否可以被复制或作为未来工作的基准。这种注重可重复性的视角提供了对联邦学习研究现状更为扎实的理解,并为设计实用且经过验证的节能框架构建提供了信息。
由于对资源限制和环境影响的担忧日益增加,本综述专注于能源感知联邦学习研究的实验方面。特别地,我们强调包含真实世界验证的工作,关注能耗如何被测量以及实验如何被进行和报告。
本文旨在回答以下问题:
**Q1:当前研究的目标和提案是什么?**
目标:阐明每项研究背后的目标,判断能源是主要约束条件、优化目标还是仅仅是副作用。这有助于将每项研究置于更广泛的背景中。
**Q2:考虑了哪些范围的能耗?**
目标:考察能耗测量的范围,这在研究中往往不一致。确定研究是否仅考虑计算能耗,还是包括端到端系统成本(如训练、通信、空闲时间),对于公平比较至关重要。我们还调查实际监测或优化了哪些资源类型。由于能耗可能来自多个来源(如CPU、GPU、网络、存储),此问题突出了研究是否涵盖完整系统还是仅覆盖子集。
**Q3:评估联邦学习性能时考虑了哪些因素?**
目标:识别使用了哪些性能和能耗指标。由于不同工作采用不同的评估策略(如收敛前的总能耗),这影响了结果的比较和泛化能力。
**Q4:能源感知和可持续联邦学习设计应考虑哪些关键方面?**
目标:突出能源感知联邦学习设计中的基本因素,包括节能策略、系统异构性、公平性以及碳足迹等环境关注。
**Q5:使用什么实验方法验证提案?能耗是如何被测量或估算的?这些研究提供了多高的可重复性支持?**
目标:解决常被忽视的实验验证问题。此问题旨在揭示能耗测量是如何执行的(如模拟、真实设备、估算),使用了什么工具,以及结果是否可以被复制。这直接关系到研究结果的可重复性和适用性。
**Q6:当前挑战和未来研究建议是什么?**
目标:总结更广泛挑战和未来方向,综合社区需要解决以推进的差距和机遇。
为了回答这些问题,我们对近期文献进行了结构化综述,包括论文选择、分类和批判性评估。我们不仅评估所提出的解决方案,还评估其验证方式,特别关注实验可重复性和实际部署方面。
本文的其余部分组织如下:第2节介绍我们的方法,包括论文选择和分类标准。第3节讨论主要发现,并配以可视化总结。第4节概述当前挑战并提出未来研究方向。最后,第5节总结全文。
## 方法
本节介绍了进行本综述所遵循的方法。
## 结果
本节通过讨论呈现结果、数据和图表。
## 挑战与研究建议
基于上述分析,我们总结了发现结果并提供总结性评论来回答Q6,重点关注面临的挑战和可能的未来方向。
## 结论
本文对联邦学习系统中的能耗进行了系统综述,特别关注实验实践和可重复性。我们考察了50项选定研究的目标,阐明了评估联邦学习性能的关键指标,并分析了文献中能耗是如何被测量和报告的。尽管近年来取得了进展,但在设计真实世界实验、标准化能耗建模以及应对碳排放、公平性等方面仍存在挑战。
## CRediT作者贡献声明
Mai Huong Do:撰写初稿、可视化、验证、方法论、调查研究、形式化分析、数据整理、概念化。
Millian Poquet:审阅与编辑、验证、监督、方法论、概念化。
Georges Da Costa:审阅与编辑、监督、方法论、概念化。
## 利益冲突声明
作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。
## 致谢
本工作由法国国家研究署(ANR)项目"推进联邦学习同时减少碳足迹"——DELIGHT(ANR-22-CE23-0024)资助。作者对本文件申请了CC-BY公共版权许可,并将对所有后续版本(包括从本次投稿产生的作者接受手稿)同样适用,以符合资助方的开放获取条件。
Mai Huong Do | Millian Poquet | Georges Da Costa
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号