HiFEL-OCKT:一种分层联邦边缘学习方法,旨在实现目标一致性及多级知识传递,以支持物联网生态系统的发展

《Internet of Things》:HiFEL-OCKT: Hierarchical Federated Edge Learning with Objective Congruence and Multi-Level Knowledge Transfer for IoT Ecosystems

【字体: 大 中 小 】 时间:2026年01月04日 来源:Internet of Things 7.6

编辑推荐:

  物联网异构环境中的分层联邦学习与多级知识转移方法,有效提升边缘智能实时决策与计算效率,实验验证性能提升达87.57%和4.38倍速度优化。

  
Ahmed-Rafik Baahmed|Jean-Fran?ois Dollinger|Mohamed-el-Amine Brahmia|Mourad Zghal
CESI, CESI LINEACT UR 7527, 斯特拉斯堡, 法国

摘要

物联网(IoT)数据的爆炸性增长以及对实时决策的需求,迫切需要边缘智能来克服仅依赖云处理的延迟和带宽限制。现实世界的IoT生态系统具有高度异构性,这源于各种设备、传感器、环境、数据、任务和资源的多样性,给边缘智能带来了通信和计算效率的挑战、可扩展性问题以及隐私问题。我们提出了HiFEL-OCKT,这是一种新颖的分层联邦边缘学习方法,旨在解决IoT生态系统的实际高异构性问题,同时实现高效的边缘智能。我们提出的HiFEL-OCKT方法的关键创新在于通过利用边缘层流动的宝贵知识,高效且可扩展地在边缘部署时间智能,我们通过学习目标的演变来定义这一知识,以确保通过目标一致的协作和多层次的知识传输实现强大的边缘个性化。通过对包括智能建筑和工业IoT在内的多个IoT领域的广泛实验,我们的HiFEL-OCKT方法展示了在不同生态系统设置中协作各种高度异构IoT设备的新能力。与现有技术相比,我们的方法在边缘知识个性化方面提高了87.57%,在本地训练方面实现了高达4.38倍的加速。

引言

现实世界的生态系统越来越多地利用物联网(IoT)、人工智能(AI)和大规模数据分析等尖端技术来优化系统性能、支持动态决策,并提高各个领域的服务质量和效率。如今,IoT生态系统已经超越了简单的数据收集和连接,越来越多地实现无需或只需少量人工干预的智能决策。这一转变主要得益于AI和机器学习(ML)在IoT平台中的整合,这使得各种领域的分析能力、预测能力和自主系统控制得到了增强。这种整合已经彻底改变了包括智慧城市[1]、智能建筑(SBs)[2]、建筑能源管理系统(BEMS)[4]、网络安全[5]和工业IoT[7]在内的许多现实世界领域。尽管在这些领域取得了进展,但IoT生态系统本质上仍然非常复杂。IoT基础设施依赖于一个密集且复杂的传感器和IoT设备网络,这些设备不断从本地环境中收集数据。传统上,IoT生态系统完全依赖于集中式计算,其中捕获的数据在边缘层进行预处理,然后将提取的信息发送到中央服务器进行进一步的密集计算。然而,依赖集中式计算意味着需要将所有数据收集到中央服务器,从而增加了通信开销、隐私风险,并缺乏实时处理能力。
AI在IoT生态系统中的整合仍然面临挑战,这些挑战包括对高效ML模型的需求、实时决策、低延迟处理、计算和通信效率以及隐私保护。为了解决这些问题,一方面,联邦学习(FL)应运而生,它能够在分布式节点之间实现协作智能,允许在不共享原始数据的情况下进行模型训练[8]。这确保了数据隐私、可扩展的学习过程参与,并提高了分布式计算的鲁棒性。另一方面,边缘AI作为一个新兴领域,专注于优化边缘设备的AI效率[9],使得计算智能能够更接近数据源和最终用户。两者的结合创造了联邦边缘学习(FEEL),这是一种强大的范式,能够在分布式边缘设备之间实现协作智能[10]。然而,边缘计算在计算能力、内存和存储方面存在显著的限制[11]。这些特性对边缘设备提出了严格的要求,需要它们部署轻量级的ML模型以进行设备上的训练和推理。
此外,IoT生态系统中的一个根本性挑战源于边缘的高异构性,即使在定义明确的应用领域内也是如此。首先,数据分布的异构性源于网络边缘数据生成的随机性。由于在现实世界部署中的空间分散,边缘设备在异构的本地环境条件下运行,从而产生非独立且非均匀分布(非I.I.D.)的数据流。其次,特征异构性是由于边缘之间传感器配置和能力的差异造成的。根据具体的部署环境和硬件规格,边缘设备可能配备有各种传感器模式[12]。第三,尽管在同一领域内具有通用性,但各个边缘设备旨在实现根本不同的分析结果,表现出目标和任务的异构性。这超出了捕获的数据特征或数据分布的变化,边缘设备表现出不同的输出空间和语义,以及特定于任务的学习。第四,与统一的数据中心不同,IoT边缘设备在资源能力和功率需求方面存在差异。这种资源差异需要使用不同的模型架构来确保高效运行,从而导致IoT生态系统内部模型异构性的出现。
在这种高度异构的环境中,由于边缘设备所在环境的独特条件和要求,它们协作学习ML模型变得具有挑战性。这反映了需要个性化的边缘处理,其中每个边缘设备都需要进行本地适应性操作。这进一步增加了可扩展性问题,边缘设备在边缘操作上下文方面存在不兼容性。因此,提高效率和鲁棒性成为难题,阻碍了系统整体的性能、可维护性和适应性。此外,IoT系统本质上是动态的、分布式的和时间敏感的;它们从异构来源生成连续的多变量时间数据流,具有时间和空间数据分辨率的特点。这种时间特性对于定义系统行为的语义至关重要。因此,时间推理是IoT生态系统中的基本智能[13]、[14]、[15],通过时间上下文意识、行为模式分析和事件序列推理来实现更准确的决策。然而,在边缘层面进行强时间推理具有挑战性,因为IoT数据的异构性和边缘资源的限制。这引发了关于计算成本高昂的时间模型实际部署的问题。在实时响应性和时间精度之间取得平衡需要在延迟和复杂性之间进行权衡,而在各种操作设置中实现泛化仍然是一个主要挑战。我们的动机是提出一种高度可扩展、自适应且高效的智能范式,用于IoT生态系统,同时解决上述挑战,通过利用边缘层流动的宝贵知识来实现强大的边缘个性化。
我们提出了HiFEL-OCKT,这是一种高效、可扩展且自适应的分层联邦边缘学习方法,具有目标一致性和多层次知识传输,适用于IoT生态系统。我们利用IoT生态系统中的边缘计算,提高实时决策和低延迟处理能力,同时通过分布式边缘设备之间的目标一致性实现协作知识传输。我们提出了一种自适应的个性化模型设计,通过不同边缘任务之间的多层次协作来传输编码在梯度中的知识。我们确保(i)网络边缘的个性化ML模型,同时克服(ii)数据分布的异构性;(iii)特征的可变性;(iv)任务和目标的多样性;以及(v)模型的异构性。此外,我们保证(vi)整个生态系统的计算和通信效率,以及(vii)高可扩展性的隐私保护。此外,通过在边缘层进行高效的时间推理部署,我们确保(viii)基于边缘AI的强大且实时的决策制定,通过其在不同IoT生态系统中的适应性和可扩展性增强了HiFEL-OCKT的实用性。
总之,我们的主要贡献有三个方面:
  • •
    我们提出了TempAtt-MTL,这是一种基于时间注意力的新多任务学习模型设计,用于在边缘层高效且个性化地部署时间智能。
  • •
    我们引入了HiFEL-OCKT,通过基于目标一致性聚类的新聚合策略HiFedOCCA实现三级知识传输,通过研究学习目标相对于初始参考模型的演变,以及我们提出的多梯度聚合方法EucNorm2-PGD。
  • •
    我们在包括智能建筑和工业IoT在内的多个IoT领域进行了广泛实验,使用了异构的现实世界数据集,发现了我们的HiFEL-OCKT方法在不同生态系统设置中协作各种高度异构边缘设备的新能力,同时展示了与现有技术相比更优越的性能和效率。
  • 本文的其余部分按图1组织。在第2节中,我们进行了严格的文献回顾,探讨了在IoT生态系统的多维异构性背景下联邦学习、多任务学习和时间推理的现有研究。第3节详细阐述了我们的HiFEL-OCKT方法的设计,从问题的详细表述开始,逐步发展我们的方法论方法。第4节概述了用于证明我们HiFEL-OCKT方法有效性的案例研究,包括详细的学习环境设置。第5节展示了我们在不同数据集和IoT领域进行的实验结果,并通过严格的比较研究详细讨论了结果,指出了影响和局限性。第6节总结了本文的贡献,并提出了未来研究的建议。

    相关工作

    相关工作

    近年来,机器学习和深度学习方法在IoT生态系统中的应用日益增多。例如,在智能建筑中,采用了随机森林(RF)和长短期记忆(LSTM)模型进行建筑能耗预测[16],多尺度卷积复合神经网络进行暖通空调故障诊断[17],多智能体深度强化学习进行能源成本最小化[18],以及并行LSTM-Autoencoder方法

    方法论

    在本节中,我们概述了我们提出的HiFEL-OCKT方法的概念和实际设计。首先,我们详细说明了IoT生态系统中的学习问题表述。然后,我们介绍了我们的方法,该方法确保了在网络边缘进行有效且个性化的时间推理,通过自适应的个性化模型设计和目标一致的多层次知识传输。

    评估方法

    在本节中,我们介绍了建立的评估方法,该方法旨在确保实验条件真实反映真实的IoT生态系统。具体来说,我们详细介绍了用于验证我们方法的案例研究,包括(i)智能建筑中BEMS传感器数据的预测;以及(ii)工业IoT中航空涡轮风扇发动机行为的预测。

    实验结果与讨论

    本节提供了根据之前描述的评估方法进行的实验结果和讨论。

    结论

    在本文中,我们提出了HiFEL-OCKT,这是一种高效、可扩展且自适应的分层联邦边缘学习方法,具有目标一致性和多层次知识传输,适用于IoT生态系统。我们解决了IoT生态系统中的实际高异构性问题,包括数据分布的异构性、特征的可变性、任务和目标的多样性以及模型的异构性,在这种异构性环境中,单一的全球模型可能不是所有边缘客户的最优解决方案。我们提供了

    CRediT作者贡献声明

    Ahmed-Rafik Baahmed:撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念化。Jean-Fran?ois Dollinger:撰写——审阅与编辑、验证、监督。Mohamed-el-Amine Brahmia:撰写——审阅与编辑、验证、监督。Mourad Zghal:撰写——审阅与编辑、验证、监督。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号