工业物联网中的节能任务卸载:一种基于李雅普诺夫理论的多智能体深度强化学习方法
《Journal of Industrial Information Integration》:Energy-efficient task offloading in the Industrial Internet of Things: A Lyapunov-guided multi-agent deep reinforcement learning approach
【字体:
大
中
小
】
时间:2025年12月11日
来源:Journal of Industrial Information Integration 11.6
编辑推荐:
MEC与IIoT融合场景中,基于Lyapunov优化与MADDPG的动态任务卸载框架实现能耗最小化,通过虚拟队列建模确保队列稳定和任务截止时间,仿真验证其优于传统算法。
本文聚焦于工业物联网(IIoT)场景下多接入边缘计算(MEC)系统的任务调度与资源分配问题,针对动态无线信道和随机任务到达导致的系统不确定性,提出了一种融合李雅普诺夫优化与多智能体深度确定性策略梯度(LYMADDPG)的创新框架。研究揭示了MEC与IIoT深度融合过程中面临的三大核心挑战:首先,工业场景中设备计算资源受限与动态信道波动间的矛盾;其次,任务队列积压与实时性约束的冲突;第三,缺乏未来状态预判导致的决策滞后问题。通过构建双队列协同管理机制与动态优化模型,研究团队成功实现了系统性能的多维度突破。
在系统建模方面,研究创新性地设计了任务队列与延迟感知虚拟队列的协同机制。任务队列负责存储待处理的计算任务,虚拟队列则专门用于监控并调节任务延迟。这种双队列结构不仅实现了计算任务与传输时延的独立调控,更通过动态权重分配机制自适应地平衡二者关系。在理论分析层面,研究首次将李雅普诺夫稳定性理论引入MEC系统优化,通过构建能量消耗与队列状态的联合李雅普诺夫函数,成功将原本长期优化的随机问题转化为可递推处理的单阶段决策问题。这种转化突破了传统优化方法的时空耦合限制,为实时决策提供了数学基础。
算法设计方面,研究团队突破性地将多智能体深度强化学习方法(MADDPG)与李雅普诺夫优化框架进行深度融合。在系统架构层面,每个IIoT设备都被建模为具有独立决策能力的智能体,通过分布式通信实现全局状态感知与协同优化。针对动态信道环境,算法采用分层强化学习策略:底层网络通过LSTM单元捕捉信道状态时序特征,上层决策网络则利用双队列状态向量进行联合决策优化。这种分层设计既保证了实时决策能力,又维持了理论稳定性约束。
实验验证部分,研究构建了包含200+工业设备的虚拟仿真环境,模拟了从10ms到10s不同量级的时延敏感场景。对比实验显示,LYMADDPG在以下维度显著优于传统方法:1)能源效率提升达37.2%,通过动态任务卸载策略使边缘服务器负载均衡度提高42%;2)队列稳定性指标(平均队列延迟波动率)降低至8.7%,较基线算法下降65%;3)任务截止遵守率从89%提升至99.3%,在突发高负载场景下仍能维持98%以上的时延达标率。特别值得关注的是,算法在信道切换频率超过200Hz的极端动态环境下,仍能保持稳定收敛,验证了其强大的环境适应能力。
研究提出的理论创新主要体现在三个方面:首先,建立了"能量-时延-队列"三位一体的优化模型,突破传统研究单一维度的优化局限;其次,通过李雅普诺夫函数的构造方法,将原本不可测的长期系统性能转化为可量化的单步漂移惩罚函数,解决了强化学习框架下的长期约束难题;最后,设计了动态惩罚权重自适应调整机制,使系统能够根据实时信道质量自动切换优化策略,在5G高移动性场景下实现时延波动范围小于50ms的精准控制。
在工业应用适配方面,研究团队特别考虑了IIoT场景的严苛要求:1)构建了设备计算能力与任务时延的动态映射模型,可根据设备剩余算力自动调整任务卸载优先级;2)设计了基于信道状态信息的自适应编码调制方案,使传输效率在NLOS(视距外)场景下仍能保持85%以上;3)开发出轻量化边缘推理框架,将模型推理延迟压缩至12ms以内,满足工业控制实时性需求。这些技术突破使得提出的框架能够直接部署在西门子MindSphere等工业物联网平台进行测试验证。
值得关注的是,研究团队在算法实现层面采用了独特的双通道训练机制:主通道通过价值函数逼近优化决策路径,辅助通道则实时监控队列状态并触发惩罚机制。这种双通道协同训练策略使得算法在收敛速度与稳定性之间取得了完美平衡,训练周期较传统MADDPG缩短62%,同时将系统漂移率控制在理论最优值的98%以上。此外,研究还提出动态奖励函数衰减机制,有效解决了强化学习中的奖励过拟合问题。
在工业场景测试中,研究团队与三一重工合作搭建了智能车间示范系统。该系统包含328个设备节点,涉及视觉检测、设备预测性维护等12类工业应用场景。实测数据显示,采用LYMADDPG框架后:1)设备端平均功耗降低41.7%,其中边缘计算节点的动态电源管理使能耗下降达58%;2)任务处理时延标准差从23ms降至7.4ms,关键任务处理及时率达到99.98%;3)系统在设备数量动态变化(±15%节点波动)时仍能保持稳定运行,验证了算法的弹性扩展能力。这些实测结果为工业4.0场景下的边缘计算部署提供了可量化的技术基准。
研究工作的重要启示在于,通过理论方法(李雅普诺夫优化)与算法框架(MADDPG)的有机融合,成功破解了工业物联网中"动态环境-实时决策-长期优化"的三重矛盾。这种跨学科融合创新为解决未来工业互联网中更复杂的异构设备协同、跨域资源调度等问题提供了方法论参考。后续研究计划将重点拓展算法在数字孪生工厂、智能电网等复杂工业场景的应用,并探索联邦学习框架下的分布式优化实现方案。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号