
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于约束驱动自适应拉格朗日定价的能效感知调度器CLASP:以单一策略可控调节延迟-能耗工作点
《Scientific Reports》:Adaptive constrained reinforcement learning for energy-aware scheduling under changing load
【字体: 大 中 小 】 时间:2026年09月23日 来源:Scientific Reports 4.9
编辑推荐:
摘要能效感知调度器必须在能耗与响应性之间进行权衡,而强化学习越来越多地被用于学习这种权衡。许多此类调度器将这两个目标合并为单一的加权奖励。我们表明,这种常见选择存在一个被忽视的失效模式:任何固定权重都会固定一个随着负载变化而漂移的工作点,在轻负载下浪费能量,在重负载下则悄然突
能效感知调度器必须在能耗与响应性之间进行权衡,而强化学习越来越多地被用于学习这种权衡。许多此类调度器将这两个目标合并为单一的加权奖励。我们表明,这种常见选择存在一个被忽视的失效模式:任何固定权重都会固定一个随着负载变化而漂移的工作点,在轻负载下浪费能量,在重负载下则悄然突破延迟目标。我们介绍了一种调度器,该调度器将延迟违规率视为显式约束,并通过一个比例 - 积分 - 微分控制器来强制执行,该控制器持续调整违规的拉格朗日价格;此外,学习到的策略还以该价格为条件,使得单一策略能够覆盖多种负载区间。在测试的非饱和负载范围内,CLASP 紧密跟踪百分之五的违规目标,在接近饱和时它是逐渐退化而不是崩溃。在对奖励权重进行密集扫描时,没有任何固定权重能够在所有测试负载下维持目标,任何固定对偶价格也是如此。CLASP 以远低于始终快速策略的能耗维持目标,并且对于其自身训练的策略,它达到了最便宜合规价格的大约百分之十以内,这是一个内部一致性检查而非可实现效率的界限,而评估的固定权重策略则显著偏离目标。相同的控制器能够在线跟踪突然的负载变化,而开环和固定价格比较器则无法做到,消融实验证实自适应定价和价格条件化都是必要的。由于策略是以约束价格为条件而非以固定权衡为条件,一个训练好的策略表现得像一个控制器族:操作员可以在部署时选择任何违规目标而无需重新训练(在从百分之二到百分之二十的目标范围内平均误差为 0.42 个百分点),且同一策略能泛化到训练中从未见过的负载和突发性到达模式,同时保持多个异构服务目标,并从表格学习迁移到函数逼近。因此,约束驱动的自适应将工作点转变为一个可控、可复用的量,而不是嵌入在训练权重中的一个固定值。