基于在线过滤的安全强化学习方法,用于预测疲劳情况的人机协作任务规划与生产资源分配

《JOURNAL OF MANUFACTURING SYSTEMS》:Safe reinforcement learning with online filtering for fatigue-predictive human–robot task planning and allocation in production

【字体: 大 中 小 】 时间:2025年12月30日 来源:JOURNAL OF MANUFACTURING SYSTEMS 14.2

编辑推荐:

  动态人机协作制造中实时疲劳预测与安全任务规划方法研究,提出PF-CD3Q算法结合粒子滤波与约束双深度Q学习,实现动态生产环境下考虑工人疲劳限制的任务分配与优化。

  
Jintao Xue|Xiao Li|Nianmin Zhang
香港特别行政区香港大学土木工程系CI3实验室

摘要

人机协同制造是工业4.0的核心方面,强调人体工程学以提升工人福祉。本文探讨了动态人机任务规划与分配(HRTPA)问题,即确定何时执行任务以及由谁来执行任务,以在确保工人疲劳水平保持在安全范围内的同时最大化效率。疲劳约束的纳入,加上生产动态因素,显著增加了HRTPA问题的复杂性。传统的HRTPA疲劳-恢复模型通常依赖于静态的、预先定义的超参数。然而,在实践中,由于工作条件变化和睡眠不足等因素,人的疲劳敏感性每天都在变化。为了更好地捕捉这种不确定性,我们将与疲劳相关的参数视为不准确的,并根据生产过程中观察到的疲劳进展进行在线估计。为了解决这些挑战,我们提出了PF-CD3Q,这是一种安全的强化学习(safe RL)方法,它结合了粒子滤波器(particle filter, PF)和受限双重深度Q学习(constrained dual deep Q-learning, CD3Q)来实现实时的疲劳预测HRTPA。具体而言,我们首先开发了基于PF的估计器来实时跟踪人体疲劳并更新疲劳模型参数。然后,在决策过程中将这些估计器集成到CD3Q中,排除超出疲劳限制的任务,从而限制了行动空间,并将问题构建为一个受限马尔可夫决策过程(constrained Markov decision process, CMDP)。实验结果表明,基于PF的估计器具有高预测准确性和强抗噪声能力,PF-CD3Q在多个性能指标上均优于其他算法,显著减少了过度工作的发生,并在训练后能够适应未见的疲劳约束。这些发现验证了我们的方法在复杂和动态生产条件下的有效性,既支持了人类福祉,也促进了更可持续和高效的生产范式的发展。

引言

工业4.0通过整合先进技术(包括人工智能(AI)、机器人技术和信息技术)提高了生产效率和质量[1]。然而,工业5.0代表了一种范式转变,它超越了自动化和数字化,更加注重以人为中心的价值观,包括工人福祉、创造力和认知参与。这一愿景的关键支柱是人机协作(HRC),即人类和智能机器人协同工作,利用彼此的优势。然而,在现实世界的制造环境中,工人经常经历疲劳,这可能对人的表现产生不利影响[2]。因此,应将人体工程学考虑因素纳入HRC过程中,以确保生产的可持续性。
任务规划与分配(Task Planning and Allocation, TPA)是指确定何时执行特定任务并将它们分配给合适的执行者(无论是人类、机器人还是机器),以满足特定的制造需求[3]、[4]、[5]。它在提高先进制造系统的有效性方面起着关键作用。在HRC的背景下,这一挑战变得更加复杂,演变为人机TPA(HRTPA)问题,即必须动态协调人类工人和机器人代理,以实现最佳系统性能。
本文研究了在动态共享生产环境中,工人和机器人协作完成各种任务(包括物料运输、装载、焊接和机器操作)时的疲劳受限HRTPA问题。主要挑战包括:(1)实时HRTPA以适应动态生产;(2)确保人类工作负荷安全的物理疲劳约束;(3)由于疲劳累积导致的工作效率变化;(4)人体疲劳模型中的不准确超参数,需要在生产过程中进行实时估计。这些因素凸显了对智能、自适应和疲劳预测HRTPA策略的需求。以往的研究在解决复杂和动态的HRTPA问题时面临挑战[6]。一些研究依赖于具有完全已知疲劳-恢复参数的静态建模,并使用基于优化的算法,但这些方法难以处理实时决策,也无法解决疲劳模型中的不准确性[7]。其他研究采用强化学习(RL),它适用于顺序实时决策,但要么完全忽略人体工程学约束[8],要么仅通过奖励塑造来纳入这些约束,这仍然有可能违反疲劳限制[9]。尽管安全RL在处理有安全要求的决策时显示出潜力[10],但其应用于实时、疲劳受限的HRTPA的情况尚未得到探索。
为了克服这些限制,我们提出了一种实时疲劳预测HRTPA算法——粒子滤波器与受限双重深度Q学习(PF-CD3Q),旨在在优先考虑工人人体工程学的同时提高生产效率。与传统通过加权奖励设计将疲劳作为软约束的RL方法不同,PF-CD3Q采用了一种具有明确疲劳约束的安全RL范式。具体来说,虽然疲劳-恢复模型[7]、[11]在HRTPA中得到广泛应用,但它们通常假设超参数是静态的、预先已知的,忽略了人类身体能力的时间变化性。实际上,人的疲劳敏感性受到睡眠质量[12]和环境条件[13]等因素的日常影响。为了反映这一点,我们将疲劳模型超参数视为最初不准确的,并在生产过程中使用粒子滤波器(PFs)进行在线估计。这些基于PF的估计器跟踪实时的身体疲劳演变,并用于定义一个安全的任务级行动集,通过屏蔽可能违反疲劳约束的行动来实现这一点。这限制了策略学习和行动选择,形成了一个受限马尔可夫决策过程(CMDP)。为了模拟生产环境中存在的复杂和异构信息,我们的网络采用了基于注意力的Transformer架构[14]。这种设计有助于有效处理各种输入,包括与疲劳相关的数据,从而实现明智和自适应的决策。PF-CD3Q的动作输出遵循两步过程:首先选择要执行的任务,其次将其分配给人类和/或机器人。这两个步骤都由基于PF的估计器生成的任务级疲劳预测指导。在第一步中,安全RL策略基于疲劳预测任务规划来确定实时任务选择。在第二步中,我们采用基于路径规划的、基于距离的贪婪分配策略,将任务分配给最近可用的人类和/或机器人。对多参与者人机协作生产线的实际研究成本高昂且复杂。为了克服这一问题,我们在NVIDIA的Isaac Sim物理模拟器[15]中开发了一个真实的生产线,该模拟器基于真实世界工厂建模,并结合了一个明确的人体疲劳-恢复模型来模拟疲劳动态。
本工作的贡献包括:(1)本研究创新性地实现了一种用于HRTPA问题的安全强化学习方法,通过在线估计器更新实时安全行动空间,以应对动态、明确的疲劳约束决策挑战,并能在训练后适应未见的疲劳约束。(2)我们采用基于粒子滤波器的估计机制,减少了由于疲劳模型超参数不准确而产生的不确定性,有效解决了人类疲劳敏感性日常变化的问题,并表现出对测量噪声的鲁棒性。(3)我们设计了基于注意力的Transformer架构来处理异构数据,并结合了与疲劳相关的信息,提高了算法的疲劳预测决策性能。
本文的结构如下:第2节回顾了HRTPA、人体工程学、安全强化学习、在线参数估计和相关研究领域的现有工作及研究空白。第3节阐述了疲劳受限HRTPA问题。第4节介绍了我们的方法论,详细介绍了提出的PF-CD3Q算法和基于注意力的Transformer网络。第5节展示了实验设置和综合结果,并通过与基线方法的比较分析验证了我们方法的有效性。第6节讨论了局限性并概述了未来的研究方向。

节选

文献综述

本节全面回顾了相关工作。首先,我们研究了制造领域的人体工程学和疲劳-恢复模型。接下来,我们探讨了制造中的人机任务规划与分配(HRTPA),总结了代表性算法。然后,我们讨论了安全强化学习和神经网络架构。最后,我们简要回顾了在线参数估计的过滤技术。

问题表述

我们描述并阐述了人机协同生产问题。图1展示了流程图、状态信息、任务依赖图和疲劳约束,明确了问题的表述。然后,我们详细介绍了任务分解、实体状态、实时疲劳模型及其不确定参数(见假设3.1)、动态任务完成效率以及目标函数。

研究方法

为了解决第1节中的挑战和第3节中的问题,本节提出了PF-CD3Q,它将受限双重深度Q学习(CD3Q)与粒子滤波器(PF)结合用于疲劳预测,如图2所示。首先,滤波器通过在线估计任务级疲劳变化来处理假设3.1。其次,利用这些预测,它生成一个安全的任务级行动集,从而输出任务规划决策(taki∈T),优先考虑在当前时间需要完成的任务

实验

在本节中,我们概述了问题场景、评估指标和用于比较的基线算法。目标有两个:(1)确定所提出的PF-CD3Q算法是否能够在保持人类疲劳在安全范围内的同时实现有效的实时HRTPA,通过与传统的强化学习方法和代表性的安全RL基线进行比较来评估。(2)使用基于PF的估计器评估疲劳状态和模型参数的预测准确性

讨论

本文提出了粒子滤波器与受限双重深度Q学习(PF-CD3Q)算法,作为HRTPA问题的新颖解决方案。实验结果突出了其相对于现有方法的几个重要优势。首先,基于PF的在线滤波器[70]能够实现低延迟的实时参数更新,并表现出对测量噪声的强鲁棒性,使其适用于动态生产环境。其次,通过将在线过滤与安全RL结合

结论

本研究解决了动态生产场景中的人机任务规划与分配(HRTPA)问题,解决了实时决策、物理疲劳约束、工人效率变化以及疲劳模型超参数不准确等关键挑战。我们提出了粒子滤波器与受限双重深度Q学习(PF-CD3Q)算法,这是一种实时疲劳预测HRTPA算法,它通过安全RL范式整合了明确的疲劳约束。我们的关键

CRediT作者贡献声明

Jintao Xue:撰写——原始草稿、可视化、验证、软件、方法论、形式分析。Xiao Li:撰写——审稿与编辑、监督、资源协调、资金获取、数据管理、概念化。Nianmin Zhang:验证、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本文所述的工作得到了技术合作资助计划(TCFS)(参考编号:GHP/321/22SZ)、香港大学(参考编号:109002002)和创新与技术基金(ITF)(参考编号:TP/041/24LP)的资助。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号