《JOURNAL OF MANUFACTURING SYSTEMS》:Optimizing PCBA e-waste management: Intelligent inspection sequencing and recovery strategies using graph neural networks and Reinforcement Learning
编辑推荐:
电子废弃物管理因印刷电路板组件(Printed Circuit Board Assemblies, PCBAs)的复杂性与变异性而面临严峻挑战,PCBAs同时包含高价值可回收材料与有害成分。当前检测与回收流程主要以人工和静态方式为主,导致效率低下且难以扩展。本
电子废弃物管理因印刷电路板组件(Printed Circuit Board Assemblies, PCBAs)的复杂性与变异性而面临严峻挑战,PCBAs同时包含高价值可回收材料与有害成分。当前检测与回收流程主要以人工和静态方式为主,导致效率低下且难以扩展。本研究提出了一种将图神经网络(Graph Neural Networks, GNNs)与强化学习(Reinforcement Learning, RL)相结合的新型框架,以实现PCBAs的自适应实时检测序列规划与回收决策制定。研究人员将每块电路板建模为互连组件的图结构,GNN对其结构信息与缺陷相关信息进行编码,为RL智能体提供动态状态表征。该智能体进而选择检测序列或回收策略行动,包括再利用(Reuse)、修复(Repair)或再循环(Recycle),在诊断成本与回收潜在价值之间取得平衡。针对工业I/O设备的案例研究表明该方法的有效性,仿真实验显示该系统能够在不确定性条件下学习到有利的检测与回收策略,同时减少不必要的测试。对先进图架构的比较分析表明,图注意力网络(Graph Attention Networks, GAT)优于标准图卷积网络(Graph Convolutional Networks, GCN)。研究结果证实了GNN-RL集成在提升PCBA检测经济可行性与可持续性方面的潜力。
电子废弃物的全球性激增构成了环境政策、材料科学与工业工程交叉领域的多维度挑战。《2024年全球电子废弃物监测报告》指出,每年产生超过6000万公吨电子废弃物,其中仅约17%被规范收集和适当回收。这一现象由多种因素驱动,包括电子产品的快速迭代更新以及这些系统日益增长的复杂性。印刷电路板组件(PCBAs)在此方面尤为重要,因其存在于几乎所有电子设备中。PCBAs的不当处理会导致金、钯和稀土元素等关键原材料的不可逆损失,同时释放对环境和健康构成严重威胁的有毒物质。因此,PCBAs对电子废弃物相关的经济与环境负担贡献尤为突出。为应对这些挑战,监管和经济压力正推动产业采纳优先重视再利用、再制造和回收的循环经济模式。这些策略的成效取决于可靠确定每块电路板适当R策略(例如再利用、修复或回收)的能力,而这一过程由检测结果指导。PCBAs的检测过程尤为困难,原因在于其组件与失效模式的异质性使其成为高度复杂的系统。具体而言,通用检测方法往往难以适用,因为某些电路板可能仅需少量测试和清洁,而另一些则可能隐藏多种故障,需要深入诊断后才能决策。目前,检测流程主要以人工和劳动密集型方式进行,成为回收链条中的瓶颈。弥补这一差距需要开发能够在不确定性和变异性条件下运行、支持实时数据驱动决策的智能自适应检测方法。传统上,业界依赖刚性检测序列或简单决策树,受预设规则约束,无法适应报废电路板的变异性。对每个组件进行全面测试成本高昂且耗时过多,而测试不足则可能错失回收高价值部件的机会。此外,许多组件(如电阻、电容)的内在价值相对于检测所需劳动成本较低,削弱了详细人工方法的经济可行性。这些挑战凸显了对能够实时调整行动的智能自适应检测方法的需求。当前再制造系统普遍缺乏实时决策能力,实质上将PCBA检测与回收视为线性、静态的序列而非连续、反馈驱动的过程。
为优化PCBA电子废弃物回收,本研究提出了一种将图神经网络(GNNs)与强化学习(RL)相结合的新型解决方案,以创建动态引导流程的智能检测控制器。在该框架内,每块PCBA被建模为编码电路板系统级结构的图结构。这使决策智能体能够识别给定组件的功能如何影响其他组件的效用。经过训练的RL智能体负责在此基于图的状态表征上操作,决定下一步执行何种检测以及最终确定最合适的R策略。通过利用基于图的表征,RL智能体能够无缝处理各种PCBA设计和尺寸。其目标是在最大化每块电路板净回收价值的同时最小化检测成本和流程时间,这与无法根据实际电路板条件调整的僵化静态计划形成对比。这种自适应检测序列策略随着每次检测步骤中新信息的获取而持续优化决策,避免低价值测试并及时确定最合适的再利用、修复或回收行动。此外,通过采用数据驱动学习(RL与GNNs的集成),决策策略通过大量案例经验持续改进,有效管理PCBA故障中固有的不确定性。
报废电子产品管理与再制造领域的研究已涉及PCBA回收问题的多个方面,包括拆卸规划、检测技术和决策框架。早期拆卸规划研究通常将其视为离线优化任务,采用数学规划、遗传算法和蚁群优化等方法为特定产品预先计算近优序列。这些方法虽在理论上可产生高效计划,但缺乏实时适应能力,当出现意外情况时静态计划将导致次优结果。为应对这种刚性,研究者提出了基于知识的框架,开发本体驱动模型以捕获专家知识并形式化流程规划,但该方法仍难以适应废旧电子产品的异质性和组件故障的不可预测性。近期研究开始将基于人工智能的推理和不确定性建模整合到检测与决策过程中,但在实现完全自适应性方面仍存在显著差距。
在流程规划进步的同时,PCBA检测技术也取得显著进展。当今工业系统可利用多传感器和成像模态在不完全拆卸电路板的情况下检测缺陷和评估组件健康状况。常用技术包括X射线摄影术用于隐藏焊点缺陷、红外热成像用于识别过热组件、以及光学相机用于表面缺陷检测。尽管这些技术本身技术成熟,多传感器检测系统通常以静态模式运行,无论初始发现如何均遵循预定义检测序列,缺乏自适应控制使其无法充分实现降低检测时间和成本的潜力。
为支持真正自适应的操作序列,马尔可夫决策过程(Markov Decision Processes, MDPs)和RL等自适应决策框架已被探索用于支持动态检测序列规划。MDPs对状态表示当前产品知识、动作表示可能检测步骤的序列决策问题进行建模,最优策略旨在最大化回收价值等奖励同时最小化检测成本。将RL应用于PCBA再制造将涉及训练智能体根据当前发现确定下一步检测内容,而非遵循静态计划。然而挑战依然存在,特别是在定义能捕获PCBAs复杂结构和强烈变化组成的状态表征方面。据研究人员所知,现有文献尚未提供将RL或基于MDP的决策引擎与PCBA特定实时检测数据相集成的专门框架。
本研究提出的基于图的机器学习方法可为此提供帮助:通过将PCBA表示为组件图,可利用GNN帮助决策智能体在不同电路板设计和条件下泛化其策略,据研究人员所知,这一方法在电子产品回收或再制造前期研究中尚未被探索。在此方面,不同的GNN架构可供选择。基础模型如GCN使用固定权重有效聚合邻域信息,将所有连接视为同等重要;而GAT等架构采用自注意力机制动态加权相邻节点的重要性,这种辨别哪些连接最相关的能力对PCBAs尤为有趣,因为组件故障的功能影响严重依赖于其特定的相互依赖关系。现有研究中还需考虑的一点是R策略的选择与检测过程的并行性。大多数现有研究将决策视为完全完成检测阶段后的结果,而非将其与检测本身动态集成。
本研究提出的方法将检测决策形式化为马尔可夫决策过程(MDP),为具有概率结果的序列决策提供严格框架。数据驱动架构将RL与GNNs集成以应对问题的结构性和信息复杂性。在该框架中,每个状态编码关于PCB组件的当前知识,包括其观测状态和估计故障概率;动作对应于特定检测步骤或R策略的选择;状态转移反映这些动作的随机结果,从而捕获缺陷检测中的不确定性以及回收策略的潜在有效性。
从数学角度看,PCBA被表示为图G=(C,E),其中C表示组件节点(如电容、电阻和其他电子元件),E表示这些组件之间的物理/电气连接。每个节点c
i与概率分布P(c
i)=(p
i1,p
i2,...,p
in)相关联,其中p
ij为组件c
i呈现缺陷d
j的概率。传统RL智能体常使用需要固定长度输入向量的神经网络,这对于PCBA中发现的可变尺寸构成挑战。GNNs通过高效处理图结构数据有效解决这一问题,捕获节点关系并聚合邻居信息生成节点嵌入(h
v=GNN(S)),从而动态适应不同数量的组件和缺陷。
为评估状态编码机制对决策质量的影响,本研究实现了两种GNN架构:GCN使用固定谱规则聚合邻居信息,假设连接的结构重要性仅由连接节点的度决定;GAT采用自注意力机制为每条边计算可学习系数(注意力权重),使智能体能够动态评估来自特定邻居的信息价值。策略π基于优化的RL策略确定选择每个动作的概率,Q函数更新定义为:Q(h
v,a
t)←Q(h
v,a
t)+α[r
t+γmax
aQ(h'
v,a
t)?Q(h
v,a
t)],其中α为学习率,γ为折扣因子。
该框架的计算复杂度分析表明,对于具有n个组件和m条连接的PCBA,单次决策步骤中GNN前向传播的时间复杂度为O(Lmd+nd
2),其中L为层数,d为嵌入维度;GAT架构在节点和边数量上保持渐近线性复杂度。运行时分析显示,推理阶段每次决策仅需0-fast place0.17 ms,信念更新低于0.01 ms,确保在线决策阶段具有亚毫秒级延迟,适用于高通量工业检测环境。
研究采用工业I/O设备(Balluff公司的IO Link Master)作为案例验证,其超声焊接塑料外壳设计使其成为典型PCB基工业产品R策略的代表性对象。分析聚焦于包含3至10个关键组件的PCBA子系统,关注常见缺陷类型:短路导致的烧毁组件、冷焊点和集成电路(IC)引脚弯曲或脱落等断裂部件。检测系统采用三种主要测量技术:X射线(假设成本10单位)、视觉检测(假设成本1单位)和飞针测试(每组件假设成本3单位),这些技术在缺陷检测概率、检测时间和相关成本方面存在差异。
训练过程中遇到的关键挑战是智能体倾向于减少检测步骤数量即决定R策略,这源于与检测成本相关的负即时奖励以及再利用和修复策略的条件性盈利性。为此引入了动态奖励机制,使用双段线性函数初始提供较高奖励,随时间逐渐降低以与实际成本和收益对齐。GCN和GAT的训练设置均涉及每次训练运行100个回合,每回合模拟100块独立PCBA。通过40次独立优化运行进行自动超参数调优,自动调整网络维度等关键变量和动态奖励信号缩放。
学习行为与基线性能分析显示,约50%配置呈现奖励下降趋势,这是动态奖励随时间缩放的 predictable 结果;约50%配置最终获得净正奖励。修复动作奖励随训练逐渐降低,反映智能体对其长期价值的认识增长。序列优化与经济结果分析表明,序列长度与盈利能力相关:更长序列通过更多检测降低不确定性,但过度检测因成本上升导致收益递减。部分智能体学会在最后20个回合中平衡序列长度,通过最小化不必要检测实现更大盈利;部分收敛至约一步序列,主要选择回收策略。约60%配置在训练结束时实现显著盈利,模型有效平衡检测成本与回收收益。
参数敏感性分析使用训练后的基线GCN策略,单独变化关键经济和概率参数。结果表明,学习策略对缺陷概率最为敏感,提高整体缺陷率导致利润大幅下降甚至负值,反映更早终止决策和向保守回收策略(如回收)的转变。检测相关成本显示差异化影响:飞针检测成本提高显著降低盈利性,因其通常在检测序列后期选择且成本与电路板复杂度成比例;视觉和X射线检测成本变化影响相对温和。增加修复成本导致利润明显下滑。分析确认学习到的检测回收策略与经济学直觉一致,在广泛参数变化范围内保持稳定。
GCN与GAT的比较分析通过750块电路板的验证序列进行累积利润比较。线性回归分析揭示GAT智能体实现约5.45单位/PCBA的利润增长率,而GCN基线仅为1.14单位/PCBA,提升近5倍。GAT的优越性能证实通过注意力机制动态加权组件相互依赖关系的能力,对于识别复杂电子产品中高价值回收轨迹至关重要,表明该框架具有从理论概念验证过渡到经济可行工业解决方案的必要可扩展性和经济潜力。
结论与未来工作部分指出,本研究提出的PCBA检测序列优化与回收策略选择方法,通过集成实时检测数据与强化学习,依赖GNN架构根据诊断反馈动态调整决策。模型权衡检测成本与回收活动预期收益,通过学习优先执行高价值测量步骤提高整体检测效率。仿真结果表明系统能够适应电路板配置和故障概率,即使在不完全信息和演化内部状态下也能学习检测回收策略。图架构选择显著影响经济性能,GAT优于GCN,通过注意力机制动态加权组件相互依赖的能力对识别复杂电子产品中的高价值回收轨迹至关重要。未来工作将增加检测技术和PCBA的种类与数量,添加热分析和功能测试等方法;引入组件拆解、二次利用或售后渠道转售等额外回收策略;开展更广泛训练机制探索;并收集真实缺陷数据库以正确参数化PCBA缺陷的初始信念概率,从而提升性能。