《ADVANCED ENGINEERING INFORMATICS》:Engineering verification-guided LLM framework for feasibility-aware spec configuration
编辑推荐:
•工程验证引导基于大语言模型的规格配置。•结构化纠正反馈引导优化方向朝向可行的规格方案。•该框架在约束满足方面优于无引导大语言模型、检索增强生成和思维链方法。•在不同随机生成的大语言模型结果中,比较性能保持稳定。•消融实验表明,结构化纠正优于重复诊断反馈。引言随着制造业对全球
- •
工程验证引导基于大语言模型的规格配置。
- •
结构化纠正反馈引导优化方向朝向可行的规格方案。
- •
该框架在约束满足方面优于无引导大语言模型、检索增强生成和思维链方法。
- •
在不同随机生成的大语言模型结果中,比较性能保持稳定。
- •
消融实验表明,结构化纠正优于重复诊断反馈。
引言
随着制造业对全球经济的贡献不断扩大[1],产品设计与制造系统(PDMS)的重要性也随之提升。PDMS整合了一系列相互关联的活动,涵盖市场分析、产品规划、制造执行、装配和质量检验[2]。如图1所示,这些活动大致可分为知识密集型和劳动密集型任务。
机器学习的最新进展显著提升了PDMS中的劳动密集型阶段[3]。代表性应用包括用于自动化质量检验的卷积神经网络和基于Transformer的架构[4]、[5]、[6],用于自主机器人装配和自适应控制的强化学习[7]、[8]、[9],用于生产调度优化的图神经网络[10]、[11],以及数据驱动的预测性维护[12]、[13]、[14]。相比之下,针对知识密集型设计阶段所需认知能力的研究相对较少,尤其是在具身层面的产品设计方面。增强这些能力仍然是将PDMS发展为集成智能系统的关键所在。
生成式人工智能的快速演进——尤其是扩散模型和大语言模型(LLM)——加速了AI辅助产品设计的研究。近期研究表明,生成模型可以支持概念构思、造型和视觉合成等早期设计活动。基于扩散的方法已被用于将草图转化为三维原型[15],并通过深度类比推理促进协作造型[16]。多模态生成框架进一步扩展了这些能力,将情感和功能需求转化为视觉渲染图和三维模型[17]。与此同时,基于LLM的方法支持语义推理和概念生成。例如,将LLM驱动的语义生成与图像合成及基于几何的建模相结合的集成工作流已被应用于汽车设计[18],其他研究则利用LLM生成语言化的设计思路以激发早期构思[19]。最近,研究者开始通过结构化知识和迭代推理机制增强LLM驱动的设计系统,例如集成知识图谱以实现情境感知的概念生成[20],以及采用演员-评论家架构进行迭代式的视觉-语言设计探索[21]。这些发展共同凸显了生成式AI在支持产品开发中创意探索的日益增长潜力。
尽管具有创意潜力,但确保AI生成设计的技术可靠性仍然是其在工程应用中被采用的主要障碍[22]。已有若干方法被提出以提升LLM生成输出的可靠性。检索增强生成(RAG)通过将响应基于外部知识源来增强生成[23]、[24]、[25],而思维链(CoT)提示通过中间推理步骤促进结构化推理[26]、[27]。尽管这些方法改善了上下文相关性和推理透明度,但生成输出本质上仍然是随机的,因此无法保证满足工程约束。
另一个研究方向关注约束生成,其中预定义的文法或解码规则限制允许的标记集合,从而确保语法或结构有效的输出[28]、[29]、[30]。虽然这些方法有效地强制执行了对正式输出结构的遵循,但它们并未直接评估或确保满足支配工程设计的多样且复杂的约束。
最近,研究者通过引入外部工具、验证模块和迭代优化机制来提升LLM的可靠性,通常通过工具增强型或代理架构来实现[31]、[32]、[33]。这些方法通过根据预定义的验证机制验证中间或最终输出,并利用所得反馈指导后续优化,从而提升生成可靠性。然而,大多数现有方法仅针对单一的形式化表示或任务特定标准来评估正确性,例如程序执行和逻辑一致性[34]、[35]。相比之下,具身设计阶段的工程决策通常需要协调多样的工程约束,这些约束之间的相互作用共同决定设计可行性。
具身设计涉及将概念解决方案转化为工程可行的产品规格[2]。本研究专门解决规格配置问题——具身设计阶段的一项关键工程活动——而非更广泛的具身设计过程。规格配置需要同时满足异质的市场、物理和经济约束,其中对一个设计变量的修改可能影响其他变量的可行性[36]。尽管优化方法传统上通过显式约束模型来管理此类相互依赖的决策[37],但这些模型尚未被有效集成到基于LLM的设计生成工作流中。因此,现有基于LLM的方法缺乏一个系统性的框架来根据异质工程约束对生成规格进行外部验证和迭代优化。
为了解决这些局限性,本研究提出了一种工程验证引导的LLM框架,用于可行性感知的规格配置。所提出的框架将异质的市场、物理和经济约束形式化为确定性验证模块,用于评估LLM生成的规格并诊断约束违规。重要的是,验证结果被转化为结构化的、针对特定约束的纠正反馈,指定了不可行规格应如何优化,而不仅仅是识别违规的存在。通过将这种可操作的工程反馈迭代性地融入LLM生成过程,该框架引导规格优化朝向满足约束的解决方案,同时保留LLM的生成灵活性。
本研究对文献做出了三项主要贡献。首先,提出了一种工程验证引导的AI辅助规格配置方法,将LLM生成与异质工程约束的确定性评估相结合。其次,开发了一种结构化纠正机制,将市场、物理和经济约束的违规转化为可操作的优化方向,使LLM能够超越单纯的诊断反馈来修改不可行规格。第三,通过比较实验、随机鲁棒性实验和消融实验对提出的框架进行了实证评估。结果表明,在重复随机生成过程中,该框架相对于无引导LLM、RAG和CoT具有更好的可行性,而消融分析进一步表明,结构化纠正反馈提供了超越诊断反馈和重复再生的显著益处。
章节摘要
方法论
图2展示了所提出方法论的概述。该框架采用三层架构,集成了约束形式化、工程验证和基于LLM的规格生成。该架构使得能够系统性地评估和迭代优化规格可行性,同时保持基于LLM生成的灵活性。
底层将异质的工程约束形式化,包括市场、物理和经济需求。这些约束
实验与结果
本节通过智能手机设计案例研究来评估所提出的框架。智能手机提供了一个合适的案例研究,因为其产品规格受到紧密耦合的市场、物理和经济约束的支配。有关显示尺寸、电池容量、设备厚度、组件选择和定价的设计决策高度相互依赖,使智能手机成为规格配置的具有挑战性的应用。
讨论
实验评估采用了两种互补的比较策略。与无引导LLM、RAG和CoT的比较(第4.1节比较评估、第4.2节对随机LLM生成的鲁棒性)评估了所提出框架相对于常用LLM方法的总体可行性性能。相比之下,消融分析(第4.3节)检验了工程验证、迭代优化和结构化纠正反馈在框架内的增量效应。
结论
本研究提出了一种工程验证引导的LLM框架,用于可行性感知的规格配置,解决了现有基于LLM的设计生成中对工程可行性考虑有限的问题。所提出的框架通过将异质的市场、物理和经济约束形式化为显式验证模块,将基于LLM的规格生成与确定性工程验证相结合。验证结果被转化为结构化的纠正反馈。
利益冲突声明
作者声明,他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能被认为影响本文所报告的工作。
Seyoung Park目前是庆尚国立大学工业与系统工程系的助理教授。她获得了伊利诺伊大学厄巴纳-香槟分校的工业工程博士学位。她的主要研究兴趣包括数据挖掘、机器学习应用和数据驱动的产品设计。
Seyoung Park