《Expert Systems with Applications》:Large Language Model-Driven Evolutionary Optimization: A Hierarchical Interaction Framework
编辑推荐:
•提出了一种用于大型语言模型(LLMs)与进化算法(EAs)之间可控间歇性交互的LLDEOF框架。•为离散和连续搜索设计了语义和相对差分扰动方法。•通过验证、修复、回退和贪婪接受机制提高可靠性。•使用配对统计分析评估0-1背包问题(0-1 KP)、多维背包问题(MKP)和CEC2
- •
提出了一种用于大型语言模型(LLMs)与进化算法(EAs)之间可控间歇性交互的LLDEOF框架。
- •
为离散和连续搜索设计了语义和相对差分扰动方法。
- •
通过验证、修复、回退和贪婪接受机制提高可靠性。
- •
使用配对统计分析评估0-1背包问题(0-1 KP)、多维背包问题(MKP)和CEC2020基准测试。
- •
报告了解决方案质量、LLM运行开销、消融实验和参数敏感性。
引言
进化算法(EAs)已成为解决工程设计、调度、通信网络、能源系统和智能决策制定中复杂优化问题的重要工具。它们的主要优势在于能够在无需梯度信息的情况下搜索黑箱、非线性、多模态、受限和混合变量空间。最近的文献综述进一步表明,元启发式优化在广泛的应用领域仍然活跃,并持续吸引着研究兴趣(Li等人,2024年)。
这一领域通过新的优化器、改进的搜索机制和特定领域的应用不断发展。最近提出了受自然界启发的优化器,以提升工程优化问题中的全局搜索能力和鲁棒性(El-Kenawy等人,2026b年)。还引入了多组搜索机制,以增强探索与利用之间的平衡(Barshandeh等人,2026年)。这些研究表明,提高搜索适应性仍然是进化优化和更广泛的元启发式领域中的一个重要问题。
在复杂现实世界系统中,对鲁棒优化的实际需求也在增加。优化增强的模型已被用于提高5G网络中的服务质量分类(Alhussan、El-Kenawy、Eid和Khodadadi,2026年)。在智能城市场景中,元启发式优化与时间序列分析相结合,用于电力负荷预测(El-Kenawy等人,2026a年)。类似的优化驱动方法也被应用于太阳能和风能预测,反映了自适应优化在数据驱动决策任务中的日益重要作用(Radwan等人,2026年)。
尽管取得了这些进展,但当搜索空间很大、高度受限或具有强多模态特性时,标准的EAs仍然面临局限性。它们的搜索行为主要受随机变化和适应度反馈的驱动。这种机制支持广泛的适用性,但也限制了显式问题结构和高级搜索知识的直接使用。在受限的离散优化中,随机生成的或由操作符生成的候选解可能经常违反可行性要求。在连续优化中,固定的更新规则可能导致在复杂景观下收敛缓慢或过早停滞。因此,一个重要的挑战是如何引入问题感知的指导,而不削弱基于种群的搜索的鲁棒性。
大型语言模型(LLMs)提供了一种引入此类指导的可能性。它们可以处理自然语言任务描述,解释结构化的问题信息,并生成格式化的输出。现有研究总结了LLMs的快速发展及其在知识表示、推理和任务导向交互方面的潜力(Wang、Li、Dai等人,2024年)。基础模型研究进一步表明,大规模预训练模型正朝着更通用和任务适应性强的系统发展(Chen等人,2024年)。关于LLMs与优化之间联系的最新讨论表明,LLMs可能通过启发式生成、搜索指导和优化导向的提示来支持优化(Huang、Yang、Qi和Wang,2024年)。这使得将问题层面的知识以更灵活的形式融入进化搜索成为可能。
然而,优化与一般的文本生成不同。候选解必须满足严格的可行性、数值一致性和可复现的评估要求。直接将LLMs作为独立的优化器或无限制的解决方案生成器使用可能会产生不可行的输出、格式错误、不稳定的数值行为和高推理开销。 hallucination和不可靠的生成也被认为是LLM应用中的重要问题(He、Shen和Xie,2025年)。此外,离散和连续优化问题具有不同的搜索空间特性,因此同一形式的LLM输出可能不适用于这两种类型的任务。
为了解决这些问题,本研究提出了一个基于大型语言模型的进化优化框架(LLDEOF)。核心思想不是用LLM替换进化搜索,而是将LLM作为传统进化优化过程中的一个间歇性控制器。在这个框架中,EA负责种群更新、适应度评估和解决方案接受,而LLM在选定的阶段提供结构化和经过验证的指导。
本研究的主要贡献总结如下:
(1)提出了一个通用的LLM辅助进化优化框架。该框架以可控和间歇性的方式将LLM指导引入进化搜索过程,同时保持EA作为主要的搜索执行器。
(2)为离散和连续优化设计了特定于搜索空间的LLM辅助干预策略。对于离散组合问题,LLDEOF使用LLM辅助的语义扰动生成受问题结构和进化状态信息指导的候选解。对于连续数值优化,LLDEOF引入LLM辅助的相对差分扰动,以提供尺度感知的局部调整指导。
(3)整合了一种面向可靠性的交互机制,以调节进化搜索过程中LLM生成输出的使用。LLM生成的信息在影响种群之前,通过结构化输出约束、输出验证、可行性或边界修复、回退处理和贪婪接受进行处理。这种设计降低了不可行或不稳定候选解的风险,确保LLM生成的候选解仅在经过验证和贪婪接受后才能影响种群。
(4)该框架在0-1背包问题(KP)、多维背包问题(MKP)和CEC2020基准测试函数上进行了评估。除了解决方案质量外,实验还包括统计测试、LLM运行开销分析、候选解完成和接受分析、消融研究和参数敏感性分析。
本文的其余部分组织如下。第2节回顾了与本工作相关的进化优化机制和LLM辅助优化研究。第3节介绍了提出的LLDEOF框架,包括初始化、干预机制和可靠性保障措施。第4节报告了离散和连续优化基准测试的实验结果和讨论。第5节总结了本文并讨论了实际考虑和未来研究方向。
章节片段
进化算法作为搜索执行器
EA提供了LLDEOF所基于的基于种群的搜索机制。在本研究中,使用了粒子群优化(PSO)、遗传算法(GA)、差分进化(DE),以及基于集合代数的启发式算法(SAHA)(He、Sun、Wang和Mirjalili,2023年)和启发式引导的简化离散和谐搜索(SDHS)(Zheng等人,2025年)作为代表性的进化执行器,因为它们遵循不同的更新原则,同时共享
方法论:LLDEOF
本节介绍了提出的LLDEOF。LLDEOF的目的不是用LLM替换进化搜索,而是在受控的交互下将LLM引入进化过程的选定阶段。在这个框架中,进化算法作为搜索执行器,而LLM则作为初始化、扰动和可选参数控制的间歇性控制器。
如图1所示,LLDEOF遵循控制器-执行器交互架构。
实验结果和讨论
本节评估了LLDEOF在离散和连续优化任务上的表现,随后进行了消融实验和参数敏感性分析。离散任务包括0-1背包问题(0-1 KP)和多维背包问题(MKP),代表单约束和多约束组合设置,而连续任务使用CEC2020基准测试来检验LLDEOF对数值搜索空间的适应性。除了解决方案质量,还报告了LLM运行开销、候选解完成情况和候选解接受情况
结论
本研究提出了LLDEOF,这是一个用于将LLM辅助指导纳入进化优化的可配置框架。LLDEOF不是替换搜索过程,而是将LLM作为间歇性控制器。通过LLM辅助的初始化、特定问题类型的干预、可选的动态控制和可靠性保障,该框架允许LLM生成的信息支持搜索,同时保持核心
CRediT作者贡献声明
Caie Hu:概念化、方法论、研究、初稿写作、审阅与编辑。Haoyue Zhang:方法论、软件开发、验证、形式分析、数据管理、可视化、初稿写作、审阅与编辑。Tingyang Jiao:验证、资源管理、写作、审阅与编辑。Xiaoliang Yu:验证、资源管理、写作、审阅与编辑。Shangbin Jiao:概念化、项目监督、资金获取、写作、审阅
利益冲突声明
作者声明他们没有已知的可能会影响本文所报告工作的竞争财务利益或个人关系。
Caie Hu|Haoyue Zhang|Tingyang Jiao|Xiaoliang Yu|Shangbin Jiao