基于 Lasso 双重机器学习的约束多目标优化

《Swarm and Evolutionary Computation》:Constrained multi-objective optimization based on Lasso double machine learning

【字体: 大 中 小 】 时间:2026年10月01日 来源:Swarm and Evolutionary Computation 9.6

编辑推荐:

   •使用双重机器学习估计不可行解比例的影响。 •使用最小绝对收缩和选择算子(Lasso)选择控制变量。 •映射因果效应以指导自适应种群重建。 •使用反馈稳定搜索过程中的替换决策。 •测试跨约束类型的三十五个约束多目标优化问题。 引言 许多实际场景需要在约束下同时优化相互竞争的

  

•使用双重机器学习估计不可行解比例的影响。
•使用最小绝对收缩和选择算子(Lasso)选择控制变量。
•映射因果效应以指导自适应种群重建。
•使用反馈稳定搜索过程中的替换决策。
•测试跨约束类型的三十五个约束多目标优化问题。

引言
许多实际场景需要在约束下同时优化相互竞争的目标,这种设置被形式化为约束多目标优化问题(CMOPs)。重要示例包括污水处理过程优化 [1]、多目标发动机设计 [2] 以及钢铁生产中具有系统级相互依赖性的生产管理 [3]、[4]。不失一般性,CMOPs 可形式化如下:
min????(??)=(??1?(??),??2?(??),…,?????(??))??
s.t. ?????(??)≤0,??=1,…,??
????(??)=0,??=1,…,??
??∈??????
其中 ???(??)=(??1?(??),??2?(??),…,?????(??))??∈??? 和 ??=(??1,??2,…,????)??∈??(决策空间)分别是目标向量和决策向量。在式 (1) 中,?????(??)≤0 定义了 ?? 个不等式约束中的第 ?? 个,而 ????(??)=0 定义了 ?? 个等式约束中的第 ?? 个。

从决策者的角度来看,可行解自然比不可行解更受重视。只有满足所有等式和不等式约束的解才是 CMOPs 的可行解。如果违反任何约束,该解即为不可行解。约束违反程度由约束违反(CV)值量化,这在文献中广泛使用 [5]:
??????(??)=??∑??=1max?{?????(??),0}+??∑??=1max?{|????(??)|???,0}
其中 ?? 是一个非常小的正值(例如,10?4),用于放松等式约束。为了区分解,广泛使用的一个原则是帕累托支配。当且仅当对于所有 ??=1,…,?? 有 ?????(??1)≤?????(??2),且至少存在一个 ??∈{1,…,??} 使得 ?????(??1)
一般来说,CMOPs 之所以困难,是因为搜索必须平衡收敛性、多样性、目标优化和约束满足。早期的约束多目标进化算法(CMOEAs)通过约束处理技术(CHTs)解决了这一平衡问题,包括约束支配原则(CDP)[6]、惩罚函数 [7]、随机排序(SR)[8]、? 约束法 [9]、多目标重构 [10] 和混合策略 [11]。尽管这些方法在实现上有所不同,但它们本质上编码了目标与约束之间的固定偏好,这使得它们的性能对当前 CMOP 的结构非常敏感 [10]、[11]。

为了克服固定偏好的局限性,后续研究逐渐从静态设计转向阶段性或自适应偏好。PPS-MOEA/D [5] 首先忽略约束将种群推向 UPF,然后将其拉回 CPF;CMOEA-MS [12] 根据种群状态调整目标和约束的优先级;多阶段进化算法 [13] 逐步引入约束;TSRSM [14] 采用三阶段奖励切换机制。这些研究有一个共同直觉:目标优先级有助于种群跨越不可行屏障或接近 UPF,而约束优先级则用于利用可行边界并收敛到 CPF。因此,关键问题不再是应该强调目标还是约束,而是何时以及在多大程度上改变这种强调。

然而,这些偏好之间的过渡仍然主要由手动设计的规则控制。ToM [11] 识别问题类型并应用匹配的正统重建策略;PPS-MOEA/D [5] 依赖灵敏度参数触发推-拉切换;ATM-R [15] 采用参考点引导的选择与预设控制规则。这些机制在许多场景中是有效的,但它们没有直接回答种群重建中的一个关键定量问题:应该保留多少个不可行解。这个问题很重要,因为不可行解在不同搜索阶段起著相反的作用——它们在跨越不可行屏障时可能提供有用的搜索方向,但当搜索应集中在可行边界附近时,它们也可能减缓收敛 [5]、[12]。因此,固定的重建规则可能与给定代中不可行解的实际贡献不匹配。

最近,学习驱动的 CHTs 将这种适应的一部分从手工规则转向了基于搜索数据的决策 [7]。由此产生的进展是从固定偏好,通过基于规则的适应,再到学习驱动的适应 [5]、[6]、[7]、[11]、[12]。描述性指标,如原始不可行解比例或种群状态统计,本身并不能回答重建问题。该比例可能与目标尺度统计、CV 分布或经验目标前沿的可行份额协变。因此,观察到的关联并不能表明保留更多不可行解是否能提高随后的在线超体积(HV)。

与本文最密切相关的最近研究有三个分支。第一类协调多个搜索组件。C-TAEA-II 是一个双档案约束优化器,它改进了两个共进化档案的更新,并在伪帕累托前沿支配可行帕累托前沿时适应交配选择 [16]。Wang 等人自适应地分类当前种群,并在动态约束问题的几种策略中进行选择 [17]。Zou 等人通过新的合作机制将约束负担分布在面向约束的种群中 [18]。第二类放松了完整反馈的假设,解决了部分可观测 [19] 和未知 [20] 约束问题。第三类包括关于分解 [21] 和多保真度优化 [22] 的两个最近综述,它们映射了该领域并勾勒出其未来方向。其他方法改进了档案协调、后代采样、决策变量分类或可行性预测 [23]、[24]、[25]、[26]、[27]、[28]、[29]、[30]、[31]。这些进展改进了搜索组织或信息获取,但没有一个估计滞后不可行解比例对随后收敛的因果效应。

因此,剩余的差距既是实际的也是统计的。一种方法必须量化应该保留多少个不可行解,在调整记录的种群状态后估计滞后比例的因果效应,并将该效应转换为有界动作,而不改变宿主优化器的变异或环境选择:
•现有的阶段性方法缺乏确定种群重建期间应保留多少个不可行解的定量规则。固定规则和描述性信号不能直接指定每一代的这一决策。
•现有方法没有在调整记录的种群状态变量后估计滞后不可行解比例的影响。没有明确假设和调整,固定参考点在线超体积(HV)的明显增益可能反映虚假关联。
•重建规则很少使用估计分数和观察到的固定参考点在线 HV 改进来校正下一次重建动作。这种遗漏可能导致替换比例的 abrupt changes(突变)。

为了弥补这些差距,我们提出了 Lasso 双重机器学习(LDML),即双重机器学习(DML)的正则化扩展,用于约束多目标优化(LDML-CMO)。滞后不可行解比例是处理变量,随后的固定参考点在线 HV 改进是结果变量。参考点在第一次处理动作之前固定,并不使用真实的帕累托前沿。我们将处理解释为随机种群组成干预,它将滞后不可行解比例设置为目标水平,并对其观察到的条件分布上的剩余个体级组成进行平均。

结合历史仅时间块交叉拟合和双重残差化,在第 3.1 节的识别假设下应用 Lasso 正则化。这七个描述符是在线可观测的,包括经验前沿大小和可行性、约束违反的均值和方差、目标尺度统计量以及代进度。由此产生的池化标准化正交分数被限制在具有充分条件支撑的处理水平上。支撑集和时间安慰剂诊断评估观察到的处理范围和时间阴性对照衰减。原始分数与下游控制器的有界映射、反馈、平滑和整数替换操作分开保存。

动作分数被映射到替换比例,直接回答重建问题:正的诊断为效应保留更多不可行解,负的则用可行解替换更多。固定 HV 反馈和指数平滑缓和比例的变化。估计器依赖记录的描述符而非预定义的 CPF–UPF 类别,其输出取决于这些描述符和陈述的模型假设。

估计和重建模块可以嵌入到进化框架中,如 MOEA/D [32]、[33] 和 NSGA-II [6]。在报告的实验中,两种变体相对于选定的比较方法都显示了有利的聚合排名。匹配岭双重机器学习(Ridge-DML)、描述性相关、固定/无 DML 以及符号翻转比较进一步检查了正则化器敏感性和估计方向是否贡献于共享重建机制之外。

主要贡献如下:
•一种种群重建形式化,将滞后不可行解比例作为处理变量,固定参考点在线 HV 改进作为结果变量,记录的种群状态变量作为调整变量,纳入一个可估计的因果模型中。
•一个正交分数估计模块,结合历史仅时间块交叉拟合和双重残差化。Lasso 对结果和处理模型进行 L1 正则化拟合,稳定了针对七个预定义在线可观测状态描述符的有限样本分数,该模块返回一个池化标准化正交分数,在明确的支撑和识别条件下估计滞后诊断效应。
•一个独立的分数到动作模块,将未转换的分数映射到有界替换比例。固定 HV 反馈和指数平滑缓和重建动作,而匹配的控制器和正则化器比较测试了所报告协议下估计方向的贡献。

本文其余部分组织如下。第 2 节回顾了传统 CHTs、种群重建策略、最近的学习驱动和因果方法以及因果推断背景。第 3 节提出了因果形式化、LDML 估计器和反馈调整的重建机制。第 4 节报告了实验并讨论了其证据范围。最后,第 5 节总结了发现、局限性和未来方向。LDML-CMO 框架如图 1 所示。

章节片段
传统约束处理技术
传统约束处理技术调节目标质量和可行性之间的竞争。CDP 给予可行解优先权 [6]。惩罚方法在目标中添加约束成本 [7],而 SR 在目标比较和违反比较之间交替 [8]。? 约束法将足够小的违反视为可接受 [9]。重构方法则将约束表示为额外的目标 [10]。这些机制仍被广泛使用,但它们的...
相关性本身无法确立因果效应。因此,LDML-CMO 在因果推断框架内将种群重建形式化。流程图如图 2 所示。

实验设置
为了在报告的基准设置中评估 LDML-CMO,选择了三个广泛使用的约束多目标优化测试套件:MW 套件 [53]、DC-DTLZ 套件 [23] 和 DAS-CMOP 套件 [54]。根据 CPF 和 UPF 之间的关系,问题被分为三类 [41]、[55]、[56]。
类别 I 对应于 CPF 与 UPF 完全重合的情况(即 CPF = UPF)。在这种类型中,约束是松散的,不会限制...

结论
本研究提出了 LDML-CMO,用于约束多目标进化优化中种群重建的定量控制。LDML-CMO 使用 LDML 估计不可行解比例对固定参考点在线 HV 改进的滞后效应。它将该诊断估计与机械 η-to-Dpost 第一阶段相结合形成动作分数。有界映射、固定参考点在线 HV 反馈和指数平滑将动作分数转换为计划中的替换比例。

CRed?t 作者贡献声明
Yinghan Hong:资源、项目主管、资金获取、构思。Qiyuan Wu:撰写 - 初稿、软件、方法学、数据管理。Sirui Liang:撰写 - 初稿、软件、资源、方法学。Guizhen Mai:撰写 - 审阅与编辑、监督、项目主管、资金获取。Yi Xiang:撰写 - 审阅与编辑、监督、项目主管、资金获取。Pinghua Chen:撰写 - 审阅与编辑、监督。

利益冲突声明
作者声明他们没有任何已知的竞争财务利益或个人关系,这些利益或关系可能影响了本文报告的工作。

致谢
这项工作得到了广东省科技计划项目(KTP20240831,KTP20240254)、广东省普通高等教育领域专项项目(2025ZDZX3020,2025ZDZX1023,2023ZDZX3017)以及广东省重点学科研究能力建设项目的支持(2024ZDJS055,2024ZDJS056)。

Yinghan Hong|Qiyuan Wu|Sirui Liang|Guizhen Mai|Yi Xiang|Pinghua Chen
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号