《Electronics》:Multi-Objective Explainable AI for Risk-Aware Test Selection in Multi-Layer Continuous Integration Systems
编辑推荐:
多层软件系统的持续集成(CI)流水线面临验证完整性与执行效率之间的张力。回归测试选择(RTS)与基于学习的优先级排序可缓解该张力,但通常以黑盒形式运行,无法提供可解释的决策依据。研究人员提出MOX,一种面向风险感知测试选择的初步决策支持框架,联合优化四个目标:
多层软件系统的持续集成(CI)流水线面临验证完整性与执行效率之间的张力。回归测试选择(RTS)与基于学习的优先级排序可缓解该张力,但通常以黑盒形式运行,无法提供可解释的决策依据。研究人员提出MOX,一种面向风险感知测试选择的初步决策支持框架,联合优化四个目标:执行代价、故障检测影响、受影响测试覆盖广度,以及一项被形式化为首要可数值优化目标的可解释性得分(一种结构可追溯性代理,而非经校验的人类可解释性度量),并在由可配置影响预算约束的帕累托选择机制内进行权衡。研究人员在ABB两条公开工业CI数据集iofrol(1941项测试,320个周期)与paintcontrol(89项测试,352个周期)上做回溯性评估,数据集含工业机器人软件集成级回归测试执行日志。无新测试被开发或执行:各历史周期的选择按记录通过/失败判定重放。因日志不含代码变更,各周期变更事件由其失败测试推断,故检测数应读作选择预算下对失败测试的回溯性保留,而非前瞻性故障检测。在该协议下,MOX在含失败周期的53.9%–57.5%全量套件代价内保留iofrol 96.7%与paintcontrol 98.2%的记录失败,并将平均故障检测百分比(APFD)从0.507升至0.626、从0.596升至0.815;配对Wilcoxon检验高度显著,MOX在约70%–80%周期内比含输入匹配单目标类比在内的信息性优先级基线更早排序记录失败。协议内目标剔除消融将排序增益归因于可解释性目标,且最廉价配置在提出的可追溯性度量上得分最高。
研究背景方面,现代多层软件系统(操作系统内核、中间件、硬件抽象驱动、应用服务并发构建并经自动化持续集成(CI)流水线集成)中,单层修改经依赖链传递引发级联重验证义务,全量回归反馈延迟达数十分钟至数小时,与快速迭代节奏冲突;在ISO 26262、IEC 61508等受监管域,测试缩减须可辩护、可审计、可追溯到底层变更。现有方法分两类:回归测试选择(RTS)用静态/动态依赖分析求最小受影响集,但在多层传递影响集庞大且跨仓依赖建模不全时安全性保证退化;基于机器学习的优先级排序利用历史失败与代码变更特征预测高故障检测测试,效率高却为不透明模型,无包含/排除的可解释依据。文献第三类结构性缺陷是:无论目标数多少,均不把选择决策本身的可解释性作为可优化量,而CI操作员同时面对低执行代价、高故障检测、广受影响覆盖、每决策可解释依据这四不可归约性质。MOX即在此缺口上提出。
研究人员开展的研究为:将执行代价、故障检测影响、覆盖广度、可解释性score列为四首要目标,其中可解释性定义为基于依赖图与失败史的结构可追溯性代理(含路径清晰度、直接成员性、历史特异性三子项),非人类可解释性校验;以模型定义残差影响硬预算R为风险包络,在权重单纯形采样K个向量、每向量下用式(10)效用贪心准入至满足预算,得K候选解再做四维非支配排序近似帕累托前沿;暴露非支配菜单与默认最低代价点供操作员选,不替代最终权威。推理期原生发射四字段JSON依据(依赖路径、覆盖重叠相似度、历史失败概率、风险余量)。在《Electronics》发表的该文以ABB iofrol与paintcontrol两工业CI日志做回溯重放,变更事件由当周期失败测试集反推,历史失败概率仅取前30周期滑动窗,依赖图由k-means模块划分与共同失败Jaccard边重构(iofrol 6模3985边、paintcontrol 4模250边),全程防泄漏。
主要关键技术方法概括:研究人员采用回溯性oracle条件重放协议,在ABB iofrol(1941测试/320周期,筛后183含失败周期)与paintcontrol(89测试/352周期,筛后239含失败周期)两工业队列上,由日志失败测试反推变更事件Δc,由k-means聚三类特征(失败率/时长/活跃度)得模块、按共同失败Jaccard连三边构有向依赖图;以边界前向BFS(深度d=4)算受影响集A(Δc);四目标含式(3)代价、式(4)结构+历史融合影响(α=0.5)、式(5)受影响测试覆盖、式(6)(7)可解释性(ωp=0.5,ωm=0.3,ωh=0.2,路径长clamp、历史比clamp 3倍均值);式(8)(9)残差影响硬约束g≤R·Itotal;选代器采K=40组Dirichlet权重、式(10)静态逐测试效用贪心至可行、四维非支配排序近似前沿;基线对照全量执行(FTE)、直接变更启发(DCH)、纯历史RETECS式(RET)、单目标评分(SOS);指标含归一化代价、故障检测率(FDR)、覆盖比(CR)、可解释性得分(ES)、平均故障检测百分比(APFD)、帕累托超体(HV);统计用配对Wilcoxon与效应量,附种子级稳定性与严格预序图鲁棒检查。
研究结果部分,第6节各小节结论如下。6.1聚合性能:iofrol上MOX以57.5%全量代价留96.7%记录失败,APFD 0.626(FTE 0.507),SOS同代价95.7%,RET 80.4%代价仅91.7%;paintcontrol上MOX以53.9%代价留98.2%,APFD 0.815(FTE 0.596,SOS 0.749)。MOX在大小稀疏对立数据机制下均领先输入匹配的SOS,排序增益大于保留增益。6.2风险阈值效应:R自0.05升至0.30,iofrol代价63.7%→38.5%、FDR 99.1%→82.7%,paintcontrol R=0.30时代价29.6%且留92.0%失败;两集可解释性得分随R单调升(iofrol 0.41→0.52,paintcontrol 0.39→0.51),廉价配置恰为高可追溯配置。6.3消融研究:剔解释性目标致iofrol APFD降幅最大(0.626→0.581),剔代价目标则代价升而FDR/APFD微升,剔覆盖目标因单组件单测试实例化无变化,剔影响目标因风险约束仍强制保留地板致FDR/APFD不降;消融表明解释性项在oracle条件协议下携带超出共享结构/历史项的排序信号。6.4(原文6.4为解释性与代价对齐分析)最廉非支配点集与高E(X)重合,因紧预算逼留短路径高特异性测试,该对齐部分来自评分定义自身。6.6 MOX vs SOS:输入匹配下MOX在APFD上稳定优于SOS(iofrol约70%周期、paintcontrol约80%周期更早排失败),证明四目标帕累托机制相对单目标标量化的增量来自解释性目标引入与权重单纯形探索。6.7鲁棒性:种子重采样下候选池稳定,严格预序每周期重构图后比较结构 persist;释放种子级参考实现。
讨论与结论翻译总结:研究人员在讨论中指出,MOX的“可解释性”是结构可追溯性代理,非经开发者/审计员验证的人类中心可解释性;R是模型定义残差影响预算非缺陷概率校准;“风险感知”非安全保证。威胁效度首要为变更事件由失败测试反推致oracle泄漏,故FDR读为预算生存、APFD读为oracle条件排序质而非前瞻优先级;依赖图由共同失败重构非真组件清单,需真代码变更与真依赖清册的严格预序协议作后续证据;解释性三子项权重为作者先验未经专家标定。结论节宣称:MOX首次在CI测试选择文献中将可解释性表为首要可数值优化目标并合入四目标帕累托决策支持,在ABB两工业日志回溯协议下以约半量代价留96.7%/98.2%记录失败并将APFD提升23.5%/36.7%,消融将排序增益归解释性目标,风险阈值提供平滑可配权衡,最廉前端最高可追溯——该框架为多层CI中速度、可靠、问责三角张力提供非黑盒近似前沿菜单,但前瞻性部署断言待真变更数据、真依赖图与人类依据记录研究三方补足。