《Machine Learning and Knowledge Extraction》:Beyond Predictive Performance: An Explainability–Governance Score Framework for Multidimensional Machine Learning Model Selection
编辑推荐:
机器学习模型越来越多地部署于高风险决策系统,在这些系统中,仅凭预测性能可能不足以构成负责任模型选择的充分依据。尽管可解释人工智能(XAI)为解释模型行为提供了技术手段,现有评估方法往往独立评估解释属性,对集成式模型选择支持有限。本研究提出可解释性—治理评分(E
机器学习模型越来越多地部署于高风险决策系统,在这些系统中,仅凭预测性能可能不足以构成负责任模型选择的充分依据。尽管可解释人工智能(XAI)为解释模型行为提供了技术手段,现有评估方法往往独立评估解释属性,对集成式模型选择支持有限。本研究提出可解释性—治理评分(EGS)框架,一种多维决策支持方法,整合四个互补维度:保真性(Fidelity)、局部预测稳定性(local predictive Stability)、反事实可行动性(Counterfactual Actionability)与治理对齐(Governance Alignment)。该框架将已有XAI技术、实际救济(practical recourse)与治理导向准则整合为候选模型的综合评估。研究人员使用德国信用(German Credit)、皮马印第安人糖尿病(Pima Indians Diabetes)与COMPAS数据集所代表的三个高风险领域中的五种机器学习模型进行实证评估。在主要BPS设定下,预测评估在信用风险、医疗保健与刑事司法中分别将XGBoost、决策树(Decision Tree)与随机森林(Random Forest)列为最高。在多维EGS评估下,逻辑回归(Logistic Regression)在信用风险(0.915)与医疗保健(0.915)取得最高EGS,而决策树在刑事司法取得最高EGS(0.886)。在每一领域中,最高EGS模型的同一性在全部六种预设权重配置下保持不变。这些发现表明,多维EGS评估可相对于预测评估实质性影响候选模型排序,并为超越单一预测性能评估候选模型提供结构化、可复现的依据。
机器学习(ML)已嵌入金融、医疗、刑事司法等高风险决策系统,算法预测可产生财务、临床、法律与社会后果。仅凭预测性能不足以支持负责任部署,利益相关者还需理解、审视与治理模型行为;可解释人工智能(XAI)虽提供SHAP、LIME和反事实解释等技术,但解释生成不等于解释可靠、稳定、可行动或适合治理。现有解释评估多聚焦特定技术或单一属性,保真性、稳定性、反事实可行动性与治理原则之间缺乏面向候选模型比较的集成量化方法。为此,研究人员提出可解释性—治理评分(EGS)框架,将保真性、局部预测稳定性、反事实可行动性与治理对齐整合为综合评分,在德国信用、皮马印第安人糖尿病和COMPAS三个高风险领域比较五类模型,并与BPS预测排序对照。结论是预测评估最高模型在三个领域均不同于最高EGS模型,EGS可提供结构化、可复现的模型比较依据,但应作为预测评估的补充而非替代。关键技术方法方面,研究人员使用三个公开基准数据集:德国信用、皮马印第安人糖尿病和COMPAS,分析文件分别来自Kaggle的german_credit_data.csv、pima-indians-diabetes.csv和cox-violent-parsed_filt.csv,德国信用标签取自UCI Statlog German Credit,COMPAS剔除820条is_recid=?1后保留17,496条;固定配置逻辑回归(LR)、决策树(DT)、随机森林(RF)、XGBoost(XGB)和多层感知机(MLP);以召回率、ROC-AUC和精确率构建BPS;采用SHAP、LIME和DiCE反事实解释,计算四维EGS;通过AHP权重敏感性、留一维度消融、Monte Carlo权重抽样和5个训练—测试划分种子的重复全流程评估稳健性。研究结果如下:4.1 基线预测性能(Baseline Predictive Performance):通过BPS、10折分层交叉验证和Holm校正McNemar检验,信用风险中XGB的BPS最高,医疗中DT最高,刑事司法中RF最高;信用风险与医疗的成对模型差异多数未达统计显著,刑事司法中RF显著优于LR、DT、XGB和MLP。4.2 多维EGS评估(Multidimensional EGS Evaluation):通过四维评分与综合,信用风险中LR最高(0.915),医疗中LR最高(0.915),刑事司法中DT最高(0.886);所有模型治理对齐均为1.000,在本实验中未提供模型区分,稳定性与保真性对排序区分较强。4.3 预测性能与EGS模型选择比较(Predictive Performance Versus EGS-Based Model Selection):通过比较BPS排序与EGS排序,三个领域中预测最高模型均非最高EGS模型;信用风险XGB由第一降至第五、LR由第五升至第一,医疗DT由第一降至第四、LR由第五升至第一,刑事司法RF由第一降至第五、DT由第四升至第一,表明统计支持的预测优势不必然对应最高EGS。4.4 稳健性与敏感性分析结果(Robustness and Sensitivity Analysis Results):通过六种预设权重、留一维度消融、10,000次Monte Carlo权重抽样和五个训练—测试划分种子的重复全流程,最高EGS模型身份在六种权重下均未改变;信用风险与医疗完全秩不变,刑事司法中间秩有限变化;去除治理对齐不改变任何领域排序,去除稳定性在刑事司法使第一由DT变为XGB且与完整EGS排序的Kendall’s τ=?0.20;Monte Carlo中LR在信用风险94.43%、医疗99.00%的抽样权重下第一,DT在刑事司法87.25%的抽样权重下第一;重复全流程中信用风险LR和刑事司法DT均完全rank-1稳定,医疗LR在4/5次中第一、MLP在1/5次中第一。讨论部分总结认为,预测优越性不等同多维适用性;刑事司法中RF预测显著最优但EGS最低,DT因稳定性最高而居首;框架不系统偏向单一模型架构;稳定性和保真性区分度较大,反事实可行动性变化较小,治理对齐因所有模型均满足四项证据要求而恒为1.000,在本实验中不区分;EGS分数为候选集相对且条件于维度定义、权重与固定配置,稳定性扰动在预处理特征空间中进行,反事实可行动性不证明因果或现实可行性,治理对齐不等同法律合规,公平性、校准和不确定性未纳入综合评分。结论部分翻译:该研究提出EGS框架,将保真性、稳定性、反事实可行动性和治理对齐四维评分与个体维度保留相结合,用于高风险决策系统中ML模型的多维评估。在信用风险、医疗和刑事司法中,主要BPS下预测最强分别为XGB、DT和RF,而最高EGS分别为LR、LR和DT,说明强预测性能不必然意味着联合考虑四维时同样领先。稳健性分析显示主要EGS结论在预设权重、留一维度、Monte Carlo权重抽样和重复全流程中总体稳定;信用风险和刑事司法在五次重复中rank-1完全稳定,医疗在LR与MLP间有有限变异;稳定性提供最强经验区分,保真性次之,反事实可行动性变化较小,治理对齐在本实验均匀满足且无模型区分。EGS应视为预测评估的补充而非替代,应解释为比较决策支持方法,而非伦理可接受性、法律合规或部署准备的绝对度量;部署决策仍需以令人满意的预测性能和领域特定评估为条件,包括公平性、校准、不确定性、治理和人类监督等。