分布偏移与目标定义变化下,稳定的判别能力可能掩盖AI决策支持中的可靠性失效

《Computers》:Stable Discrimination Can Hide Reliability Failures in AI Decision Support Under Distribution Shift and Changing Target Definitions

【字体: 大 中 小 】 时间:2026年08月27日 来源:Computers 5.2

编辑推荐:

  稳定的判别能力可以与不可靠的概率、弃权策略和不确定性集合在分布偏移下共存。研究人员使用CRIT-AID(一个可执行的多领域可靠性审计框架)评估了这种不匹配,该框架将模型拟合、概率校准、操作规则校准和测试分开,并将源域导出的规则不变地迁移到目标域。在四个公开的表

  
稳定的判别能力可以与不可靠的概率、弃权策略和不确定性集合在分布偏移下共存。研究人员使用CRIT-AID(一个可执行的多领域可靠性审计框架)评估了这种不匹配,该框架将模型拟合、概率校准、操作规则校准和测试分开,并将源域导出的规则不变地迁移到目标域。在四个公开的表格数据领域,稳定的判别能力并不意味稳定的概率质量、选择性操作点或共形不确定性。在相同的ACS 2024记录上,改变收入目标定义使AUROC几乎不变,而ECE相差0.083;患病率-截距对齐将该差异降至?0.004,表明目标语义可以改变概率可靠性而不实质改变排序。在27个主要的90%共形条件下,标签条件校准改善了18个条件的最差类别覆盖率,但在9个条件中恶化,并通常增加预测集大小。LightGBM敏感性改变了绝对判别能力,但未消除可靠性维度之间的不匹配。这些发现表明,仅凭判别能力不足以证明可靠的AI决策支持:当部署条件或目标含义发生变化时,审计应测试概率映射、操作规则、类别特定有效性和不确定性信息量的可迁移性。
**论文解读:CRIT-AID框架揭示稳定判别能力与决策支持可靠性之间的脱节**

**一、研究背景与问题**

在人工智能(AI)决策支持系统的实际部署中,单一的绩效指标往往无法充分描述系统的运行可靠性。一个已部署的系统可能执行排序、输出概率、触发升级、弃权或返回预测集等不同操作,而这些输出在时间、地理、机构、人群或测量变化下可能以不同方式失效。因此,可靠性不仅涉及判别能力,还涉及目标含义、概率质量、操作规则的迁移以及不确定性输出的有效性和信息量。然而,当前许多评估实践仍以AUROC等判别指标作为系统可靠性的主要证据,忽视了概率校准、选择性预测和共形预测等下游决策相关量。稳定判别能力可能掩盖概率可靠性、选择性操作点或不确定性集合的失效。此外,分布偏移不仅改变输入和结果的分布,还可能改变预测目标本身的运行含义,例如名义收入阈值、诊断标准或政策触发条件可能在标签名称不变的情况下改变阳性案例的构成。因此,亟需一种可执行的审计框架,将判别能力、概率质量、选择性预测、共形有效性和信息量纳入统一的源到目标迁移实验,以检验这些可靠性维度是否在部署条件变化时保持其统计特性。

**二、研究内容与主要结论**

研究人员提出了CRIT-AID(Comprehensive Reliability Inspection and Transport Audit for Intelligent Decision-support,智能决策支持的综合可靠性与迁移审计)框架,并将其操作化为一个七阶段协议。该协议强制分离模型拟合、概率校准、选择性/共形校准和测试数据,将源域导出的操作规则(如选择阈值和共形分位数)不变地迁移到目标域,并允许在相同记录上改变目标定义,同时报告边缘可靠性与类别特定和信息量诊断。研究在四个公开表格数据领域进行了跨域实验:ACS收入数据(2018与2024年,加州、佛罗里达、纽约和得克萨斯)、OULAD学习分析数据(2013B/J与2014B/J模块-呈现)、南德意志信贷数据(1000例)和心脏疾病多站点数据(四个UCI站点)。所有分析均使用逻辑回归作为主要低容量审计探针,并辅以固定LightGBM规格进行模型族敏感性测试。

研究得出以下主要结论:第一,在ACS中,改变收入目标定义(未调整阈值、调查年调整阈值和CPI恒定阈值)在相同记录上导致目标AUROC几乎不变(差异仅?0.003),但ECE差异达0.083,Brier分数差异为0.017,对数损失差异为0.047。同一记录诊断分解表明,目标标签因子占ECE总对比的0.0692,患病率/截距对齐将ECE对比降至?0.004(95% bootstrap区间跨越零),表明目标语义变化可显著改变概率可靠性而不实质改变排序。第二,在OULAD中,精确模块-呈现期匹配后,日14和日56的源到目标AUROC变化分别为?0.034和?0.009(等对权重),但边际共形覆盖隐藏了类别不对称:日14目标边际覆盖为0.889,而类别1覆盖仅0.778,标签条件校准将类别1覆盖提高至0.845,但以更大预测集大小为代价。第三,在南德意志信贷中,等预算的定向删除(基于互信息的三个最高特征)使AUROC从0.784降至0.695,而随机删除仅降至0.765;定向删除将边际90%覆盖降至0.800,类别1覆盖仅0.332,标签条件校准将其提高至0.710但产生更大集合。第四,在心脏疾病站点迁移中,目标AUROC范围从VA Long Beach的0.704到Hungary的0.874,瑞士ECE为0.334(该站点仅8个阴性记录),边际目标覆盖最低为Cleveland的0.814,类别特定覆盖存在显著异质性。第五,跨27个主要90%共形条件,标签条件校准在18个条件中改善最差类别覆盖,在9个条件中恶化,在290次重复比较中改善205次、恶化70次、不变15次,且预测集在221次比较(76.2%)中增大,表明这是一种权衡而非普遍修复。第六,LightGBM改变了绝对性能,但未消除可靠性维度间的不匹配,例如ACS中两种模型族仍保留未调整与CPI恒定目标间的大ECE对比。

**三、主要技术方法**

CRIT-AID协议采用七个强制步骤:固定目标估计量和证据可用性时间;创建确定性队列和四个不相交的源分区;拟合主预测管道和概率映射(不进行目标调优);在源域ID测试和目标域OOD测试上评估相同指标并计算配对OOD减ID变化;将源域估计的选择阈值和共形分位数不变地迁移;在适用时审计目标语义和匹配预算的证据退化;报告领域、类别和亚组异质性。模型拟合使用L2正则化逻辑回归(C=0.1)和固定LightGBM(200棵树、学习率0.05、31叶、最小子节点50、行/列子采样0.9、L1正则化1)。概率校准采用Platt缩放和等渗回归作为次级映射。共形预测采用分割共形分类,非一致性分数为1减预测概率,边缘共形使用一个分位数,标签条件共形分别估计类别0和类别1的分位数。样本来源:ACS使用2018和2024年ACS 1-Year PUMS个人文件,OULAD使用公开学习分析数据集,南德意志信贷使用原始UCI文件,心脏疾病使用四个UCI站点文件。ACS使用调查权重,OULAD采用两阶段重采样(先抽样模块-呈现对,再在选定对内抽样学生),信贷保留完整随机特征集分布,心脏疾病使用Clopper-Pearson区间。

**四、结果详述**

*4.1 执行完整性和模型规格*:每个预先指定的主要和次要组合均保留在机器可读结果矩阵中,无目标域性能选择。

*4.2 ACS目标定义敏感性和源到目标迁移*:主要逻辑回归-Platt管道下,CPI恒定目标的目标ECE为0.014,未调整目标为0.099,配对加权bootstrap差异为0.082(95% CI [0.077, 0.087]),而AUROC差异仅?0.003。标签变化率8.36%完全来自未调整阳性到CPI恒定阴性。分解显示目标标签因子贡献0.0692,预测管道因子贡献0.0133。五个独立抽样队列复现了该模式。亚组诊断显示ECE范围0.013–0.047跨州和性别,0.015–0.024跨种族组。

*4.3 OULAD精确时间匹配、估计量敏感性和共形不对称*:等对权重日14目标AUROC为0.674,日56为0.735;样本大小加权值分别为0.688和0.747。日14等对目标边际覆盖0.889,类别1覆盖0.778;标签条件校准将类别1覆盖提升至0.845(平均集大小1.596)。日56边际和标签条件类别1覆盖分别为0.795和0.885。地标和全注册估计量产生不同结果(日14 AUROC 0.728 vs 0.796),因风险集定义不同。

*4.4 等预算信贷退化*:随机删除三特征产生平均AUROC 0.765,定向删除产生0.695;定向退化平均位于随机集退化分布的第94百分位。检查账户状态在20次重拟合中均进入前三,信贷历史14次,持续时间13次。定向删除使边际90%覆盖降至0.800(类别1仅0.332),标签条件校准提高至0.710但增大集大小。

*4.5 心脏疾病机构迁移*:目标AUROC范围0.704–0.874,瑞士ECE 0.334(8个阴性记录)。源校准0.80选择阈值达到的目标选择率0.678–0.762,选择性风险0.128–0.275。边际目标覆盖最低为Cleveland 0.814,类别0覆盖在VA Long Beach为0.686。添加缺失指示器改变AUROC:Cleveland +0.053,Hungary +0.011,Switzerland ?0.033,VA Long Beach ?0.019。

*4.6 标签条件共形校准的权衡*:在290次重复比较中,最差类别覆盖改善205次、恶化70次、不变15次;预测集增大221次(76.2%)。最差平均变化为Heart Disease Hungary(+0.100),而OULAD BBB-B日56变化?0.056。信贷定向删除改善最差覆盖0.3778但增加平均集大小0.3417。

*4.7 跨四领域的模型族敏感性*:LightGBM在Cleveland显著改善(AUROC变化+0.087),但在OULAD日56、定向信贷删除和VA Long Beach未改善。ACS中两种模型族均保留大的校准对比,表明模型族不消除可靠性维度间的不匹配。

*4.8 跨域变异性的统计整合*:描述性混合效应模型显示,主要逻辑回归的OOD减ID平均位移为AUROC ?0.028,ECE +0.054,Brier +0.032。AUROC方差29.6%在域级、43.0%在条件级、27.4%在重拟合级;ECE方差约0.0%在域级、72.1%在条件级、27.9%在重拟合级。模型族扩展显示LightGBM减逻辑回归的OOD位移变化为AUROC +0.010,ECE ?0.013,Brier ?0.006。

**五、讨论与结论**

讨论部分强调:稳定判别不能证明下游决策相关量的可靠性;标签条件共形校准是权衡而非普遍修复;逻辑回归作为审计探针的合理性;技术可靠性需与人为因素评估结合;可重复性是审计有效性的一部分。研究结论指出,跨四个异质表格测试床,判别、概率校准、选择性操作点和共形不确定性在目标偏移或证据退化下不是可互换的属性。实践含义是报告原则:定义目标、分离拟合/校准/测试数据、不变迁移操作规则、同时评估判别和概率质量、报告选择率和选择性风险、配对边际共形覆盖与类别特定覆盖和集合信息量、压力测试缺失证据的信息相关性。CRIT-AID作为一个可执行的技术可靠性层,其最普遍的声明是窄且可测试的:稳定判别不蕴含可靠的概率、操作规则或不确定性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号