编辑推荐:
集成(Ensembles)通过聚合多个模型的预测来提高预测性能和不确定性量化(uncertainty quantification)。在深度集成(deep ensembles)中,这些个体模型可以是黑箱神经网络或更具可解释性的模型,例如神经加性模型(neura
集成(Ensembles)通过聚合多个模型的预测来提高预测性能和不确定性量化(uncertainty quantification)。在深度集成(deep ensembles)中,这些个体模型可以是黑箱神经网络或更具可解释性的模型,例如神经加性模型(neural additive models)。然而,通常计算集成预测时,集成成员的可解释性会丧失。这是深度集成在高风险决策领域的一个关键缺陷,因为这些领域需要可解释的模型。研究人员提出一种新颖的变换集成(transformation ensemble),它以保证保留可解释性并平均优于集成成员预测的方式聚合概率预测。变换集成专门针对一类归一化流(normalizing flows),称为深度变换模型(deep transformation models),但可适用于更广泛的概率神经网络。在多个公开可用数据集的实验中,研究人员证明变换集成在预测性能、区分度(discrimination)和校准(calibration)方面与经典深度集成相当。此外,研究人员展示了变换集成如何捕捉偶然不确定性(aleatoric uncertainty)和算法不确定性(algorithmic uncertainty),并在某些条件下产生最小最大最优(minimax optimal)的预测。
论文解读:深度可解释集成
**研究背景、问题与动机**
在医疗等高风险决策领域,对预测模型的可解释性和高性能需求迫切。传统统计回归模型(如线性回归、Cox比例风险模型)具有内在可解释性,但难以处理图像、文本等非结构化数据。深度神经网络虽灵活,但常为黑箱。集成方法(如深度集成)通过聚合多个模型预测可提升性能,但即便成员模型可解释(如神经加性模型),经典集成(线性或对数线性聚合)会破坏结构假设,导致可解释性丧失。这一矛盾是深度集成在高风险应用中的关键缺陷。此外,深度集成带来的性能提升是否源于成员模型结构被打破后的灵活性增加,尚无定论。为弥合可解释性与高性能间的鸿沟,研究人员提出变换集成(transformation ensemble),它通过聚合变换函数而非概率分布来保留成员模型的结构和可解释性,同时保证平均优于成员的预测性能。该论文发表在《Neurocomputing》,系统验证了变换集成在多个半结构化数据集上的有效性,并回答了关于深度集成灵活性的开放性问题。
**主要关键技术方法**
研究人员采用深度变换模型(deep transformation model, DTM,一种通过单调变换函数将潜在分布映射到条件结果分布的模型)作为成员模型。变换集成在变换函数尺度上加权平均成员预测,而非在累积分布函数(cumulative distribution function, CDF)尺度。该方法适用于任意概率神经网络,但最受益于统一潜在分布的变换模型。研究基于三个公开数据集:电影数据集(连续结果,含数值特征和文本)、黑色素瘤数据集(二分类结果,含图像和年龄,样本量33,058)以及UTKFace数据集(有序结果,含图像、性别及模拟协变量)。模型通过最小化负对数似然(negative log-likelihood, NLL)或排序概率得分(ranked probability score, RPS)训练,集成权重可基于验证集优化。
**研究结果**
**4.1 可解释性**
在电影数据集上,研究人员构建半结构化深度变换模型(包括线性偏移和复杂偏移项)。通过可视化发现,经典线性集成因CDF的非线性失去结构假设(如比例优势),而变换集成保留了成员的加性结构,使得流行度和文本评分的效应可继续解释为对数优势比。每个成员的变换函数平均后仍保持在原模型类中。
**4.2 预测性能**
研究人员在电影、黑色素瘤和UTKFace三个数据集上比较经典线性集成(LIN-Ens)、对数线性集成(LOG-Ens)和变换集成(TRF-Ens)。所有集成类型均显著优于成员平均性能,且变换集成与经典集成在NLL、Brier得分、区分度等指标上表现相当,尤其在权重优化后差异更小。这一结果证明,经典集成因打破模型类而带来的额外灵活性并非性能提升的必要条件。
**4.3 不确定性量化**
研究人员区分了偶然不确定性(数据固有变异)和算法不确定性(由随机初始化和优化导致)。变换集成在函数空间(变换函数)和参数空间(线性预测项系数)均可评估算法不确定性。例如,在黑色素瘤数据中,年龄的对数优势比估计可通过集成成员的平均值获得,并计算置信区间。校准图显示,变换集成与经典集成在校准质量上无显著差异,但变换集成提供了更透明的参数不确定性。
**5.3 结果与讨论**
对于黑色素瘤数据集(二分类),图像数据(复杂截距项)对预测最重要,加入年龄(线性偏移)进一步提升性能。所有集成方法在NLL和Brier得分上表现相近,且权重优化可降低分裂间变异。对于UTKFace数据集(有序结果),最灵活的模型(CI-LS,包含图像和表格数据)性能最优。比例优势假设对图像项不成立,放开该假设后性能提升。变换集成在所有模型上均与经典集成性能相当,且在科恩加权卡帕(Cohen's quadratic weighted kappa)指标上持续最优。校准方面,图像数据的加入显著改善了校准,对数线性集成在校准上略有优势。
**总结讨论与结论**
变换集成弥合了预测性能与可解释性之间的鸿沟。它们不仅保证平均优于成员性能,而且保留模型结构,因而拥有与成员相同的内在可解释性。这使得研究人员可直接评估内在可解释模型参数中的算法不确定性。在多个数据集上,变换集成在概率和区分性能指标上均与经典集成相当,因此是经典集成的可行替代方案。保留内在可解释性是变换集成最关键的优势,尤其适用于医学等依赖多模态半结构化数据的领域。研究还表明,经典集成因模型类扩展带来的灵活性通常并非必要。此外,变换集成通过加权平均直接聚合加性线性预测项中的可解释参数,既保持结构又允许不确定性评估。对于非内在可解释的复杂项,仍可应用事后解释方法。在不确定性量化方面,变换集成同时评估偶然和算法不确定性,但校准上未显著优于个体模型平均。未来研究可探讨变换集成在分布外鲁棒性、无监督学习任务及有序/连续结果最小最大最优性方面的扩展。