论神经网络倾向性得分估计中的分类-因果权衡

《Stats》:On the Classification–Causal Tradeoff in Neural Network Propensity Score Estimation Seungman Kim, Jaehoon Lee and Kwanghee Jung

【字体: 大 中 小 】 时间:2026年04月02日 来源:Stats 1

编辑推荐:

  观察性研究是随机实验的重要替代方案,但极易受到选择偏差的影响。倾向性得分(Propensity Score, PS)方法通过平衡组间协变量来解决这一问题。尽管从理论上看包含所有相关协变量是理想的,但高维度常常使传统估计模型不稳定。本研究评估了深度神经网络(De

  
观察性研究是随机实验的重要替代方案,但极易受到选择偏差的影响。倾向性得分(Propensity Score, PS)方法通过平衡组间协变量来解决这一问题。尽管从理论上看包含所有相关协变量是理想的,但高维度常常使传统估计模型不稳定。本研究评估了深度神经网络(Deep Neural Network, DNN)和卷积神经网络(Convolutional Neural Network, CNN)在PS估计中的效能,并与传统逻辑回归(Logistic Regression, LR)进行比较,利用它们处理复杂非线性关系和交互作用的能力。通过涵盖36个条件的蒙特卡洛模拟,研究人员基于偏差和失衡减少来评估模型性能。结果表明,DNN和CNN显著优于LR。具体而言,LR使结果偏差增加了17%,协变量失衡仅减少了5%,而DNN和CNN分别使结果偏差减少了13%和16%,协变量失衡减少了18%和21%。研究人员得出结论:尽管需要专门的计算资源,但神经网络在高维PS估计中具有显著优势。然而,其可靠应用需要稳定性感知训练和适当的错误率阈值,以防止概率退化。
### 论文解读:神经网络倾向性得分估计中的分类-因果权衡

#### 研究背景与目的

在因果推断领域,随机对照试验(Randomized Controlled Trials, RCTs)被视为消除选择偏差的金标准,但由于伦理或成本限制,研究人员常依赖观察性研究。然而,观察性数据中非随机分配导致的选择偏差会混淆治疗与结果之间的关系,因此需要通过平衡协变量来模拟随机化。倾向性得分(Propensity Score, PS)方法通过估计个体接受治疗的条件概率,并基于此进行匹配、加权或分层,以还原组间可比性。理论上,PS模型应包含所有相关协变量,但高维数据会引发传统参数模型(如逻辑回归,Logistic Regression, LR)的不稳定性和偏差放大问题。尽管基于树的集成方法(如随机森林)已成功应用于PS估计,但深度神经网络(Deep Neural Network, DNN)和卷积神经网络(Convolutional Neural Network, CNN)在这一领域的研究仍相对匮乏。核心挑战在于“分类-因果权衡”:当神经网络被过度优化以提高分类准确率时,预测的倾向性得分(PS)可能趋向0或1,违反正性假设(positivity assumption),导致逆概率加权(Inverse Probability of Treatment Weighting, IPTW)估计中的权重爆炸和方差膨胀。因此,本研究旨在通过蒙特卡洛模拟,系统评估DNN和CNN在减少选择偏差和协变量失衡方面的性能,并与LR对比,同时引入稳定性感知训练框架来平衡分类精度与因果推断稳定性。该论文发表于《Stats》。

#### 关键技术方法

研究人员通过蒙特卡洛模拟生成包含10000个受试者的数据集,样本规模反映大规模观察性研究。参数设计采用3(协变量间相关rXX:0.1、0.3、0.5)×3(协变量-结果相关rXY:0.1、0.3、0.5)×4(治疗组-结果相关rTY:0、0.1、0.3、0.5)的析因设计,共36种条件,每种条件生成200个数据集,总计7200个数据集。主要技术框架包括:(1)**DNN**:一个输入层(189个神经元,对应协变量、交互项和平方项)、两个隐藏层(189和94个神经元)和一个输出层,使用SGD优化器,学习率0.01,ReLU激活函数,HE初始化,训练20个epochs以保持稳定性。(2)**CNN**:将协变量及其平方项重塑为36×36的二维矩阵(数值缩放至0–255),包含卷积层(32个3×3滤波器)、ReLU激活、2D最大池化层、展平层和全连接输出层,同样训练20个epochs。(3)**LR**:使用R中的`glm`函数,包含所有协变量、交互项和平方项。权重方法采用两种:基于比值(odds)的加权和稳定化IPTW。所有模型在5折交叉验证下评估,并基于**稳定性感知训练策略**(当预测概率远离0和1时停止训练,ε≥ε0)确保经验正性。

#### 研究结果

**准确率与损失率**
在稳定性感知训练下,DNN和CNN的交叉熵损失维持在0.33–0.37之间,分类准确率约为0.85–0.87。这表明模型未出现概率退化(predicted probabilities collapse toward 0 or 1),从而保证了逆概率权重的稳定性。研究人员强调,这些数值并非追求最大预测性能,而是反映受控优化。

**偏差减少**
通过比较加权与未加权线性回归模型中的治疗效应估计(β1),研究人员评估了各方法对结果变量偏差的减少能力。结果显示,DNN和CNN在所有rTY和rXX条件下均显著优于LR。具体而言,LR在低rTY条件下常导致偏差放大(偏差增加17%),而DNN和CNN分别使结果偏差减少13%和16%(见图3和表3)。CNN的平均偏差减少略高于DNN,但无统计学显著差异。LR的差性能可归因于其对非线性关系和交互作用的捕捉不足,以及有限样本下PS估计的极端化。

**失衡减少**
协变量失衡减少的评估基于加权后各协变量(X1–X18)均值差异的变化。DNN和CNN在所有条件下均比LR更有效地减少协变量失衡(见表4和图4)。CNN的失衡减少幅度略高于DNN,可能与CNN的架构约束(参数共享、局部连接)隐式调节模型复杂度有关,从而在经验正性约束下更有效地捕捉非线性治疗分配机制。LR在复杂相关结构下失衡减少能力有限,凸显了参数模型在高维设置中的局限性。进一步对单个协变量和不同rXT(协变量-组别相关)的分析表明,DNN和CNN即使在弱相关协变量下也能保持一致的失衡减少,而LR则表现不佳(见图5)。

**讨论与结论**
本研究表明,神经网络(尤其是DNN和CNN)在PS估计中具有显著优势,但需注意分类-因果权衡。纯粹优化分类准确率会导致PS退化,违反正性假设并放大方差。为此,研究人员提出的稳定性感知训练框架(如限制epochs)可在保持灵活性的同时维持经验正性。DNN因其较快的估计速度(单条件2.1分钟,比LR快3倍,比CNN快15倍)和可接受的性能,适用于快速PS估计场景。CNN的架构约束(如卷积操作)可视为隐式正则化,有助于在高维变换中避免极端概率,但计算成本更高。此外,本研究强调PS模型的质量应依据协变量平衡而非分类准确率来评估,这与Lee等[22]的论点一致。

**研究结论**:本研究通过分类-因果权衡的视角考察了基于神经网络的PS估计。尽管深度学习模型通常以最小化预测损失为目标,但本研究表明过度的分类最优性可能破坏基于加权的因果推断的稳定性要求。特别是,即使预测准确率很高,接近退化的PS也会导致极端逆概率权重和方差膨胀。通过形式化这一矛盾,本研究引入了稳定性感知训练框架,在保留神经网络灵活性的同时保持了经验正性。在该框架下,DNN和CNN在受控稳定性条件下均比LR实现了更好的偏差和失衡减少。关键发现是:最优PS估计不等同于最优分类性能;相反,必须明确将稳定性约束纳入训练过程。本工作的贡献不仅在于性能比较,更在于阐明了预测优化与因果有效性之间的结构关系。因此,基于神经网络的PS估计器应在训练时明确考虑重叠保持和权重稳定性,而非仅最小化分类损失。局限性包括:理论结果未完全刻画渐近性质;模拟数据无法完全代表真实分布;稳定性策略依赖提前停止,其他方法(如概率裁剪、熵正则化)可能更优;CNN的架构正则化作用需进一步形式化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号