《Journal of Chemical Information and Modeling》:Combining Bayesian and Evidential Uncertainty Quantification for Improved Bioactivity Modeling
编辑推荐:
不确定性量化(Uncertainty Quantification, UQ)已被认为是药物发现中可靠且可信的计算建模的先决条件。两种广泛考虑的范式,贝叶斯方法(深度集成和蒙特卡洛dropout)和证据学习,在计算需求和不确定性的表达性方面有所不同,在互补的设置
不确定性量化(Uncertainty Quantification, UQ)已被认为是药物发现中可靠且可信的计算建模的先决条件。两种广泛考虑的范式,贝叶斯方法(深度集成和蒙特卡洛dropout)和证据学习,在计算需求和不确定性的表达性方面有所不同,在互补的设置中表现出色。在此,研究人员提出结合两种范式的混合方法,并在Papyrus++数据集上对两个终点(xC50, Kx)和多种分割策略进行基准测试。研究人员的证据模型集成(Ensemble of Evidential Models, EOE)始终取得最佳整体性能,产生最低的均方根误差(Root Mean Squared Error, RMSE)以及领先的连续排序概率分数(Continuous Ranked Probability Score, CRPS)和区间分数,包括在最具挑战性的分布偏移下。虽然大型集成通常在基于拒接的效用中表现出色,但EOE以极低的计算成本达到或超越它们。统计检验证实了其优势,硬件无关的计算分析突出了有利的性能-效率权衡。这些结果表明,结合证据和贝叶斯原理可以为生物活性建模产生更准确和信息丰富的不确定性,而EOE为药物发现中的不确定性感知决策提供了一种稳健且计算实用的默认选择。
### 论文解读:结合贝叶斯与证据不确定性量化改进生物活性建模
#### 研究背景与问题
在计算科学中,机器学习已成为药物发现的核心工具,广泛应用于分子相互作用评估、化合物筛选和候选药物识别。然而,模型输出的可靠性在高风险决策中至关重要,尤其是早期药物发现阶段,不确定或校准不良的模型可能导致昂贵的实验失败和资源错配。不确定性量化(Uncertainty Quantification, UQ)因此成为机器学习应用于科学问题的关键组件。不确定性分为两类:偶然不确定性(aleatoric uncertainty)源于数据固有随机性(如测量噪声),无法通过增加数据减少;认知不确定性(epistemic uncertainty)反映模型知识不足,可通过改进数据覆盖或模型设计降低。
现有UQ方法各具优缺点:贝叶斯方法(如深度集成和蒙特卡洛dropout)通过采样不同模型参数近似贝叶斯推断,能有效估计认知不确定性,但计算成本高;证据学习(evidential deep learning)通过参数化二阶分布,在单次确定性前向传播中估计偶然和认知不确定性,计算高效,但在外推场景中表现欠佳。生物活性数据(如Papyrus++)虽经严格标准化,但残留的测定变异仍影响模型可靠性。因此,需要一种兼顾性能、计算效率和不确定性质量的混合方法。
#### 研究内容与结论
研究人员提出了两种混合UQ架构:证据模型集成(Ensemble of Evidential Models, EOE)——将多个证据网络集成以改善认知不确定性估计;证据蒙特卡洛dropout模型(Evidential MC Dropout, EMC)——将证据学习与随机dropout采样结合以捕捉输出方差。在Papyrus++数据集上,针对两个生物活性终点(xC
50和K
x)和两种分割策略(分层分割和骨架簇分割)进行系统评估。结果表明,EOE10(10个成员)在几乎所有设置中均取得最低RMSE,并在不确定度量指标(如CRPS、区间分数)上最优,同时计算成本较100成员的深度集成降低一个数量级。统计检验证实了EOE的优势,尤其在最具挑战性的分布偏移场景(K
x骨架簇分割)中,EOE在拒接分析中表现最佳。这表明结合证据和贝叶斯原理能产生更准确且信息丰富的不确定性,为药物发现提供了稳健实用的默认选择。该论文发表在《Journal of Chemical Information and Modeling》。
#### 主要技术方法
研究人员使用Papyrus++数据集,经RDKit进行化学结构标准化,使用扩展连通性指纹(Extended Connectivity Fingerprint, ECFP)表示分子(半径2,长度2048),使用Ankh蛋白质语言模型编码蛋白序列。通过贝叶斯优化与超带(Bayesian Optimization and Hyperband, BOHB)进行超参数搜索。模型架构包括概率神经网络(Probabilistic Neural Network, PNN)、深度集成(100成员)、蒙特卡洛dropout(MC dropout)、证据深度学习以及混合模型EOE和EMC。评估指标包括RMSE、误校准面积、负对数似然(Negative Log-Likelihood, NLL)、CRPS、区间分数、锐度以及基于拒收的RMSE拒收曲线下面积(RMSE-Rejection Curve AUC, RRC-AUC)。统计显著性使用重复测量方差分析或弗里德曼检验配合后验比较。
#### 研究结果
##### 分层分割
在常规分层分割中,模型通常能够学习良好校准的估计。
- **xC
50终点**:EOE10在NLL、CRPS和区间分数上表现最优,在误校准面积和RRC-AUC上位列第二。EMC10的估计分布最窄(锐度最低)。Ensemble100在RRC-AUC上最优,表明其实际排序效用强。
- **K
x终点**:EOE10在NLL、CRPS和区间分数上领先,再次在误校准面积和RRC-AUC上位列第二。MC Dropout100获得最尖锐的不确定性估计,Ensemble100在排序效用上排名最高。
##### 骨架簇分割
该设置更富挑战性,训练与测试骨架间存在显著分布偏移。
- **xC
50终点**:Ensemble100获得最低误校准面积、NLL和最佳RRC-AUC,同时在CRPS和区间分数上排名第二。EOE10获得最佳CRPS和区间分数,在NLL和RRC-AUC上位列第二。EMC10误校准最低,暗示潜在过度自信。
- **K
x终点**:此设置为最困难场景,所有模型RMSE升高。EOE10在NLL、CRPS、区间分数、锐度和RRC-AUC上全面超越其他模型,显示出在分布压力和低数据泛化场景下的有效混合建模。
##### 基于不确定性的拒收性能
RMSE拒收曲线(RRC)表明,Ensemble100在分层设置和xC
50骨架分割中通常获得最低AUC,但在最具挑战的K
x骨架分割中,EOE10取得最佳RRC-AUC,表明其在高不确定性区域过滤低置信实例的能力更优。
##### 误校准方向分析
校准曲线显示,EOE10、Evidential和EMC倾向于轻微过度自信(特别是在骨架分割下),而MC Dropout100始终过度自信。集成模型(Ensemble100)校准更佳,受益于模型平均。
#### 讨论与结论
讨论部分强调,混合方法EOE在准确性、校准和不确定性信息量之间实现了强力平衡,尽管计算效率远高于全集成。EOE在CRPS和区间分数上的最优表现表明其提供紧密且信息丰富的不确定性估计,这对实际药物发现工作流程至关重要。虽然Ensemble100和Evidential1在某些指标上偶尔超越EOE,但EOE在所有轴上保持竞争力。统计检验确认EOE的改善具有显著性,表明其优势不仅是经验趋势,而且对随机种子稳健。计算成本分析显示,EOE平均8.75 GPU小时/次,而Ensemble100为111.44 GPU小时/次,效率提升显著。
结论翻译如下:在本研究中,研究人员调查了贝叶斯和证据不确定性量化技术在生物活性建模中的整合。研究人员引入了两种混合模型,EOE10和EMC10,并在多个数据集和实验分割中对它们进行了与既定基线的基准测试。研究人员的实验结果表明,EOE10在估计准确性和不确定性表达性方面均达到优越性能,以显著更少的成员超越了传统集成。统计检验证实了这些改进在多个不确定度量指标上的稳健性,而GPU小时基准测试显示混合模型以极低的计算成本实现了这一性能。值得注意的是,EOE10在挑战性分布偏移下表现出色,凸显了其稳健性和实际效用。总体而言,本研究表明EOE提供了性能、不确定性校准和基于排序可靠性的最佳平衡,使其成为生物活性评估任务中最合适的模型。当不确定性校准是主要关注点时,MC dropout是一个强有力的替代方案,而集成对于稳健的不确定性排序仍然有效,但计算开销显著更高。这些见解根据应用优先级指导模型选择,并强调了混合方法作为计算药物发现中可扩展且可信赖的决策工具。