GAMA:基于Integrated Gradients的仅正类数据深度生成序列模型归因分配与可解释性分析

《PLOS Computational Biology》:Attribution assignment for deep-generative sequence models enables interpretability analysis using positive-only data

【字体: 大 中 小 】 时间:2026年09月29日 来源:PLOS Computational Biology 3.7

编辑推荐:

  生成式机器学习模型(generative machine learning models)通过高效探索富含所需性质的大规模生物序列空间,为治疗设计提供了强大框架。与需要正类和负类标记数据的监督学习方法不同,诸如长短期记忆网络(LSTM)等生成模型可以仅基于正类

  
生成式机器学习模型(generative machine learning models)通过高效探索富含所需性质的大规模生物序列空间,为治疗设计提供了强大框架。与需要正类和负类标记数据的监督学习方法不同,诸如长短期记忆网络(LSTM)等生成模型可以仅基于正类标记序列进行训练,例如高亲和力抗体。在负类数据稀缺、不可靠或生物学定义不明确的生物医学场景中,这一特点尤为有利。然而,生成模型缺乏归因方法,阻碍了从此类模型中提取可解释的生物学洞见。为弥补这一空白,研究人员开发了生成式归因度量分析(Generative Attribution Metric Analysis, GAMA),这是一种基于Integrated Gradients(IG)的自回归生成模型归因方法。研究人员使用具有已知真实标签的合成数据集评估GAMA,以表征其统计行为并验证其恢复生物学相关特征的能力。研究人员进一步将GAMA应用于实验性抗体-抗原结合数据以展示其效用。GAMA使得无需负类训练数据即可实现模型可解释性以及生成式序列设计策略的验证。
深度生成神经网络能够学习复杂数据分布并生成新实例,其不要求标签,可训练于“仅正类样本”(1-class samples)。常见生成建模方法包括长短期记忆网络(Long Short-Term Memory, LSTM)、状态空间模型、生成对抗网络(Generative Adversarial Networks, GAN)、变分自编码器(Variational AutoEncoder, VAE)、扩散模型和transformer网络。已有研究将深度生成模型用于蛋白质、DNA、RNA以及单克隆抗体(mAb)序列设计。深度学习方法由于其高度非线性层级表示而难以解释,归因分配方法旨在阐明输入特征对输出决策的贡献。Integrated Gradients(IG)在监督序列预测、DNA序列、RNA序列和抗体序列分析中有应用。然而,针对生成序列模型、尤其是仅正类数据生成序列模型的可解释性研究有限。据原文所述,尚无先前工作使用基于梯度的方法在LSTM上识别与LSTM序列生成相关的重要模式。负标签偏倚问题在免疫数据集常见,监督免疫受体分类任务需至少两类标签,负类常难以定义。将归因分配方法应用于仅正类抗原特异性结合序列的生成模型,可降低训练数据规模与复杂度要求,同时生成新结合体并理解潜在结合模式,提高药物设计等敏感应用中序列设计的可信度。

研究人员开发了GAMA,一种用于自回归生成模型的归因分配方法。其核心思想是将训练后LSTM与随机初始化参考LSTM的IG差异定义为“Importance”,从而突出对正类重要的序列位置。研究人员在合成序列、合成抗体序列及实验抗体数据集上评估GAMA,结果表明其可恢复基序、指示结合规则,并可应用于抗体序列。该工作为无需负类训练数据的生成式序列设计提供了可解释性和验证手段。

为开展研究,作者主要采用以下关键技术方法:使用LSTM作为自回归生成模型,在仅正类序列上以teacher forcing训练;采用IG,以零输入为基线并在输入序列与基线间线性插值1000点计算梯度;GAMA比较训练模型与随机初始化参考模型的IG分布,使用相似性函数M(t)以中位数差、方差加权及序列总方差归一化分配位置重要性。评估数据集包括270个合成序列数据集、Absolut!模拟的四个抗原CDRH3结合数据集(5CZV、5KN5、4K24、3Q3G,分别4823、2047、2173、1013条序列)以及Mason等HER-2结合抗体实验数据集(8955条序列)。

研究结果按原文小标题概括如下。

A method to quantify and highlight important motifs in generative models(量化并突出生成模型中重要基序的方法):研究人员开发GAMA,从训练后生成模型中提取信息。先对训练的自回归生成模型“主模型”应用IG等归因方法,获得每个输入/输出对的重要性;再对“参考模型”重复该过程,以主模型与参考模型的差异获得训练诱导的特征。基序定义为同一位置重复氨基酸集合。若生成模型学到抗体生物学规则,GAMA应揭示与结合相关的氨基酸。该研究用已知结合模式的合成数据、Absolut!模拟抗体-抗原结合数据和实验HER-2结合抗体数据评估。

Benchmarking of LSTM-based motif recovery across three key parameters: noise ratio, motif position, and motif complexity on synthetic datasets(合成数据集中基于LSTM的基序恢复在三关键参数上的基准测试):研究人员考察噪声比、基序位置和基序逻辑。序列长度16,近似人类CDRH3中位长度。参数组合包括三种逻辑、三种位置乘三种长度、十种噪声条件,共270个实验。通过采样模型频率分布验证收敛,以GAMA排名最高位置与已知真实基序位置的重叠衡量检索性能。高检索性能表示高可解释性。还定义仅基于训练LSTM的IG baseline进行比较。

GAMA achieves high motif retrieval performance at high signal ratios(GAMA在高信号比下实现高基序检索性能):信号比表示真实信号序列占数据集比例。信号比越高,GAMA在真实基序位置2和4上区分越强。AND逻辑在信号比≥80%时假阴性率为0%,40%–70%时低于50%;OR逻辑在50%–100%时低于50%;XOR逻辑最难,仅90%–100%时低于50%。随机基线假阴性率为0.93,GAMA在所有实验条件下优于随机基线。监督LSTM分类器结合IG在AND和OR下可恢复基序,但在XOR下仍失败,与GAMA模式相似。高噪声和复杂逻辑会稀释梯度并引入非线性依赖,导致单个位置归因变弱。

The performance of GAMA is position-invariant(GAMA性能具有位置不变性):研究人员将基序植入序列前部、中部和尾部,平均假阴性率分布非常相似,仅轻微偏移,因此认为GAMA性能具有位置不变性。

The length of the motif correlates positively with the GAMA false-negative-rate(基序长度与GAMA假阴性率正相关):二元基序假阴性率低于三元和四元等更大基序,三种基序长度间假阴性率相似。更大基序具有更多可能组合,可能稀释IG信号。

GAMA false-negative-rate of retrieved motifs increases in the following order: AND-logic, OR-logic, XOR(GAMA检索基序假阴性率按AND、OR、XOR顺序增加):研究人员考察AND、OR、XOR逻辑及二元、三元、四元更长信号。AND逻辑表现最好,OR次之,XOR最难。更长信号通过链式逻辑操作生成。不同逻辑依赖影响假阴性率。

GAMA attributions on synthetic antibody binding data correlate with positional contribution to binding affinities(GAMA在合成抗体结合数据上的归因与位置对结合亲和力的贡献相关):研究人员用Absolut!框架生成四个抗原的CDRH3结合数据集,选取top 1%结合体且至少1000条低熵序列。将Absolut!结合能与GAMA归因比较。5CZV数据集识别出位置6的高结合亲和力氨基酸,IG baseline大多失败。四数据集中,5CZV p=0.004、4K24 p=0.018显著;5K5N p=0.08、3Q3G p=0.196不显著。非完美相关可能因最具信息位置不一定是结合位置,例如改变抗体互补位(paratope)三维结构的氨基酸。

GAMA identifies the most important amino acid positions in the CDR3H region of the Trastuzumab antibody(GAMA识别Trastuzumab抗体CDR3H区域中最重要的氨基酸位置):研究人员分析Mason等实验Trastuzumab-HER-2结合数据,该数据集含8955条突变后筛选HER-2结合序列。未突变Trastuzumab-HER-2晶体结构显示关键抗体互补位氨基酸为102、103、104和105位。GAMA突出103、104、105和107位,匹配103、104、105但未匹配102;IG baseline未恢复四个重要位置中的任何一个。由于数据集噪声未知且GAMA为全序列平均归因,不同结合基序可能稀释信号,相关性与结构信息可能不完全一致。

讨论部分总结:研究人员开发GAMA以增强自回归生成模型生成序列的解释,并缓解负标签偏倚。该进展对无负标签的“正类与未标记数据”(Positive and Unlabeled data, PU-data)尤其相关。PU数据方法通常采用迭代两步半监督策略,但不专门针对生成模型。近期生成式抗体设计常无法解释模型为何认为新序列最优,GAMA填补该空白,并适用于可微自回归模型,包括大型语言模型如蛋白质语言模型、xLSTM和Mamba等状态空间模型,也可扩展到非生物场景如欺诈检测。合成数据表明GAMA能在多种噪声条件下恢复结合基序,且对基序位置不变;在模拟抗体结合数据中与真实数据强相关;在实验抗体结合数据中证明可用于真实世界数据。由于模型训练于1类正类数据,无明确负类,无法直接与依赖正负标签的分类归因研究比较灵敏性。研究系统比较了GAMA与仅在训练LSTM上计算的IG baseline,在合成条件、模拟抗体数据集和实验Trastuzumab-HER2数据中,GAMA一致优于IG baseline。实验数据中GAMA识别103、104、105和107位,而未突变Trastuzumab关键结合位点为102、103、104和105,部分吻合。差异可能源于结构信息仅来自未突变序列、GAMA对全部序列平均归因、噪声与复杂位置交互导致误差。GAMA目前分析序列链中单个位置,限制其识别高阶依赖模式和低信号比稀疏基序的能力,例如适应性免疫受体库(Adaptive Immune Receptor Repertoire, AIRR)数据中约10%的T细胞受体(TCR)序列与巨细胞病毒(CMV)相关。未来工作将扩展GAMA至单序列分析,利用四维梯度更多信息,并扩展到其他架构及纳入成对和高阶依赖。

研究结论翻译:将GAMA应用于生成式抗体序列模型是理性抗体设计的有希望途径。理解抗体-抗原结合规则可促进新型、按需抗体创建。研究人员的工作是迈向该目标的初步步骤。目前GAMA分析序列链中单个位置,妨碍识别更复杂结合模式如高阶依赖模式,并可能导致重要位置误判。GAMA通过整合整个数据集归因提供生成序列模式的汇总。该方法限制其在极低信号比环境中识别基序,从而限制其应用于预期基序稀疏的领域,如适应性免疫受体库(AIRR)数据集。例如,在巨细胞病毒(CMV)感染患者中,仅约10%的TCR序列与CMV相关。未来工作将聚焦扩展GAMA至单序列分析,使归因可针对单条序列计算。目前单序列IG噪声过高,无法进行有意义的个体解释,需要平均多条序列归因,但梯度在四维中包含更多信息,应进一步分析。尽管当前研究用LSTM实现和验证GAMA,其计算原理不固有依赖LSTM架构:需要可微自回归模型,可计算相对于输入嵌入的梯度。这表明GAMA可能扩展到其他架构,包括transformer和状态空间模型。然而此类扩展可能需要架构特异性实现和验证,仍是未来重要方向。此外,未来研究应纳入成对和高阶依赖信息,因为CDR结合由CDR内多个氨基酸位置相互作用介导。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号