通过在蛋白质序列-功能建模中融入物理原理来克服深度学习中的外推挑战

《PLOS Computational Biology》:Overcoming extrapolation challenges of deep learning by incorporating physics in protein sequence-function modeling

【字体: 大 中 小 】 时间:2026年03月26日 来源:PLOS Computational Biology 3.6

编辑推荐:

  摘要 理解蛋白质序列与功能之间的关系对于遗传疾病研究、蛋白质进化以及蛋白质工程至关重要。由于多站点高维相关性和结构动态性,蛋白质的序列与功能关系本质上非常复杂。深度学习算法,如图卷积神经网络和最近的Transformer,在从深度突变扫描数据和现有结构中学习蛋白质序列与功能映

  摘要
理解蛋白质序列与功能之间的关系对于遗传疾病研究、蛋白质进化以及蛋白质工程至关重要。由于多站点高维相关性和结构动态性,蛋白质的序列与功能关系本质上非常复杂。深度学习算法,如图卷积神经网络和最近的Transformer,在从深度突变扫描数据和现有结构中学习蛋白质序列与功能映射方面变得非常流行。然而,当预测训练数据中未出现的位置或突变类型的变异体的功能效应时,这些模型仍然面临很大的挑战。我们提出,结合蛋白质相互作用和动力学的物理原理可以成为克服这种外推限制的有效方法。具体来说,我们证明了基于生物物理学的建模可以用来量化突变的能量效应,并且将这些物理能量直接纳入卷积和图卷积神经网络中,可以显著提高位置和突变外推的性能,相比没有生物物理学特征的模型而言。我们的结果支持利用物理知识来克服数据稀缺限制的有效性。

作者总结
近年来,深度学习从根本上改变了科学和研究。然而,由于缺乏大规模训练数据,许多生物物理学和生物化学问题仍然无法通过传统的深度学习方法解决。在机器学习中结合物理原理可以说是克服数据稀缺问题的必要条件。在这项工作中,我们检验了结合基于生物物理学的特征来推导更可靠的蛋白质功能变异效应预测器的有效性。我们的结果显示,包括突变对蛋白质稳定性的能量效应可以显著提高机器学习模型预测训练数据集中未出现的新突变的能力,尤其是对于新序列位置的突变。进一步结合预训练的蛋白质大型语言模型提供的序列进化信息,可以进一步提高预测能力。因此,我们的工作为从深度突变扫描数据集中训练更好的变异效应预测器提供了一个高效框架。这些预测器可以帮助蛋白质工程和优先研究疾病中的遗传变异。

引言
蛋白质在几乎所有生物过程中都扮演着关键和多样的角色。特定蛋白质的功能最终由其氨基酸序列决定。氨基酸的理化性质、由三维结构定义的空间排列以及构象动态共同构成了蛋白质生物功能的物理基础。理解蛋白质序列与功能之间的关系,即序列如何控制其生物功能,是蛋白质进化、遗传疾病诊断以及蛋白质工程和设计研究的核心问题[1–4]。虽然基于同源性的蛋白质功能注释已经取得了巨大成功[5–7],但序列与功能之间的映射仍然具有内在的挑战性。特别是在预测给定蛋白质的一个或几个特定突变的功能效应时,由于序列与功能之间的复杂高维相关性,这些影响经常对蛋白质的理化、结构和动态性质产生非平凡的影响。在过去的几十年里,高通量功能测定技术的进步,特别是深度突变扫描(DMS)[8–12],在蛋白质变异的序列空间中生成了大量功能数据。DMS整合了大型遗传突变库、高通量表型分析和输入及选择后细胞的DNA测序,使得能够系统且经济地检查成千上万的突变体的功能影响[13–15]。DMS实验的每个步骤都可能存在固有的局限性。例如,库构建技术可能会引入突变偏差、脱靶问题或效率限制,最关键的是,它通常只能处理多达数万个变异体[16,17]。由于序列空间随长度呈指数级增长,对大型蛋白质进行全面的DMS分析变得极其昂贵且通常不可行。利用DMS实验的数据、全基因组测序[18]以及庞大的计算和实验结构数据库[19–22],已经训练出了能够进行序列与功能分子表型定量预测的机器学习(ML)模型[23–29]。这些预测器,也常被称为变异效应预测器(VEPs),为许多应用提供了强大的工具,包括设计优化天然蛋白质功能的蛋白质变异体[30]、创造具有优异适应性的蛋白质变异体[31,32]以及开发遗传疾病的治疗策略[33–36]。VEPs可以大致分为无监督学习和有监督学习模型。这些模型通常利用四种主要输入特征类型:蛋白质野生型或突变序列、氨基酸性质、蛋白质结构和进化信息[27]。无监督学习模型通常利用大量的蛋白质序列数据和多序列比对(MSA)来学习站点之间的复杂上位交互作用或约束。例如,DeepSequence[37]是一个基于贝叶斯的深度潜在变量模型,它在大型DMS蛋白质和RNA结构域数据集上进行训练。该模型学习序列的概率分布,预测突变效应,并模拟家族内的进化适应度景观。SeqDesign[38]是一个无需比对的自回归生成模型,它使用在蛋白质家族序列上训练的扩张卷积神经网络,其预测准确性在40个蛋白质DMS数据集上进行了基准测试。SeqDesign在MSA不稳健的情况下提供了显著改进,例如预测插入/缺失效应、无序蛋白质以及设计抗体等蛋白质。有监督学习VEPs,如Envision[25]、正标签学习[39]和ECNet[40],在实验性突变/DMS数据集上进行训练,使用的方法从决策树到蛋白质语言模型不等。特别是Gelman等人[41]设计了NN4dms深度学习框架,该框架除了序列外还包括一组氨基酸性质(AAIndex[42])特征和/或3D结构,并评估了四种ML算法,包括线性回归(LR)、全连接神经网络(NN)、序列卷积神经网络(CNN)和图卷积神经网络(GCN)。所有四种模型在包含单突变和高级突变的DMS数据集上的表现都优于基于生物物理学和无监督的方法,尤其是CNN和GCN。一个关键的经验是,性能严重依赖于序列覆盖率。这在面对突变和位置外推时尤为明显[41,43]。在突变外推中,模型旨在预测训练期间未在感兴趣的站点观察到的突变类型的效果;在位置外推中,模型旨在预测完全未见过的站点上的突变效果。所有NN4dms模型在突变外推方面都表现不佳,在所有测试案例中几乎都在位置外推方面失败[41]。这些结果突显了训练有监督VEPs时最常见的瓶颈,即数据稀缺问题,特别是对于较大的蛋白质,其中DMS实验的全面覆盖变得不可行。必须包括新的信息来补充DMS数据集,以克服数据稀缺问题。一种优雅的策略是使用预训练模型,例如从序列数据库中衍生的大型语言模型(LLMs)。例如,几何向量感知器多序列比对(GVP-MSA)模型[32]利用预训练的MSA Transformer模型[44]来编码高级序列依赖性,然后将其与提取的结构特征一起整合到GVP-图神经网络中。该模型在单变异效应的位置外推和从仅包含单突变的数据集中预测高级突变效应方面表现良好。另一种策略是在模型训练期间结合蛋白质结构、动态和相互作用的基本生物物理学[45–47]。这里的假设是,这些物理原理最终决定了任何序列变异如何影响功能,因此非常适合克服外推限制。在最近的一个突变效应迁移学习(METL)模型[48]中,基于Transformer的神经网络在基于Rosetta的分子建模[49]生成的大规模合成数据上进行了预训练,然后在实验性DMS数据上进行了微调。作者评估了两种类型的模型,METL-local和METL-global,前者是特定于蛋白质的,后者是在广泛蛋白质范围内训练的[48]。尽管METL-global存在严重的过拟合问题,但在序列覆盖率有限的情况下,两种模型的表现都优于NN4dms。特别是在位置外推方面,对于所有测试蛋白质,METL-local或METL-global都实现了约0.20 - 0.75的中等Spearman相关性[48]。这些成功清楚地支持了结合生物物理学来克服深度学习中数据稀缺问题的有效性。在这项工作中,我们开发了一种高效且直接的方法,用于结合基于生物物理学的特征来训练准确的、特定于蛋白质的VEPs,并克服突变和位置外推的挑战。该策略建立在我们之前预测大钾(BK)通道门控电压突变效应的工作[50]的基础上,其中随机森林模型在用不到500个数据点训练时,通过添加包括基于Rosetta的能量项和全原子模拟的结构动态等生物物理特征后,能够实现准确的性能。该预测器正确再现了BK通道的疏水门控机制,并在已知突变较少的区域捕捉到了非平凡的电压门控特性[50]。随后通过实验确认了几种新的突变。本工作中介绍的工作流程仅需要评估给定蛋白质每个残基位点的所有19种可能单突变的Rosetta能量,每个步骤都涉及在突变附近对侧链重新包装的简短优化。所得到的Rosetta能量项直接用于量化任何单个或多个变异对各种类型物理相互作用的影响,假设这些效应是可加的。所得到的CNN和GCN模型与在NN4dms中未结合生物物理特征的模型相当,但在外推性能上更优,可与METL相媲美。整个工作流程非常高效,主要只需要序列长度乘以19次Rosetta旋转器重新包装评估,并且可以根据DMS数据集在几分钟到几小时内轻松扩展到任何蛋白质或蛋白质复合物,从而训练出准确的VEP。

方法
模型蛋白质和DMS数据集
遵循NN4dms[41]的方法,本工作考虑了五个蛋白质DMS数据集,包括avGFP(Aequorea victoria绿色荧光蛋白)[51]、Bgl3(β-葡萄糖苷酶)[11]、GB1(蛋白质G的IgG结合域)[52]、Pab1(酿酒酵母poly(A)结合蛋白的RRM2域)[13]和Ube4b(小鼠E3连接酶E4B的U-box)[53]。这些蛋白质的大小从56到501个残基不等,代表了从螺旋、混合螺旋/β到全β桶等多种拓扑结构(图1)。它们的序列长度、功能和DMS数据集大小在表1中总结。avGFP、Pab1和Ube4b的功能得分是公开可用的,而GB1和Bgl3的功能得分则通过Gitter和Coworkers[41]基于原始测序读数使用Enrich2[54]进行处理。数据集包含替换和删除突变。在模型训练之前,所有删除的突变都已从数据集中移除,最终数据集仅包含错义替换。最终DMS数据点的分布(图1)沿蛋白质序列显示出显著的异质性,除了GB1拥有超过五十万个变异体。数据集中的大多数变异是单突变和双突变变异体(S1A图),其中avGFP在每个变异体的突变数量上分布最广(最多达15个)。高级变异体可以提供不同突变站点之间的相关性信息,从而可能有助于VEP模型进行更准确的位置和突变外推。值得注意的是,对于较大的蛋白质avGFP和Bgl3,分别只有43%和38%的潜在站点突变被表示出来,许多突变只是作为高级多站点突变变异体的一部分(S1B图)。这五种蛋白质案例的结构、功能和DMS数据分布的异质性为模型性能评估提供了良好的基准。

下载:PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
图1. 模型蛋白质结构和突变数据点分布。所有蛋白质都使用带有PDB结构的卡通图表示。使用的PDB ID为:2QMT(GB1)、1CVJ(Pab1)、2KR4(Ube4b)、1EMM(avGFP)和1GNX(Bgl3)。结构上的每个站点根据该站点包含的突变DMS变异体数量(N)进行着色。数据集中采样的独特突变的覆盖率在蛋白质名称旁边用括号给出。
https://doi.org/10.1371/journal.pcbi.1013728.g001
下载:PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
表1.五种蛋白质和DMS数据集的总结,按照数据集中序列空间覆盖率的百分比降序排列。https://doi.org/10.1371/journal.pcbi.1013728.t001
Rosetta能量特性的计算
使用Rosetta FastRelax协议[56]对每种蛋白质的初始PDB结构进行了5次独立运行,每次运行100次迭代。在松弛过程中,允许主链和侧链的自由度发生变化,最终从5次运行中选择能量最低的姿态作为后续突变ΔΔG计算的起点。使用PyRosetta[57]包中的predict_ddG.py脚本计算每种蛋白质所有可能单突变的自由能。在该脚本中,首先在给定位置进行侧链替换,然后使用Dunbrack旋转器库[58]的PackRotamerMover方法重新排列周围残基的侧链,并基于REF2015能量函数[49]最小化构象能量。对于输入结构,脚本将内部计算野生型和具有指定突变位置的突变型之间的ΔG值(折叠吉布斯自由能与完全展开状态之间的差异),并报告最终的ΔΔG(= ΔGwildtype - ΔGmutant)。为了实现稳定的能量评估并平衡重新排列迭代和计算成本(每次突变几秒钟)之间的权衡,我们专注于优化协议的两个关键参数(详见结果部分):截止半径(重新排列半径)和nloops。重新排列半径用于选择要重新排列的残基,包括突变位置周围Cα(对于甘氨酸)或Cβ(其他残基)原子在截止半径内的残基。nloop参数定义了在输出最终得分之前的侧链重新排列迭代次数。我们已经证明,除了总ΔΔG之外,还包括单独的Rosetta能量组分是有利的[49]。尽管Rosetta能量评分函数包含19个能量项,但在训练中只选择了8个具有显著变异的项:相同和不同残基中原子之间的Lennard-Jones吸引和排斥力、Lazaridis-Karplus溶剂化能量、具有距离依赖性介电常数的库仑静电势、主链-主链和侧链-侧链氢键能量、二硫键几何势、基于Ramachandran图的能量项以及野生型的Rosetta自由能差异(S1表)。

原子级分子动力学模拟
对每种蛋白质进行了包含显式溶剂和离子的短原子级分子动力学(MD)模拟,以量化每个残基在蛋白质结构及其类似天然环境的背景下的固有灵活性,通过Cα原子的均方根波动(RMSF)来表征。首先清理初始PDB结构(图1),仅保留蛋白质部分,然后使用CHARMM-GUI[59,60]用TIP3P水分子和0.15 M KCl进行溶剂化。使用CHARMM36力场[61],所有模拟均使用GPU加速的GROMACS 2019[62]进行。非键合力的计算使用了12 ?的截止值,并使用平滑切换函数从10 ?开始衰减力。采用粒子网格Ewald(PME)[63]算法处理长程静电相互作用。所有含氢键都使用LINCS[64]进行了约束。为了平衡,所有系统首先使用最速下降算法进行了5000步的能量最小化,然后进行了另外125000步的受限NVT(恒定粒子、恒定体积和恒定温度)模拟,积分时间步长为1 fs,其中蛋白质主链和侧链分别用400 kJ/mol/?2和40 kJ/mol/?2的谐波力常数进行位置约束。最后对每个系统进行了200 ns的未受约束生产MD模拟,使用leap-frog积分器和2 fs的时间步长,温度为303.15 K,压力使用Parrinello-Rahman压强计[67],压缩率为4.5x10-5 bar。每100 ps保存一次快照。为了计算残基RMSF曲线,首先使用主链原子将所有帧对齐,然后计算所有Cα原子的RMSF值(S2图)。MD模拟旨在大致捕捉野生型蛋白质每个残基位置的主链灵活性,因此对于此目的来说,短时间模拟就足够了。我们注意到,某些突变可能会对蛋白质结构和动力学产生非平凡的影响,而这些突变的影响在VEPs中极难预测和捕捉。

输入特征和预处理
模型训练使用了四种类型的输入特征:氨基酸的一热编码、氨基酸索引(AAIndex)、Rosetta能量项以及来自MD模拟的RMSF,如S1表所总结的。对于图卷积网络(GCN),用于启动MD模拟的每种蛋白质的结构被用来构建图。AAIndex数据库包含一组566个数值,描述了每种标准氨基酸的各种物理化学和生化性质[42]。由于许多性质之间存在强相关性,在当前工作中仅使用了原始AAIndex特征[68]的PCA分析得到的19个主成分(方差为100%),并在[0, 1]范围内进行了最小-最大归一化。对于Rosetta能量(19个成分和总ΔΔG)特征,首先使用tanh压缩函数[50]压缩大于50 REUs(Rosetta能量单位)的能量特征,因为过大的能量值通常是由于空间冲突引起的,不具有定量意义。此外,丢弃了变异小的能量特征,最终在建模训练和测试中只使用了8个特征(S1表和S6图)。最后,对选定的7个能量特征和总ΔΔG进行了最小-最大归一化。每个位置的特征被独立处理,Rosetta特征被分配给每个变体中的相应突变,而不假设加性或协同性。来自MD模拟的Cα RMSF值也进行了类似的最小-最大归一化。

输入特征和预处理
四种类型的输入特征被用于模型训练:氨基酸的一热编码、氨基酸索引(AAIndex)、Rosetta能量项以及来自MD模拟的RMSF,如S1表所总结的。对于图卷积网络(GCN),用于启动MD模拟的每种蛋白质的结构被用来构建图。AAIndex数据库包含一组566个数值,描述了每种标准氨基酸的各种物理化学和生化性质[42]。由于许多性质之间存在强相关性,在当前工作中仅使用了原始AAIndex特征[68]的PCA分析得到的19个主成分(方差为100%),并在[0, 1]范围内进行了最小-最大归一化。对于Rosetta能量(19个成分和总ΔΔG)特征,首先使用tanh压缩函数[50]压缩大于50 REUs(Rosetta能量单位)的能量特征,因为过大的能量值通常是由于空间冲突引起的,不具有定量意义。此外,丢弃了变异小的能量特征,最终在建模训练和测试中只使用了8个特征(S1表和S6图)。最后,对选定的7个能量特征和总ΔΔG进行了最小-最大归一化。每个位置的特征被独立处理,Rosetta特征被分配给每个变体中的相应突变,而不假设加性或协同性。来自MD模拟的Cα RMSF值也进行了类似的最小-最大归一化。最后,使用一热编码表示的序列位置信息被表示为一个长度为21的二进制向量(天然氨基酸为20,额外的一个用于终止密码子)。为了进一步将基于生物物理的特征与序列进化信息结合起来,使用掩码边缘评分函数[69]计算了所有位点特异性突变的对数似然比(LLR)分数,对于四个ESM-2模型,分别具有8M、35M、150M和650M参数[70]。LLR分数量化了基于序列进化在给定序列位置观察到特定残基类型的概率。所有外推实验都使用了原始LLR分数。

机器学习模型设计、训练和评估
我们检验了在之前在NN4dms研究[41]中评估的四种机器学习算法(即LR、NN、CNN和GCN)中包含Rosetta和MD派生的物理特征的效果。在NN、CNN和GCN中使用了leaky ReLU激活函数,并在密集层之后使用了0.2的丢弃率以防止过拟合。在CNN中,步长为[1],填充是有效的。实现过程中使用了python 3.6和TensorFlow[71] v1.14。在GCN中,GCN的输入图是基于Cα(对于甘氨酸)和Cβ(其他残基)的距离矩阵构建的,Bgl3的阈值为6 ?,其他蛋白质的阈值为7 ?(见下面的超参数搜索)。如图2所示,物理特征可以直接添加到输入层,这将特征维度从每个残基的40增加到49(8个Rosetta能量+ 1个RMSF值)(S1表)。同样在GCN中,Rosetta特征作为节点特征添加。

下载:
PPT PowerPoint幻灯片
PNG较大图像
TIFF
原始图像

图2. 蛋白质变异效应预测的机器学习架构。在CNN中,输入维度为Nres x 40(不包含基于生物物理的特征)和Nres x 49(包含基于生物物理的特征)(Nres:残基数)。在GCN中,使用野生型蛋白质结构来构建接触图,其中节点代表残基,边代表具有特定距离阈值的接触。Si:残基索引,OHE:一热编码,AA:氨基酸索引,RE:Rosetta能量,RSMF:均方根波动(来自MD)。

数据集的随机分割为70%用于训练,15%用于验证,15%用于测试。为了研究数据集大小依赖性,通过从100个数据点到完整数据集的80%之间随机采样创建了较小的数据集。剩余的20%在所有实验中一致用于验证和测试,确保每个子集的验证和测试集保持不变。在突变外推中,收集了数据集中的所有唯一突变,并随机分为训练(70%)、验证(15%)和测试(15%)集。然后将包含相应突变的所有变体分配到相应的集合中。最后,根据变体中的唯一突变删除了训练、测试和验证之间的所有重叠变体。在位置外推中,使用了类似的过程,但分割是基于位置的。在从单突变变体到高阶变体的外推中,所有单突变变体都被用于训练(90%)和验证集(10%),因为数据集是有限的。所有高阶变体都被用作测试集,除了那些没有相应单突变变体的变体。在验证数据集上对所有模型进行了超参数搜索,使用了不同的批量大小、学习率、隐藏层数量、节点数量、过滤器和图阈值的组合。最终选定的超参数如S2表所示。每个模型使用不同的分割和不同的随机种子进行了五次训练。使用SciPy库[72]计算了皮尔逊和斯皮尔曼相关系数,并使用scikit-learn[73]计算了真实分数和预测分数之间的平均绝对误差(MAE)。

在Pab1数据集上进行的消融研究中,通过排除特定的基于生物物理的特征来训练每种架构:排除RSMF、排除所有Rosetta项、排除Lennard-Jones项和ΔΔG、排除静电项和ΔΔG、排除溶剂化项和ΔΔG。为了评估DMS数据集的质量如何影响VEP性能,按照NN4dms研究[41]中描述的方法进行了重采样实验。首先,从原始GB1数据集中随机选择了10,000个数据点来构建测试集。剩余的数据集用于构建用于训练的随机重采样库。对于每个库,通过归一化每个变体的原始读取计数,为输入集和选定的集创建了多项式概率分布。这些分布提供了生成任何给定变体的读取的概率。在基础数据集中的两个集中计算了读取的比例,以决定从输入集和选定集中抽取的读取。读取的采样基于这个比例,并为每个重采样数据集计算了Enrich2分数。这些数据集为每种库大小和剩余数据集中的读取数量组合生成了五次。

结果
有效评估突变对蛋白质相互作用的影响
在保持蛋白质结构完整性和一定程度的灵活性之间的平衡对其功能至关重要。这种复杂的平衡由具有不同物理化学性质的残基的三级排列及其相互作用网络控制。残基的替换可以重塑这种平衡,影响蛋白质折叠和展开的自由能景观,调节构象动力学,并最终影响功能。因此,开发一种有效的方法来评估给定突变对蛋白质功能物理基础的影响是开发稳健VEP模型的关键[74]。特别是Rosetta软件[49]可以用来估计突变后蛋白质折叠稳定性的ΔΔG[75],并且已经使用多个蛋白质突变数据集进行了广泛验证[76]。重要的是,Rosetta全原子能量函数[49]包括基于物理的和基于经验的项,以允许量化突变对关键局部物理相互作用(如静电、氢键、范德华相互作用和侧链旋转器状态)的影响。为了可靠地估计ΔΔG,需要放松蛋白质构象以响应突变,这通常通过在Rosetta中使用FastRelax或PackRotamerMover协议来实现。在FastRelax协议[56]中,通常会进行五次重复的模拟退火过程,包括在选定位置的截止半径内重新排列侧链,然后在全球范围内最小化所有二面角,同时增加能量函数中的排斥项。然而,在PackRotamerMover协议[77]中,只有突变位置“重新排列”半径内的侧链被允许重新排列,其他自由度不会被优化。FastRelax的计算时间较长,可能需要几秒到几分钟,具体取决于突变位置和蛋白质的大小,而PackRotamerMover只需要几秒钟。重要的是,PackRotamerMover协议仅限于局部侧链旋转器重采样,避免了捕捉非平凡的全局结构放松的挑战,从而能够更可靠地描述突变的能量后果。此外,本工作中的VEPs将使用Rosetta的能量组件进行训练,而PackRotamerMover的局部最小化提供了突变如何影响各种类型局部相互作用的更真实描述。值得注意的是,输入特征包括来自MD模拟的残基RMSFs,这些信息表明蛋白质的不同位置进一步(骨架)放松以适应各种突变的能力(见方法和S2图)。我们进一步优化了PackRotamerMover协议,以确保可靠地估计突变能量,重点关注两个关键参数:重新排列半径(默认值:8 ?)和在输出最佳能量之前的完整重新排列次数(默认值nloop = 1)。不同的重新排列半径直接影响协议中选择并重新排列侧链旋转器的突变位置周围的残基范围,如图3A-3D所示。结果表明,较大的重新排列半径12 ?对于充分优化局部侧链配置(S3和S4图)和获得可靠的ΔΔG估计(图3F和S5)是必要的。特别是对于在拥挤环境中较大的残基(如T382W)的突变(图3F和S4),这一点尤为明显。相比之下,在所有检查的情况下,nloops的选择为1、2和3对ΔΔG结果没有显著影响(S5图),表明默认的1次旋转器搜索迭代是足够的。基于上述分析,使用12 ?的重新排列半径和nloop = 1来计算所有五种蛋白质所有位置的20种典型氨基酸替换的Rosetta ΔΔG值(包括野生型)。下载:PPTPowerPoint幻灯片PNG较大图像TIFF原始图像图3. 使用PackRotamerMover对位点特异性突变的Rosetta局部优化和能量评估。A)蛋白质Bgl3的结构以灰色卡通显示,溶剂暴露的残基L106和埋藏的残基T382分别用蓝色和红色棒状表示。B-D)两个突变位置L106和T382周围8 ?(B)、10 ?(C)和12 ?(D)内的侧链,分别用蓝色和橙色棒状表示。不同重新排列半径选择的残基数已标注。E、F)使用三种重新排列半径和nloop = 1计算的L106和T382位置20种氨基酸替换的ΔΔG值(以REU为单位)。野生型残基在x轴上用红色标记。https://doi.org/10.1371/journal.pcbi.1013728.g003

基于生物物理特性的VEP性能效果
利用Rosetta能量项和MD衍生的RMSF轮廓,我们研究了这些基于生物物理特性的特征对VEP性能的影响。基于LR、NN、CNN和GCN的模型分别在五个DMS数据集上进行了训练,有的添加了基于生物物理特性的特征,有的没有。所有基于生物物理特性的特征都被添加到带有生物物理特性的模型的输入层中,而没有生物物理特性的模型仅包含AAIndex主成分和蛋白质序列中残基的one-hot编码(图2)。性能在三个任务上进行了评估,包括整体预测(在随机选择的测试数据集上)、突变外推以及单突变变体到高阶变体外推(见方法)。每种分割方案进行了五次独立重复。在随机分割的情况下,训练和测试分割对突变类型或位置的覆盖范围相似,这主要是由于DMS数据集中存在许多高阶变体(S1A图)。对于GB1和Pab1数据集,突变覆盖率分别为98%和85%,所有四种ML模型,无论是否添加基于生物物理特性的特征,在所有五个单独的分割上都能在训练和测试数据集上实现几乎完美的皮尔逊相关系数(r ~ 0.92 - 0.99)(图4和S7及表2)。然而,对于Ube4b和Bgl3数据集,突变覆盖率分别为63%和38%(S1B图),所有模型在训练上的相关性仅为r ~ 0.59 - 0.65,在测试上的相关性仅为r ~ 0.51 - 0.56,即使添加了基于生物物理特性的特征也只有轻微的改进。考虑到Ube4b良好的63%突变覆盖率,这种表现有些令人惊讶。这可能归因于其结构打包不良,含有长循环(约30%的序列)(图1C)。因此,Ube4b具有高度动态性(见S2C图),特别是N端区域(残基1-32),使得难以准确捕捉突变对结构和蛋白质能量的影响。为了进一步检查低相关性是否主要由高度动态的循环驱动,我们根据二级结构计算将测试集中的突变位置分为结构化和循环区域,如S8图所示。在随机分割方案下,无论是否添加基于生物物理特性的特征,两种模型在结构化和循环区域内的变体之间都表现出明显的性能差异。在所有模型中,结构化区域内的变体显示出比循环区域内的变体更高的相关性。这些结果支持了ML模型对于蛋白质Ube4b的主要限制来源于大规模构象动态性的观点。下载:PPTPowerPoint幻灯片PNG较大图像TIFF原始图像图4. CNN和GCN模型在随机分割上的性能。5种蛋白质根据突变覆盖率从高到低排列。A)GB1,B)Pab1,C)Ube4b,D)avGFP,E)Bgl3,分别表示带有基于生物物理特性的模型(BP)和不带有生物物理特性的模型(No BP)。每个点代表5个随机训练/测试中的一个,平均值以黑线显示。https://doi.org/10.1371/journal.pcbi.1013728.g004

有趣的是,尽管avGFP数据集的突变覆盖率仅为43%,但在带有或不带有基于生物物理特性的特征的情况下训练的所有模型都显示出一般良好的相关性(r ~ 0.94 – 0.97),其中LR模型的相关性略低(r ~ 0.82)(图4和S7)。这可能归因于其紧密打包的β桶结构(图1D)和高阶变体的高存在(S1A图)。然而,对平均绝对误差(MAE)的进一步分析显示,对于蛋白质GB1和Pab1数据集中的单突变变体,添加基于生物物理特性的术语降低了LR和NN模型的MAE(S13图)。尽管如此,与CNN和GCN相比,LR和NN的性能经常较差,尤其是在突变数量较多的情况下(例如,S13D图)。在考虑所有五种情况时,包括基于生物物理特性的特征仅在训练和测试性能上显示出边际改进。基于生物物理特性的特征提高了VEP对小数据集的性能

为了进一步评估模型对训练集大小的鲁棒性,我们使用仅100个随机选定的数据点(最多占总数据集的0.9部分)训练了一系列带有和不带有基于生物物理特性的CNN和GCN模型。结果总结在S9图中,清楚地表明,当仅看到有限的训练数据集大小时,带有基于生物物理特性的模型通常比不带生物物理特性的模型表现更好,尤其是当数据集大小小于1000时(相关系数较低到中等)。值得注意的是,在Ube4b的情况下,CNN的表现优于GCN。这表明,如果蛋白质结构包含许多灵活的循环,包括结构信息对模型性能几乎没有帮助,尤其是在数据点数量有限的情况下。除了DMS数据集大小和突变覆盖率之外,适应度或功能分数的质量也会影响VEP的训练和性能。适应度分数主要是根据初始库的测序频率和功能选择后的分离变体计算得出的。当总测序数量的预算固定时,数据集大小和每个变体的平均读数之间存在权衡。我们按照NN4DMS研究[41]中概述的相同协议对GB1的最完整DMS数据集进行了重采样实验,并评估了带有基于生物物理特性的CNN和GCN模型的性能。重采样实验生成了具有不同库大小和原始数据集[52,54]读数数量的DMS子集。如图5所总结的,较小的库大小(因此突变覆盖率不足)和较少的读数(因此适应度分数不可靠)会显著降低训练有素的VEPs的准确性。然而,包括基于生物物理特性的特征显然允许CNN和GCN模型在DMS数据集质量因库大小或每个变体的DNA读数较少而恶化时表现得更稳健(图5的左下角)。与NN4DMS研究[41]中报告的最佳CNN模型和基于生物物理特性的CNN相比,当测序读数较少时,几乎每个蛋白质库的大小都为基于生物物理特性的CNN增加了适度。对于其他较大的测序读数,两种模型的性能总体上相似。同样,在基于生物物理特性的GCN的情况下,对于低测序读数计数和跨蛋白质库的情况,性能也有适度的改进;然而,当蛋白质库大小为5e4和1e5时,性能略有下降。总体而言,对于随机分割的情况,其中训练和测试数据有很高的重叠,包括基于生物物理特性的特征对VEP性能的影响很小,但在突变覆盖率有限和/或DNA测序读数较少时可以显著提高训练模型的鲁棒性。下载:PPTPowerPoint幻灯片PNG较大图像TIFF原始图像图5. VEP性能依赖于库大小和测序读数数量。A、B)使用不同库大小和测序读数组合训练的带有基于生物物理特性的CNN和GCN模型的皮尔逊相关性,针对蛋白质GB1 DMS数据集。空框表示实验中变体数量不足的组合。C、D)上述CNN和GCN模型与之前未带有基于生物物理特性的CNN模型[41]之间的皮尔逊相关系数差异。https://doi.org/10.1371/journal.pcbi.1013728.g005

生物物理学显著增强了突变外推
从之前的NN4DMS研究[41]中发现的一个主要挑战是可靠地预测训练中未见的新突变类型或突变位置的影响。在突变外推任务中,要求在一个特定位置上训练有素的VEP模型对这些位置的其他突变类型进行预测(见方法)。如图6和S10及表2所总结的,由于GB1数据集的98%序列百分比收敛,所有模型仍然表现良好。对于其他蛋白质数据集,添加基于生物物理特性的特征通常提高了所有四种ML模型在其测试集上的性能,特别是对于avGFP。对于复杂度较低的模型,如LR和NN,基于生物物理特性的特征可以显著提高预测性能,例如Pab1的LR模型(r:从0.44提高到0.69),Ube4b(r:从0.19提高到0.40),avGFP(r:从0.06提高到0.61)和Bgl3(r:从0.02提高到0.33)数据集,以及avGFP(r:从0.28提高到0.64)和Bgl3(r:从0.1提高到0.33)数据集的NN模型(S10图)。对于复杂度较高的模型,如CNN和GCN,这些基于生物物理特性的特征仍然可以帮助实现略微更好的性能,例如在avGFP(从0.52提高到0.74)和Bgl3(从0.18提高到0.33)数据集(图6)。这些结果表明,基于生物物理特性的特征为突变外推任务提供了重要且有用的信息。下载:PPTPowerPoint幻灯片PNG较大图像TIFF原始图像图6。在没有生物物理学信息(No BP)、有生物物理学信息(BP)以及同时包含生物物理学信息和LLR(BP + LLR)的情况下,训练的CNN和GCN模型的性能对比,用于突变外推。这5种蛋白质按照突变覆盖率的递减顺序排列:A) GB1、B) Pab1、C) Ube4b、D) avGFP和E) Bgl3。每个点代表5种随机训练/测试分割中的一种,平均值以黑线表示。
https://doi.org/10.1371/journal.pcbi.1013728.g006
下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像

表2. 在没有生物物理学特征(No BP)、基于生物物理学的特征(BP)以及同时包含BP和LLR(BP + LLR)的情况下,四种机器学习模型对随机、突变和位置分割的平均皮尔逊相关系数。
https://doi.org/10.1371/journal.pcbi.1013728.t002

为了进一步研究是否包含序列进化信息可以进一步提高模型性能,我们整合了来自四个逐渐增大规模的ESM-2模型的LLR分数(详见方法部分),发现33M参数版本提供了最佳的整体性能。因此,我们选择了ESM-2(33M)作为估计LLR分数的最终模型。值得注意的是,与仅使用生物物理学的模型相比,整合进化特征在所有蛋白质上的预测性能都有小幅但一致的提升(见表2和图6-7)。
下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像

图7. 在没有生物物理学信息(No BP)、有生物物理学信息(BP)以及同时包含生物物理学信息和LLR(BP + LLR)的情况下,训练的CNN和GCN模型的性能对比,用于位置外推。这5种蛋白质按照突变覆盖率的递减顺序排列:A) GB1、B) Pab1、C) Ube4b、D) avGFP和E) Bgl3。每个点代表5种随机位置训练/测试分割中的一种,平均值以黑线表示。
https://doi.org/10.1371/journal.pcbi.1013728.g007

我们还使用Pab1蛋白进行了消融研究,以了解不同基于生物物理学的特征对突变外推性能的贡献(详见方法部分)。如S11图所总结的,所有不包含Rosetta能量特征的模型性能略低于其他变体。即使不包含基于生物物理学的特征,所有模型的性能仍然相当强劲。有趣的是,移除RMSF特征似乎比仅使用生物物理学的模型略微提高了性能。LR模型是唯一一个在包含基于生物物理学的特征后与不包含生物物理学的模型相比有显著提升的架构。在这种情况下,所有包含基于生物物理学的特征的消融变体模型的性能都有所提高,这表明RMSF特征本身也可以缓解突变外推的挑战。总体而言,消融分析表明所有基于生物物理学的特征都具有高质量,并有助于提高外推性能。生物物理学显著增强了位置外推能力,因为位置外推是最具挑战性的任务,因为它需要一个仅在某些特定突变位点上训练的VEP模型来正确预测训练期间从未见过的突变。所有四种机器学习模型在未包含基于生物物理学的特征的情况下,在测试集上要么没有相关性(r约0),要么相关性非常低(r<0.2),GB1的GCN除外(见图7和S12),这突显了这项任务的难度以及整合蛋白质结构信息的价值。值得注意的是,包含基于生物物理学的特征显著增强了所有VEP模型处理位置外推的能力,尤其是CNN和GCN(见图7)。例如,在GB1数据集(从0.05提高到0.43)、Pab1数据集(从0.17提高到0.48)、avGFP数据集(从0.15提高到0.69),以及Pab1数据集(从0.03提高到0.57)和avGFP数据集(从0.07提高到0.63)中。在其他蛋白质模型更复杂的情况下,添加基于生物物理学的特征仍然可以略微提高它们的性能,例如在Ube4b数据集(从0.08-0.10提高到0.21-0.25)和Bgl3数据集(从0.1提高到0.22-0.31)中。这强烈支持基于生物物理学的特征确实对位置外推有益,特别是对于序列覆盖率较低的蛋白质(如avGFP)。MAE比较也显示,包含基于生物物理学的术语可以降低所有模型和所有类型变体的MAE,如S13、S14和S15图所示。值得注意的是,包含来自ESM-2(33M)的LLR在所有蛋白质上的性能都有显著提升,avGFP蛋白除外。这些结果表明,进化信息可以有意义地提高位置外推的预测性能。

类似的消融研究也使用Pab1蛋白分析了各种基于生物物理学的特征对位置外推的贡献。我们重点关注CNN和GCN模型,因为LR和NN模型在位置外推方面表现较差(见S12图)。如S16图所总结的,所有包含基于生物物理学的特征的GCN模型表现出非常相似的性能,而所有使用部分基于生物物理学的特征的CNN模型变体的性能明显低于包含所有基于生物物理学的完整模型。这意味着基于生物物理学的特征协同作用,增强了位置外推的能力。

另一种外推分割方案是模型在单个突变变体上进行训练,然后在更高阶的变体上进行评估(详见方法部分)。在这种分割方案下,所有机器学习模型在包含和不包含基于生物物理学的特征的情况下,在所有蛋白质上的性能都非常相似(见图8和S17)。对于GB1和Pab1,所有模型的性能相当,平均值分别为约0.88和约0.80。同样,对于Ube4b和Bgl3,所有模型的性能也相似(两种蛋白质的平均值均为约0.40)。然而,对于avGFP,包含基于生物物理学的特征的模型比不包含的模型表现更好,尤其是CNN和GCN架构(不包含生物物理学的r约为0.57,包含生物物理学的r约为0.70)。这些结果表明,在更高阶的变体中,协同作用很少显著。也就是说,单个突变的影响大多是叠加的。在之前的研究中也观察到了类似的现象[48]。缺乏协同作用也支持了我们的模型设计,该设计仅需要所有可能单个突变的Rosetta能量信息(详见方法部分)。我们注意到,我们当前模型在包含生物物理学的情况下,从单个突变到高阶变体的外推性能与基于Transformer的METL-local模型[48]相当,除了avGFP。对于avGFP,METL-local的斯皮尔曼相关系数约为0.80[48],而本研究中使用生物物理学的GCN的最高相关系数仅为约0.73。

下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像

图8. 在单个突变变体到高阶变体外推中,包含和不包含BP的CNN和GCN模型的性能。这5种蛋白质按照完整数据集的序列空间覆盖率从大到小排列:A) GB1、B) Ube4b、C) avGFP、D) Pab1和E) Bgl3。每个点代表5种随机训练/测试分割中的一种,5次重复实验的平均值用黑线标记。
https://doi.org/10.1371/journal.pcbi.1013728.g008

讨论
蛋白质序列到功能关系的表征对于研究蛋白质进化、理解遗传疾病以及设计具有增强或新功能的蛋白质至关重要。然而,由于大型序列空间、结构变异性和构象动力学的固有复杂性,这种映射任务极具挑战性。测序数据、蛋白质结构和高通量功能测定的可用性使得训练机器学习模型以推断蛋白质序列-功能关系并预测变异效应成为可能。在这项工作中,我们开发并评估了一种简单高效的方法,将基于生物物理学的特征纳入VEP模型训练中,从而提高模型对数据集限制的鲁棒性,并能够预测新型突变类型或位置的影响。这种方法只需要残基数乘以19次快速的Rosetta结构松弛和能量评估,每次评估对于典型的蛋白质只需几秒钟。基于生物物理学的VEP开发方法的有效性已经使用五个具有不同大小、拓扑结构和突变覆盖率的DMS数据集进行了评估。结果强烈支持将生物物理学纳入其中可以提高VEP性能并克服DMS数据集的限制,特别是对于CNN和GCN的位置外推。我们的结果为基于DMS数据集构建鲁棒VEP模型提供了几个关键见解。首先,序列百分比覆盖率至关重要。对于GB1数据集(覆盖率为98%),所有模型(包括简单的LR)在随机和突变分割方案中表现良好。而对于Bgl3数据集(覆盖率仅为38%),所有VEP模型的皮尔逊相关系数均为中等至较低,平均值分别为约0.54(随机)和约0.33(突变)。可以说,这种数据稀缺性通常只能通过获取更多功能标记的数据点来有效缓解。其次,结合蛋白质结构和相互作用的物理原理是克服VEP开发中数据稀缺问题的有效策略。这些物理原理可以通过估计突变对蛋白质能量的影响以及考虑来自短MD模拟的结构灵活性来捕捉。使用这些基于生物物理学的特征训练的模型可以显著提高对于结构良好的蛋白质的突变和位置外推性能,例如对于突变覆盖率仅为43%的avGFP数据集。最后但同样重要的是,蛋白质的结构和动力学也是影响VEP性能的重要因素。例如,现有变体可能无法有效提供关于高度动态蛋白质的新信息的指导,如Ube4b的情况。在这些情况下,获取可靠的基于生物物理学的特征更具挑战性。当前方法侧重于捕捉突变的局部结构和能量影响,因此只能提供有限的帮助。探索使用先进的机器学习技术(如基于Transformer的模型)与基于生物物理学的特征相结合,可以进一步提高外推能力。尽管蛋白质稳定性是功能适应性的重要因素,但它并不总是唯一的或主要的决定因素。突变可以通过其他机制影响蛋白质功能,例如破坏结合位点或活性位点、改变表达水平以及影响蛋白质动力学。因此,对于某些类型的适应性测量,基于生物物理学的特征可能更具信息性[78]。在这方面,如LLM中捕获的进化信息可以提供补充信息,以最大化VEP性能。实际上,我们观察到,从ESM模型中引入LLR分数可以提高大多数研究蛋白质的性能,这支持了将基于生物物理学的特征与进化信息相结合的协同增强效果。有趣的是,尽管我们的策略直接将生物物理属性和LLR分数作为输入特征非常简单(见图2),但CNN和GCN模型的性能与更先进的基于Transformer的模型(如METL-local [48]和GVP-MSA [32])相当,无论是在突变外推还是位置外推方面(见S18图),尽管在不同蛋白质的位置外推挑战情况下性能存在显著差异。总之,我们的研究表明,将基于生物物理学的特征纳入深度学习模型显著增强了它们从序列数据预测蛋白质功能的能力,特别是在外推场景中。这种方法对于推进蛋白质工程和理解蛋白质相关疾病以及膜蛋白和跨膜通道具有巨大潜力。这也在我们最近的工作中得到了强调,其中基于生物物理学的特征允许使用不到500个单个突变变体可靠地预测BK通道的激活电压[50]。值得注意的是,基于物理学的ML方法的一个重要优势是它们可以很容易地扩展到考虑翻译后修饰、非典型氨基酸和其他复杂的生化效应,而这些是序列中心方法(如GVP-MSA)无法处理的。更可靠的VEP将为研究人员提供有价值的工具,帮助他们优先考虑和全面理解各种疾病的遗传变异以及蛋白质工程。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号