《Analytical Biochemistry》:Prediction of cyclin-dependent proteins using pre-trained protein language models and effective neural network architectures
编辑推荐:
细胞周期依赖蛋白(CDP)的预测方法研究。本文提出一种整合预训练蛋白质语言模型(PLM)与定制卷积神经网络(CNN)的新方法,利用ESM模型生成高质量蛋白嵌入,结合自动特征学习的CNN架构,在独立测试集上显著优于传统方法,展现良好的泛化性和鲁棒性。
Jing Liu|Qiaorong Wu|Wenwei Tao|Yin Wang|Li Xue|Jiesi Luo
中国四川省泸州市西南医科大学心血管医学研究所,邮编646000
摘要
周期依赖性蛋白(CDPs),包括周期蛋白、周期依赖性激酶(CDKs)和周期依赖性激酶抑制剂(CKIs),是真核细胞周期的关键调节因子。这些蛋白的失调会导致细胞周期控制紊乱,并促进癌症的发展。传统的CDPs识别方法,尤其是基于同源性的方法,在处理非同源数据时存在局限性。此外,依赖手动提取特征的常规机器学习模型往往无法捕捉到蛋白质的关键功能特征。为了解决这些问题,我们提出了一种新的计算方法,该方法将预训练的蛋白质语言模型(PLMs)与深度学习技术相结合用于CDPs的预测。具体来说,采用了ESM模型生成高质量的蛋白质嵌入,从而无需手动提取特征。此外,还设计了一种定制的卷积神经网络(CNN)架构,以自动学习与CDPs识别相关的判别特征。该计算方法在两个独立的测试集上进行了评估,表现始终优于现有的最先进方法。实验结果表明,该方法在不同数据集上具有很强的泛化能力和鲁棒性,突显了其在准确识别CDPs方面的有效性。
引言
细胞周期是一个重要的生物过程,它控制着细胞分裂、生长和DNA复制,确保基因组的稳定性和组织的正常稳态[1]。周期依赖性蛋白是这一过程的关键调节因子,负责协调细胞周期各个阶段的进展[2]。CDPs的失调会导致异常的细胞增殖,这通常与癌症和其他增殖性疾病的发病有关[3]。类似于免疫系统可能对无害过敏原产生不当反应一样,CDPs的失调也会导致病理状态,如细胞增殖失控[4]。在细胞周期的背景下,这种失调通常涉及CDPs的过度激活或抑制,从而导致细胞分裂失控和肿瘤发生[5]。鉴于CDPs在维持细胞周期完整性方面的关键作用,准确识别和表征CDPs对于深入理解癌症机制和改进治疗策略至关重要[6]。尽管已经进行了大量研究,但许多CDPs仍知之甚少,它们作为诊断或治疗靶点的潜力尚未得到充分探索[7]。因此,迫切需要开发能够准确高效地识别CDPs的方法,特别是在癌症诊断和个性化医疗应用中。
多年来,已经开发了许多用于识别CDPs的计算方法,其中许多方法依赖于机器学习模型。Kalita等人开发了CyclinPred,该方法结合了支持向量机(SVM)和精心设计的序列衍生特征,证明了优化后的SVM模型可以高效准确地识别周期蛋白[8]。Mohabatkar等人使用Chou的伪氨基酸组成(PseAAC)作为主要蛋白质特征,并结合了传统的机器学习分类器,表明结合物理化学序列信息可以显著提高预测性能[9]。Sun等人提出了一种两步特征选择策略,首先进行方差过滤,然后进行递归特征消除,以减少特征冗余并提高模型泛化能力,强调了选择优化特征子集对于周期蛋白预测的重要性[10]。Zhang等人提出了TYLER,这是一种高通量的CDPs预测器,它结合了基序挖掘和多种序列衍生特征以及轻量级分类器,在准确性、速度和泛化能力方面表现优异[11]。Hasanzulfiqar等人提出了一种基于梯度提升决策树(GBDT)的方法,该方法利用其建模非线性特征相互作用和自动评估特征重要性的能力,提高了周期蛋白识别的准确性[12]。Yu等人引入了一个多维特征融合框架,结合了优化的机器学习模型和特征重要性分析,实现了周期蛋白功能决定因子的准确性和可解释性[13]。最近,Wu等人系统地提取了关键序列特征,并将其与SVM和随机森林(RF)等分类器结合使用,强调了判别特征工程在区分周期蛋白和非周期蛋白中的关键作用[14]。
近年来,预训练的蛋白质语言模型作为强大的工具出现了,它们能够学习到具有上下文意识的嵌入,捕捉长距离依赖性和微妙的功能模式[15]。像ESM-1b[16]和ProteinBERT[17]这样的PLMs在多种与蛋白质相关的任务中取得了显著的成功,包括结构预测、功能注释和序列比对,它们可以直接从原始序列生成高质量的嵌入。尽管取得了这些进展,但将PLMs应用于CDPs的预测尚未得到充分探索,这为利用它们丰富的、具有上下文意识的表示提供了机会。鉴于PLMs能够建模复杂的序列特征,与传统的基于同源性的或手动设计的特征方法相比,它们为改进CDPs识别提供了有前景的途径。
在这项研究中,我们开发了一种新的计算方法,通过将蛋白质语言模型与定制的卷积神经网络相结合来预测CDPs。这是首次系统地应用PLM衍生的特征进行CDPs识别,并直接比较了多种PLM在此背景下的表示效果。提取的序列嵌入通过CNN进行处理,CNN自动学习了区分CDPs和非CDPs的判别特征。通过评估不同的PLMs和优化CNN架构,确定了最有效的PLM-CNN组合用于CDPs预测,并突出了每种PLM的比较表示优势。结果表明,将PLM特征与定制的CNN结合提供了一种稳健、准确且具有泛化能力的CDPs预测框架,强调了该方法在方法论创新和实际效果方面的优势。所提出方法的整体工作流程如图1所示。
部分摘录
基准数据集
本研究中使用的CDPs和非CDPs来自Zhang等人提供的数据集[11],该数据集最初包含2572种来自UniProt的蛋白质,这些蛋白质被标注有“周期蛋白”或“周期依赖性”等分子功能,或与细胞周期相关的生物过程相关[18]。为了减少冗余和同源序列可能带来的偏差,使用blastclust以30%的序列同一性阈值对蛋白质进行了聚类,并随机选择了一个代表性蛋白质
预训练蛋白质语言模型的分析
为了评估蛋白质序列表示的有效性,评估了五种广泛使用的PLMs(ESM-1b、ESM-2、ProtT5、DistilProtBert和ProLLaMA)。每种PLM都使用其从训练数据集中得出的最佳CNN架构进行了测试,并使用包括ACC、F值、召回率(Recall)、精确度(PRE)、MCC、auROC和auPR在内的综合指标进行了性能评估。结果总结在表1中,进一步的细节通过图2中的ROC和PR曲线进行了说明。
我们的
结论
准确预测CDPs在药物发现、癌症研究和细胞生物学等领域至关重要。传统的CDPs识别方法,包括劳动密集型的实验室实验,成本高昂且耗时。基于同源性的方法存在显著局限性,特别是在尝试识别非同源蛋白质时。此外,依赖手动策划特征的机器学习模型往往无法完全捕捉到深层次的生物学信息
CRediT作者贡献声明
Jing Liu:可视化、验证、软件、方法论、研究、正式分析、数据管理、概念化。Qiaorong Wu:可视化、验证、软件、方法论、研究、数据管理、概念化。Wenwei Tao:验证、监督。Yin Wang:验证、监督、研究、概念化。Li Xue:写作——审稿与编辑、撰写——初稿、资源获取。Jiesi Luo:写作——审稿与编辑、撰写——原创
资金来源
本工作得到了泸州市人民政府与西南医科大学的科技战略合作计划(2024LZXNYDT001,中国)和泸州市人民政府与西南医科大学的科技创新计划(2025LZXNYDZH04,中国)的支持。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。