基于迁移学习的动态傅里叶小波位置编码用于抗癌肽预测

《iScience》:Dynamic Fourier wavelet positional encoding for anticancer peptide prediction via transfer learning

【字体: 大 中 小 】 时间:2026年09月26日 来源:iScience 4.5

编辑推荐:

   亮点: - DFWPE集成可学习的傅里叶和小波编码用于ACP预测 - 上下文感知门控机制自适应融合肽段的全局与局部特征 - 在5,785条肽段序列上进行双阶段迁移学习以缓解基准数据集的过拟合问题 - 在ACP740数据集上达到85.4%的准确率,在ACP240数据集上达到83

  

亮点:
- DFWPE集成可学习的傅里叶和小波编码用于ACP预测
- 上下文感知门控机制自适应融合肽段的全局与局部特征
- 在5,785条肽段序列上进行双阶段迁移学习以缓解基准数据集的过拟合问题
- 在ACP740数据集上达到85.4%的准确率,在ACP240数据集上达到83.8%,优于近期预测方法

摘要:肿瘤抑制肽(ACP)的计算鉴定面临训练数据有限和生物序列多尺度特性两大挑战。标准的Transformer位置编码无法捕获决定肽段功能的周期性模式与局部结构。我们提出动态傅里叶小波位置编码(DFWPE),该方法用并行自适应傅里叶分支和多尺度小波分支替代固定的正弦编码,并通过上下文感知门控机制进行融合。双阶段迁移学习策略首先在5,785条经过整理的肽段序列上进行预训练,然后在ACP740数据集上微调。DFWPE在ACP740数据集上达到85.4%的准确率,在独立测试集ACP240上达到83.8%,在整体指标上超越了近期基于Transformer的预测方法。消融实验证实了两个编码分支和迁移学习的必要性。可解释性分析揭示了与生物结构一致的依赖于序列长度的门控行为,证明了频谱-空间分解能够为药物发现提供稳健且可解释的肽段表示。

图注:

引言:癌症仍然是全球主要的死亡原因之一,预计2025年仅美国就有超过200万新发病例。这一持续存在的疾病负担加大了对兼具高靶点特异性且不良副作用少于传统化疗药物的治疗手段的需求。肿瘤抑制肽(ACP)作为生物活性肽的一个子集,因其能够选择性靶向癌细胞膜或干扰细胞内信号通路,同时对比正常组织表现出较低毒性而成为有前景的候选药物。然而,ACP的实验鉴定和验证仍然耗费大量人力、成本和时间。因此,能够直接从氨基酸序列预测ACP活性的计算方法对于加速肽段筛选和药物发现愈发重要。

计算ACP预测已从传统机器学习方法发展到日益精细的深度学习架构。早期方法通常将手工设计的描述符(包括氨基酸组成和伪氨基酸组成)与支持向量机、随机森林等分类器结合使用。尽管这些方法建立了有价值的性能基线,但其依赖人工设计的特征限制了它们捕获复杂非线性序列-结构关系的能力。深度学习随后实现了肽段特征的自动提取。基于卷积神经网络(CNN)的方法可以识别局部序列模式,而循环架构能够对残基间的序列依赖性进行建模。代表性方法包括结合了卷积和循环组件的DeepACP,以及使用长短期记忆架构配合高效序列表示的深度学习预测器ACP-DL。最近,基于Transformer的模型在生物信息学领域表现出色,因为自注意力机制能够在无需循环网络顺序计算的情况下对长距离关系进行建模。

尽管取得了上述进展,Transformer在肽段分类中的应用仍受两个密切相关的挑战制约:生物学有意义的位置信息的表示以及实验验证训练数据的稀缺性。与自然语言不同(位置通常决定语法功能),肽段活性由分布在多个空间尺度上的理化模式所决定。全局周期性(包括与两亲性α螺旋相关的约3.6个残基重复周期)与决定结合特异性和功能活性的局部结构共存。标准的正弦位置编码虽然保留了序列顺序,但使用固定的频率基,对生物结构缺乏感知能力。纯可学习的位置表示虽然提供了更大的灵活性,但当ACP740等基准数据集仅包含数百条序列时,其估计变得困难。在这些条件下,高容量模型容易过拟合,可能记住特定于数据集的模式而非学习可迁移的生物特征。

这些局限性推动了更具表达力的序列表示和专门的肽段预测架构的发展。序列编码和图编码已被用于捕获与肽段组织和自组装相关的互补信息。在ACP预测领域,ACP-MHCNN(多头深度卷积神经网络)采用多个不同感受野的卷积头来提取层次化的局部结构。大规模蛋白质语言模型进一步表明,在广泛的蛋白质数据库上进行无监督预训练可以产生可迁移至下游生物任务的表示。位置建模也通过序数位置编码和结构感知模型(在预测肽段与主要组织相容性复合体相互作用时纳入空间信息)得到了改进。更一般地,卷积序列模型和相对位置自注意力机制探索了固定绝对编码的替代方案。这些方法提高了表示灵活性,但它们并未显式地联合解决全局周期性和局部功能模式——这两个特征恰恰是变长肽段序列的标志。

受信号处理启发的神经网络架构为应对这一多尺度需求提供了自然的基础。频率域令牌混合器(如FNet)表明傅里叶变换可以高效地捕获全局依赖性,但其傅里叶基是固定的,无法提供时间定位能力。自适应傅里叶表示研究表明,可学习的频率可以改进神经坐标模型中高频细节的恢复,说明了为特定任务优化频谱基的价值。傅里叶分析也长期被用于研究生物序列中的周期性疏水性模式。然而,傅里叶表示只能指示哪些频率存在,而无法识别序列特定特征出现的位置。小波变换通过同时提供位置信息和频率信息来补充这种全局分析,因此提出了小波位置编码以捕获一般序列模型中的层次化和长距离结构。然而,现有方法倾向于独立使用傅里叶和小波表示,或将其作为静态预处理操作使用,而非在端到端的肽段分类器中自适应地调和它们的互补信息。

近期ACP预测方法通过Transformer、状态空间、结构和混合深度学习架构进一步改进了序列表示。Aegis使用基于Transformer的框架进行ACP鉴定,Mamba-ACP将状态空间建模与Transformer组件相结合,pACP-HybDeep和BT-TransACP(二叉树生长Transformer)则融合了混合或结构特征表示。这些方法加强了主干网络或特征层面的表示学习,但并未将位置信息显式地分解为并行的、可学习的全局和局部信号处理通道,并为每个残基动态融合。这一区别见表1。

表1 位置编码策略比较

| 方法 | 变换域 | 可学习基 | 多尺度融合 | 迁移学习 |
|------|--------|---------|-----------|---------|
| FNet | 仅傅里叶 | 否(固定) | 无 | 无 |
| WavePE | 仅小波 | 部分 | 层次化 | 无 |
| Aegis/Mamba-ACP | 无(空间域) | 不适用 | 主干级 | 是(PLM) |
| pACP-HybDeep/BT-TransACP | 无(结构域) | 不适用 | 特征级 | 是 |
| DFWPE(本文) | 傅里叶+小波 | 是(两者均可) | 上下文感知门控 | 是(双阶段) |

DFWPE从四个设计维度与代表性信号处理Transformer编码器和近期ACP预测器进行了对比。

为应对上述局限性,我们开发了动态傅里叶小波位置编码(DFWPE),一种旨在捕获肽段序列多尺度组织的混合位置表示方法。DFWPE采用自适应傅里叶分支来建模全局周期模式,采用多尺度小波分支来定位短程结构和功能结构。上下文感知门控机制根据残基上下文动态平衡两种表示,而非将频谱和空间分量视为互斥关系或通过固定操作进行组合。两个编码分支均与下游Transformer架构端到端联合训练。DFWPE架构和双阶段迁移学习流程概述如图1所示。

图1 提出的动态傅里叶小波位置编码框架示意图

架构由上下文感知门控机制融合的并行自适应傅里叶分支和多尺度小波分支组成。底部图像展示了频率自适应过程(阶段1)、多尺度局部结构捕获(阶段2)以及模型训练所采用的迁移学习协议。

为进一步缓解数据稀缺问题,我们采用双阶段迁移学习策略,而非仅在小规模ACP基准数据集上进行训练。该模型首先在来自多个数据库的5,785条独特肽段序列组成的精选语料库上进行预训练,然后在ACP740数据集上进行微调。这一流程使编码器和其频谱-空间位置组件能够在任务特定优化之前获得更广泛的肽段表示。结合可学习的双分支编码、上下文感知融合机制和迁移学习策略,旨在提高泛化能力,同时保持序列位置与生物尺度之间可解释的关系。

在ACP740基准数据集和独立ACP240测试集上的实验评估表明,DFWPE达到了强大的预测性能,并保持了在非重叠序列上的泛化能力。消融分析评估了傅里叶分支、小波分支、门控机制和预训练策略各自的贡献。此外,对学到的表示和门控系数的可视化分析表明,模型能够区分全局周期结构和局部功能区域,并根据肽段上下文和长度调整它们的相对贡献。这些发现支持频谱-空间分解作为低资源肽段预测中位置建模的实用且可解释的方法。

结果:基准数据集上的性能比较

DFWPE框架的预测性能在标准ACP740数据集上使用分层5折交叉验证(CV)进行了评估。为确保严格比较,我们将所提方法与DeepACP、ACP-MHCNN、ACP-DL以及具有相同架构超参数的标准Transformer-base基线进行了比较。支持最终模型配置的超参数敏感性分析汇总于表2。

表2 超参数敏感性分析

| 超参数 | 值 | 准确率(%) | MCC |
|--------|-----|----------|-----|
| 编码器层数 | 2/4/6/8 | 82.1/84.3/85.4/85.2 | 0.654/0.689/0.708/0.704 |
| 注意力头数 | 4/8/16 | 84.4/85.4/85.3 | 0.690/0.708/0.706 |
| 嵌入维度 | 128/256/512/768 | 83.0/84.5/85.4/85.4 | 0.667/0.692/0.708/0.707 |
| Dropout | 0.1/0.3/0.5 | 84.6/85.1/85.4 | 0.693/0.701/0.708 |
| 微调学习率 | 1e-3/1e-4/1e-5 | 83.7/85.4/84.1 | 0.679/0.708/0.685 |
| 门控稀疏权重(λ) | 0/1e-3/1e-2 | 84.9/85.4/84.7 | 0.699/0.708/0.695 |
| 选定配置 | 6层,8头,d=512 | 85.4 | 0.708 |

数值为ACP740验证折上的平均准确率和MCC。

表3展示了定量结果。所提方法达到了85.4%±1.1%的平均准确率和0.708±0.02的Matthews相关系数(MCC)。与基于CNN的竞争方法ACP-MHCNN相比,我们的方法在准确率上高出1.9%,在MCC上高出0.032。标准差的纳入凸显了混合编码方法在不同数据折之间的稳定性。值得注意的是,与Transformer-base(准确率:82.8%±1.4%)相比,DFWPE框架表现出更小的方差,表明动态整合傅里叶和小波特征为变长肽段提供了更稳健的表示。此外,与通常在特异性和敏感性之间进行取舍的深度学习方案不同,我们的模型在召回率(0.842)和精确率(0.864)上同时实现了改进,表明其从结构相似的非活性肽段中区分真正ACP的能力有所增强。

表3 ACP740数据集上的性能比较(5折交叉验证)

| 方法 | 准确率(%) | MCC | AUC | 精确率 | 召回率 |
|------|-----------|-----|-----|--------|--------|
| ACP-DL | 81.2±1.5 | 0.625±0.03 | 0.881±0.02 | 0.815±0.018 | 0.803±0.021 |
| DeepACP | 82.1±1.3 | 0.643±0.03 | 0.895±0.02 | 0.828±0.015 | 0.810±0.016 |
| Transformer-base | 82.8±1.4 | 0.661±0.03 | 0.899±0.02 | 0.835±0.015 | 0.815±0.017 |
| ACP-MHCNN | 83.5±1.0 | 0.676±0.02 | 0.908±0.01 | 0.841±0.012 | 0.824±0.014 |
| Aegis | 84.9±1.0 | 0.699±0.02 | 0.924±0.01 | 0.857±0.011 | 0.851±0.012 |
| Mamba-ACP | 84.6±1.2 | 0.692±0.02 | 0.918±0.01 | 0.851±0.013 | 0.838±0.014 |
| pACP-HybDeep | 84.1±1.1 | 0.683±0.02 | 0.913±0.01 | 0.846±0.012 | 0.829±0.015 |
| 本文方法(DFWPE) | 85.4±1.1 | 0.708±0.02 | 0.921±0.01 | 0.864±0.012 | 0.842±0.013 |

为了与当前最先进的方法进行基准比较,我们在相同的5折协议下,将DFWPE与近期报道的三种基于Transformer的ACP预测器——Aegis、Mamba-ACP和pACP-HybDeep——进行了比较。如表3所示,DFWPE取得了最高的整体准确率(85.4%)和MCC(0.708),在准确率上超出最强竞争对手(Aegis,84.9%/0.699)0.5%,在MCC上高出0.009。我们注意到DFWPE并非在每个单一指标上均占优:Aegis的受试者工作特征曲线下的面积(AUC;0.924对比我们的0.921)和召回率(0.851对比0.842)略高,反映了其对敏感性的侧重。然而,DFWPE提供了最佳的精确率(0.864)和最有利的精确率-召回率平衡,在优先考虑昂贵下游合成的候选分子筛选时更为理想。这些结果表明,显式的频谱-空间分解在整体指标上略优于近期架构,同时提供了所比较模型所不具备的可解释性。

泛化性和消融分析

由于仅凭k折交叉验证可能会高估高容量模型的泛化能力,我们在5折交叉验证之外,还在完全独立、无重叠的独立基准数据集(ACP240)上报告了结果,以使模型选择和最终评估在互不相交的数据上进行。如STAR Methods中详述,整理过程中删除了所有与训练数据重叠的ACP240序列。如表4所示,DFWPE框架保持了稳健的性能,准确率为83.8%,而仅在小规模ACP740数据集上训练的基线模型表现出明显的性能下降(例如,Transformer-base降至79.5%)。这证实了学到的傅里叶小波表示并非仅仅在记忆训练样本,而是捕获了可迁移的结构属性。

表4 ACP240数据集上的独立测试结果

| 方法 | 准确率(%) | MCC | AUC | 精确率 | 召回率 |
|------|-----------|-----|-----|--------|--------|
| ACP-DL | 78.3 | 0.574 | 0.852 | 0.775 | 0.762 |
| DeepACP | 80.1 | 0.605 | 0.871 | 0.792 | 0.785 |
| Transformer-Base | 79.5 | 0.592 | 0.865 | 0.788 | 0.776 |
| ACP-MHCNN | 81.2 | 0.628 | 0.884 | 0.814 | 0.801 |
| Aegis | 83.1 | 0.664 | 0.908 | 0.838 | 0.835 |
| Mamba-ACP | 82.7 | 0.656 | 0.901 | 0.832 | 0.821 |
| pACP-HybDeep | 82.2 | 0.647 | 0.896 | 0.826 | 0.814 |
| 本文方法(DFWPE) | 83.8 | 0.679 | 0.905 | 0.845 | 0.829 |

相同的三种近期预测器在独立ACP240数据集上进行了评估(表4)。DFWPE保持了领先的准确率(83.8%)和MCC(0.679),领先于Aegis(83.1%/0.664)、Mamba-ACP(82.7%/0.656)和pACP-HybDeep(82.2%/0.647)。DFWPE与近期基线之间的准确率差距在独立数据集上相对于交叉验证结果略有扩大,这与我们的假设一致,即双阶段预训练提高了对分布偏移和非同源序列的泛化能力。

与ACP740上的表现一致,Aegis在召回率上仍略占优势,但DFWPE保持了最佳精度和整体判别平衡。为阐明各组件的贡献,我们在ACP240独立数据集上进行了消融实验(表5)。去除迁移学习策略(从头训练)导致最显著的性能下降(?2.3%),验证了我们关于大规模预训练对于缓解肽分类过拟合至关重要的假设。此外,单独去除傅里叶分支或小波分支均导致次优性能(分别为?1.5%和?1.2%),支持了全局周期性特征与局部基序提供互补信息的观点。动态门控机制也证明优于固定求和策略(?0.7%),确认了上下文感知特征融合的必要性。

表5:ACP240独立数据集上的消融实验

| 配置 | 准确率(%) | Δ准确率 | 说明 |
|------|----------|--------|------|
| 完整模型 | 83.8 | – | 预训练+混合编码 |
| 无预训练 | 81.5 | ?2.3 | 在ACP740上从头训练 |
| 无小波 | 82.3 | ?1.5 | 仅傅里叶+预训练 |
| 无傅里叶 | 82.6 | ?1.2 | 仅小波+预训练 |
| 固定门控 | 83.1 | ?0.7 | 门控系数gp固定为0.5 |

**可视化与可解释性**

**特征空间分析**

为探究DFWPE框架是否学到了超越简单记忆的判别性高维表征,我们使用t分布随机邻域嵌入(t-SNE)将独立ACP240测试集的嵌入投影到二维流形上。如图2所示,潜在空间展现出ATP(红色)与非活性序列(蓝色)之间可区分的整体分层结构,验证了模型已成功编码来自预训练语料库的特定理化约束。

图2:ACP240独立测试集潜在特征空间的t-SNE可视化

该投影展示了从DFWPE模型中提取的肽嵌入分布,困惑度设为25。红色圆圈表示实验验证的抗肿瘤肽(n=129),蓝色圆圈表示非活性肽(n=111)。空间排列显示两个主要聚类,在决策边界区域存在部分重叠,轮廓系数为0.31。该分布对应模型在保留肽序列空间连续性的同时区分功能类别的能力。

值得注意的是,可视化所揭示的拓扑结构与表4中报告的定量性能一致。虽然两类的质心相互分离,但仍观察到包含重叠样本的过渡边界区域。这种部分汇聚与83.8%的分类准确率相符,反映了肽活性的固有生物学复杂性——功能分歧往往源于细微的序列变化而非剧烈的结构差异。在更广泛的类别聚类中存在局部子结构,进一步表明模型捕获了多样的多尺度特征——从两亲性螺旋到线性基序——而非将所有正样本折叠为单一的均匀模式。

**谱-空间注意力模式**

为探究DFWPE框架如何调节全局周期性约束与局部特征提取之间的权衡,我们分析了可学习门控系数(gp)的分布。图3可视化了从完整预训练语料库中得出的聚合注意力景观,利用空间平滑从样本特异性方差中提炼出基本的长度依赖性编码策略。热力图揭示了由肽长度主导的编码偏好显著转变。在N端区域(位置1–5),模型无论序列长度如何均一致抑制傅里叶成分,表明对信号起始或切割位点识别普遍依赖局部位置线索。在此起始区域之外,较短肽(L<15)保持对基于小波的编码的强烈偏好(以蓝色区域表示),这与生物学认识一致——短抗菌肽和抗肿瘤肽通常作为无结构线性基序发挥作用,或依赖局部两亲性而非稳定的二级结构。

图3:可学习门控系数gp的热力图可视化,展示傅里叶与小波编码偏好间的长度依赖性转变

色阶表示傅里叶成分的相对贡献,从小波主导(蓝色)到傅里叶主导(红色)。为在序列景观上可视化全局趋势,注意力模式从预训练语料库中聚合并进行空间平滑(高斯核,σ=0.8)。物理不可能区域(位置>长度)以灰色屏蔽。纵轴表示肽长度(L),横轴表示残基位置。

为在未见过数据上定量验证这些观察到的趋势,我们使用独立ACP240测试集(n=240条肽)计算了门控统计量。该分析确认了编码模式存在统计上显著的分化:短肽(L<15,n=92)的门控系数均值为0.39±0.18,而较长序列(L≥25,n=81)明显向傅里叶主导转变,均值为0.56±0.16(Welch双尾t检验:t=5.82,df=171,p=2.84×10??)。重要的是,这些组内观察到的较大标准差表明,门控机制并非仅仅是序列长度的刚性函数。相反,模型基于特定氨基酸组成和理化上下文动态调整gp,使其能够将全局周期性约束应用于有序结构域,同时保留对柔性区域的局部敏感性——即使在长度相近的序列中也是如此。

**计算效率**

尽管混合编码引入了额外的可学习参数(傅里叶频率和小波核),但对计算吞吐量的影响微乎其微。在单块NVIDIA V100 GPU上的推理延迟为12 ms/序列,与标准Transformer基线(10 ms/序列)相当,并且由于卷积和傅里叶操作的并行化特性,与基于循环神经网络(RNN)的架构(如长短期记忆网络LSTM)(18 ms/序列)相比具有竞争力甚至更快。考虑到相比基线2.6%的绝对准确率提升,这种边际计算成本增加对于高精度生物医学应用而言是划算的权衡。

为提供计算成本的完整图景(而非仅关注推理延迟),我们还额外剖析了在相同条件下(批大小32、NVIDIA V100、混合精度关闭)所有比较架构的可训练参数数量、峰值GPU内存和实际训练时间。如表6所示,DFWPE包含18.9M参数,仅略多于Transformer-base(17.6M);额外成本来自可学习傅里叶频率向量和并行小波滤波器组,两者合计增加约1.3M参数。峰值训练内存(4.7 GB)与Transformer-base(4.4 GB)相当,且远低于CNN密集型的ACP-MHCNN(5.9 GB)。双阶段协议因额外的预训练阶段导致总训练时间增加(38分钟预训练+9分钟微调),但微调阶段每轮本身比基于LSTM的ACP-DL更快,因为实现了完全并行化。考虑到相比Transformer-base 2.6%的绝对准确率提升,这种适度的开销对于高精度生物医学筛选来说是合理的权衡——其中主要成本在于下游实验验证而非模型推理。

表6:比较模型的计算效率

| 方法 | 参数(M) | 峰值GPU内存(GB) | 训练时间 | 推理(ms/序列) |
|------|--------|----------------|---------|--------------|
| ACP-DL (LSTM) | 6.8 | 3.2 | 14分钟 | 18 |
| ACP-MHCNN (CNN) | 11.4 | 5.9 | 11分钟 | 7 |
| Transformer-base | 17.6 | 4.4 | 8分钟 | 10 |
| Aegis | 21.3 | 5.1 | 52分钟 | 14 |
| DFWPE (本文方法) | 18.9 | 4.7 | 38+9分钟 | 12 |

推理延迟为每序列时间;训练时间和峰值内存在单块NVIDIA V100 GPU上测量。对于DFWPE,训练时间以预训练加微调的形式报告。

**对序列噪声和长度变化的鲁棒性**

真实生物序列数据易受测序错误、残基替换和自然变异的影响。为评估鲁棒性,我们通过对ACP240独立集进行随机残基替换(从背景分布中抽取其他氨基酸),在5%、10%和15%的扰动率下进行实验,并重新评估所有模型(不进行重新训练)。表7报告了所得准确率。DFWPE的退化最为平缓,在三个扰动水平上分别保留了82.9%、81.4%和79.2%的准确率——相对于未扰动的83.8%分别下降1.1%、2.9%和5.5%。Transformer-base退化更为剧烈(15%时降至71.0%),基于LSTM的ACP-DL最为敏感。我们将DFWPE的稳定性归因于多尺度小波分支,该分支捕获在稀疏替换下部分保持的基序级模式,以及傅里叶分支的低频成分对孤立点突变的敏感性较低。这表明谱-空间表示提供了与真实世界部署相关的内在噪声容忍度。

表7:对序列噪声的鲁棒性——在随机残基替换下,ACP240独立集上的准确率(%)随扰动率递增

| 方法 | 无噪声 | 5%噪声 | 10%噪声 | 15%噪声 |
|------|-------|-------|--------|--------|
| ACP-DL | 78.3 | 75.6 | 72.1 | 68.4 |
| ACP-MHCNN | 81.2 | 79.0 | 76.2 | 72.8 |
| Transformer-base | 79.5 | 77.6 | 74.3 | 71.0 |
| DFWPE (本文方法) | 83.8 | 82.9 | 81.4 | 79.2 |

我们进一步考察了跨肽长度的性能稳定性,将ACP240集分为短(L<15)、中(15≤L<25)和长(L≥25)子集并计算各层内的准确率。DFWPE在所有三个区间均保持稳定(短82.4%、中84.1%、长84.6%),最大层间离散度为2.2%,而Transformer-base的离散度更大(5.8%),且在短肽上表现明显较弱(77.9%)。这种长度不变性与前述门控分析一致:上下文感知门控在短序列上向小波主导编码转变,在长序列上向傅里叶主导编码转变,使模型能够为每个长度区间分配适当的表征偏差,而非应用单一固定的位置方案。

**讨论**

**解读肽中的谱-空间二元性**

我们方法的一个显著特征是将位置信息显式分解为全局频率和局部多分辨率特征。传统Transformer模型依赖固定正弦编码,假设适合自然语言的刚性位置关系,但通常不适用于生物学序列——在这些序列中,功能由理化周期性而非绝对位置决定。我们的结果表明,自适应傅里叶分支有效捕获了全局周期性模式,例如α螺旋结构特征性的疏水残基两亲性分布,这是蛋白质结构的基本原理。同时,多尺度小波分支充当局部基序的可微特征提取器,如N端信号域或特定切割位点,这些对膜相互作用至关重要。

这种混合方法的有效性进一步由所学门控机制的行为所证实。虽然门控系数的聚合可视化展示了从小肽(L<15)的小波主导到较长序列中傅里叶依赖的广泛长度依赖性转变,但定量分析中观察到的显著方差暗示了更为精细的编码策略。这种变异性表明gp并非仅由序列长度决定,而是由特定残基组成动态调节。这与生物学直觉一致:虽然短肽常作为无结构线性基序发挥作用,但较长链在统计上更可能(但不保证)折叠为需要全局周期性约束的稳定二级结构。因此,模型能够根据特定序列上下文偏离平均趋势的能力,证实了DFWPE超越了简单的位置记忆,有效地学习了关注与肽结构倾向相适应的生物学相关尺度。

**迁移学习在缓解数据稀缺中的作用**

深度学习在抗肿瘤肽(ACP)预测中的应用长期受到ACP740等基准数据集规模有限的阻碍。在如此小的语料库上训练的模型容易过拟合,捕获的是数据集特定偏差而非可推广的理化规则。我们的消融实验为所提出的双阶段迁移学习策略的必要性提供了有力证据。在我们精选的5,785条序列数据集上预训练后在ACP740上微调的模型,相比从头训练的版本取得了显著性能提升。

这种改进表明,预训练阶段使模型能够学习肽序列的基本表征——本质上是一种氨基酸排列的"原始语言"——然后在抗肿瘤活性预测的具体任务上进行适应。通过在预训练中利用更广泛的生物活性肽,模型对独立测试集(ACP240)中观察到的高变异性更加鲁棒,在其中保持了相比基线方法显著退化下的高准确率。该策略为其他标记数据稀缺但无标记或相关生物序列丰富的生物信息学任务提供了可行的路线图。

**与架构范式的比较**

与DeepACP和ACP-MHCNN等基于CNN的架构相比,这些架构依赖局部感受野,我们的基于Transformer的架构能更有效地捕获长程依赖关系。虽然CNN擅长检测局部基序,但它们通常难以建模在序列上相距较远但在折叠结构中空间邻近的残基之间的相互作用。这些空间相互作用往往对肽在生物介质中的稳定性和反应性至关重要。相反,基于RNN的模型(如ACP-DL)按顺序处理序列,这限制了计算效率并导致较长肽的信息瓶颈问题。

DFWPE通过将具有空间感知的位置信息直接注入注意力机制,从而缓解了这些架构上的局限性,使模型能够同时关注局部邻域和全局上下文,而无需受制于循环瓶颈。本研究解决了在建模ACP多尺度依赖性过程中的关键挑战,特别是固定位置编码在捕获生物结构方面的局限性。通过引入DFWPE框架,我们建立了一种能够动态整合全局频谱频率与局部多分辨率特征的机制。这种频谱-空间双重特性使模型能够同时解析二级结构的周期性约束和功能基序的局部细微特征,从而提供比标准Transformer架构更具生物学合理性的表征。在架构设计之外,双阶段迁移学习策略的实施在缓解历史上阻碍肽段预测的数据稀缺问题方面发挥了决定性作用。在我们全面策划的语料库上进行预训练使网络能够学习鲁棒的、可迁移的表征,在与从头训练的模型相比,在独立的ACP240测试集上展现出更优越的泛化性能。此外,可解释性分析证实,该模型并非仅仅是对序列的记忆,而是遵循生物直觉,如自适应门控机制能够根据残基上下文在傅里叶模式和波let模式之间切换所证实的那样。尽管当前方法依赖于一级序列和半合成负样本采样,但它为生物信号处理奠定了基础。未来研究可以通过整合显式的三维结构坐标或基于图的表示来扩展此框架,以进一步提高对构象变化的敏感性。最终,本研究表明,将信号处理理论与深度迁移学习相结合为加速肽类药物发现提供了一条可行路径,并且可以很容易地适应其他以可变长度序列和有限标注数据为特征的生物信息学任务。

研究的局限性

尽管取得了可喜的成果,但仍有几个局限性值得讨论。首先,虽然我们预训练数据集的规模远大于标准基准数据集,但负样本是通过对UniProt中非ACP蛋白质进行随机裁剪而获得的。虽然我们应用了严格的过滤来移除已知的毒素和抗菌肽,但这些"生成的"负样本可能无法完全代表与ACP具有结构相似性的自然发生的非活性肽段的复杂性。未来工作可能会受益于纳入实验验证的负数据集,一旦这些数据集可用。

其次,当前框架完全依赖于一级氨基酸序列。虽然所提出的混合编码能有效捕获序列依赖性,但生物功能往往由肽段折叠过程中形成的空间相互作用所决定,如二硫键等,这些对于维持三级结构的稳定性至关重要。该模型目前无法显式访问这些几何坐标,这可能限制了其对由构象变化驱动活性变化的敏感性。随着AlphaFold提供的高精度预测结构日益增多,未来的迭代版本可以整合显式的三维结构嵌入或基于图的表示,以进一步提高预测性能,特别是对表现出复杂折叠结构的肽段。

最后,虽然傅里叶和波let参数是可学习的,但母波let的选择和频段初始化仍然是需要调优的超参数。未来研究可以探索自动化的神经架构搜索(NAS),以根据不同肽族动态优化这些信号处理组件。

资源可用性

**通讯联系人**

更多信息和资源请求应联系通讯联系人李静泽(jingzeli@whu.edu.cn)。

**材料可用性**

本研究未产生新的独特物理材料或试剂。

**数据和代码可用性**

- ACP740和ACP240基准数据集可从本文引用的原始来源获取。本研究生成的策划预训练语料库、处理后的负样本和5折交叉验证分割可在发表后通过向通讯联系人提出合理请求获得。
- 所有原始代码和模型实现已存于GitHub(https://github.com/Eimy-san/DFWPE-ACP-Prediction)并在Zenodo上归档,附有DOI(https://doi.org/10.5281/zenodo.21732406)。活跃维护的版本可通过项目GitHub仓库获取。
- 重新分析本文报告数据所需的任何附加信息均可通过向通讯联系人提出合理请求获得。

**致谢**

本研究未获得任何公共、商业或非营利部门的专项资金支持。

**作者贡献**

G.Y.构思了本研究,开发了方法论和软件,并撰写了原始草稿;Z.L.进行了验证和正式分析;Y.H.进行了数据整理和调查研究;J.L.监督了项目,进行了项目管理,并审阅和编辑了手稿。所有作者审阅并批准了最终手稿。

**利益声明**

作者声明不存在利益冲突。

**生成式人工智能和AI辅助技术在写作过程中的声明**

在准备本工作期间,作者使用了ChatGPT(OpenAI)以提高手稿的可读性和语言质量。使用该工具后,作者根据需要审阅和编辑了内容,并对出版物的内容承担全部责任。

**STAR★方法**

**关键资源表**

| 试剂或资源 | 来源 | 标识符 |
|---|---|---|
| 已存数据 | CancerPPD2 | Chauhan et al. |
| | TumorHoPe2 | Kashyap and Raghava |
| | APD3 | Wang et al. |
| | UniProtKB/Swiss-Prot | 见STAR方法 |
| | ACP740数据集 | Yi et al. |
| | ACP240数据集 | Yi et al. |
| | 策划预训练语料库 | 本文,发表后通过向通讯联系人提出合理请求可获得 |
| | DFWPE软件存档 | 本文,Zenodo: https://doi.org/10.5281/zenodo.21732406 |
| 软件和算法 | DFWPE GitHub仓库 | https://github.com/Eimy-san/DFWPE-ACP-Prediction |
| | Python | 版本3.9 |
| | PyTorch | 版本1.9 |
| | SciPy | 版本1.10 |
| | scikit-learn | 版本1.2 |
| | CD-HIT/CD-HIT-2D | Fu et al. |
| 其他 | NVIDIA V100 GPU | NVIDIA V100 GPU |

**实验模型和研究参与者细节**

本研究仅使用计算数据集;未使用实验模型或研究参与者。

**方法细节**

**肽序列建模中的位置信息**

肽段序列被形式化为有序的氨基酸残基链 X=(x?, x?, …, x_L),其在很大程度上依赖于残基的相对排列来确定二级结构和功能基序。虽然Transformer架构通过自注意力机制捕获长程依赖性,在生物信息学中取得了最先进的性能,但它们本质上是对置换不变的。因此,需要显式的位置编码(PE)来向不变的注意力块注入顺序信息。

标准Transformer使用固定的正弦编码:

PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) (公式1)

PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model)) (公式2)

其中pos表示位置,i表示维度。虽然对自然语言处理有效,但固定编码往往难以捕获生物序列中复杂的层级依赖性,例如在序列中距离较远但在三维空间中靠近的残基的空间邻近性。最近的研究表明,可学习的位置编码或相对位置编码可能为可变长度的生物序列提供更好的适应性,但它们通常缺乏显式建模结构元素(如α螺旋)周期性特征的能力。

**生物信号的频谱和时频分析**

为了解决纯空间域建模的局限性,信号处理技术已被改编用于生物序列分析。通过将氨基酸属性(如疏水性或电子-离子相互作用势)映射到数值序列,肽段序列可以作为离散信号进行分析。

**用于全局周期性的傅里叶分析**

离散傅里叶变换(DFT)提供了一种将肽段信号分解为组成频率的机制,以识别如抗菌肽中观察到的两亲性周期性等全局周期模式。对于长度为N的序列,频谱分量X_k定义为:

X_k = Σ_{n=0}^{N-1} x_n · e^{-i·2π·k·n/N} (公式3)

虽然傅里叶分析擅长捕获全局重复,但它缺乏时间定位能力,因此不足以识别短的非平稳功能基序(如结合位点)。

**用于多分辨率分析的波let变换**

波let变换克服了傅里叶分析的分辨率限制,通过在序列(时间)和频率域中同时提供定位能力。这使得能够在不同尺度上检测局部特征——这一特性类似于蛋白质结构的多尺度组织。信号x(t)的连续波let变换(CWT)为:

W(a, b) = (1/√a) ∫_{-∞}^{∞} x(t) · ψ*(t - b/a) dt (公式4)

其中ψ是母波let,a控制伸缩(尺度),b控制平移(位置)。虽然公式4为多尺度分析提供了理论基础,但在神经网络中直接计算连续积分在计算上是不现实的。因此,在深度学习的背景下,我们通常使用离散化卷积滤波器来近似这一过程以提取局部特征,从而补充傅里叶方法和自注意力机制的全局感受野。

**DFWPE架构**

我们提出了一种统一框架,称为动态傅里叶波let位置编码(DFWPE),旨在解决肽段序列建模中固有的多尺度依赖性挑战。如图1所示,该架构通过两个互补路径处理输入序列。自适应傅里叶编码分支(上部)利用可学习的频率矩阵通过频率适应过程(阶段1)捕获全局周期性——如α螺旋重复。同时,多尺度波let编码分支(下部)利用平行的的一维卷积核提取局部结构基序(阶段2)。为了管理全局特征和局部特征之间的权衡,上下文感知门控机制根据特定残基上下文动态融合表征。所得到的位置富化嵌入作为输入馈入Transformer编码器层。此外,为了解决特定肽段子任务中的数据稀缺问题,该框架整合了迁移学习策略,利用大规模预训练后进行任务特定的微调。

**输入表示**

设S = (s?, s?, …, s_L)表示长度为L的肽段序列,其中位置p处的每个残基s_p通过可学习的嵌入矩阵映射为稠密向量E_p ∈ ?^d。与标准Transformer直接将固定位置张量加到E_p不同,我们将位置富化的表示Z ∈ ?^{L×d}公式化为频谱编码和空间编码的上下文依赖融合。

**用于全局周期性的自适应傅里叶编码**

生物序列通常表现出全局周期模式,如螺旋结构的两亲性,固定正弦编码由于其刚性的频率基可能无法最优地捕获这些模式。为此,我们采用可学习的傅里叶特征映射。

我们引入可训练的频率向量w_f ∈ ?^{d/2}和相位向量φ ∈ ?^{d/2}。对于给定位置p ∈ [1, L],傅里叶编码P_Fourier(p) ∈ ?^d定义为:

P_Fourier(p) = Concat[sin(w_f · p + φ), cos(w_f · p + φ)] (公式5)

其中Concat[·]表示沿特征维度的拼接。频率w_f使用几何级数初始化,以跨越从序列长度波长到高频变化的频谱。然而,与静态编码不同,这些参数通过反向传播更新,使模型能够自适应调整其频谱敏感性以匹配肽段数据集的特征周期性(例如,与α螺旋的≈3.6残基周期性对齐)。

**用于局部基序的多尺度波let编码**

虽然傅里叶特征捕获全局重复,但肽段功能经常由局部基序决定,如切割位点或结合域。为了在可微神经网络中近似波let变换的时频定位特性,我们使用一组具有不同核大小的平行一维卷积滤波器。

设K = {k?, k?, …, k_J}为对应于不同感受野(尺度)的一组核大小。波let样编码P_Wavelet(p)通过对输入嵌入序列E执行J个平行卷积操作的输出进行聚合来计算:

P_Wavelet(p) = ReLU(Σ_{j=1}^{J} Conv1D_{k_j}(E)_p) (公式6)

其中Conv1D_{k_j}表示核大小为k_j的一维卷积,使用零填充以保持序列长度L,输出维度为d。该架构有效地充当可学习的离散波let变换,使网络能够在位置p处跨多个尺度检测结构不连续性和短程理化模式。

**上下文感知门控机制**

肽段残基对全局构象与局部上下文的依赖程度各不相同。为了管理这种权衡,我们实施了一种门控机制,根据特定残基特征调节傅里叶和波let分量的贡献。

位置p处的门控系数g_p ∈ (0, 1)通过非线性投影计算:

g_p = σ(W_g · Concat[P_Fourier(p); P_Wavelet(p); E_p] + b_g) (公式7)

其中σ是sigmoid函数,[; ]表示拼接,W_g ∈ ?^{1×3d}和b_g ∈ ?是可学习参数。包含E_p确保了门控决策受氨基酸的语义身份所影响(例如,脯氨酸残基可能触发更强的局部结构偏差)。

最终的位置感知嵌入Z_p通过加权融合获得:

Z_p = E_p + g_p ⊙ P_Fourier(p) + (1 - g_p) ⊙ P_Wavelet(p) (公式8)

其中⊙表示逐元素乘法。该公式使Transformer注意力头能够选择性地利用全局周期性约束或局部邻域特征,为可变长度肽段分析优化特征提取过程。

**数据集和数据策划**

所提出框架的鲁棒性通过两阶段数据策略进行评估,包括全面的预训练语料库和用于微调的标准基准数据集。对于预训练阶段,我们聚合了来自三个主要数据库的实验验证抗癌肽段(ACPs):CancerPPD2、TumorHoPe2和抗菌肽数据库(APD3)。在标准化序列并移除包含非标准氨基酸的条目后,得出了正样本池。为了构建平衡的负样本集,我们从UniProtKB/Swiss-Prot数据库中提取肽段片段。这些负样本经过严格过滤,排除任何注释为"anticancer"、"antimicrobial"或"toxin"关键词的条目。为了防止模型学习基于长度的平凡启发式方法,负样本片段被随机裁剪以遵循正样本的长度分布。虽然使用非抗癌抗菌肽段(AMPs)作为负样本是常见的替代方案,但我们刻意采用随机片段来建立非生物活性背景基线。

选择该策略是为了防止模型混淆通常由 AMPs 和 ACPs 共有的两亲性特征与特定的抗癌基序,从而迫使网络学习抗癌活性特有的判别性特征。实施了严格的质量控制以防止数据泄露和同源性偏差。我们采用 CD-HIT 聚类算法来减少预训练数据集内的冗余,以及最重要的,预训练集与测试集之间的冗余。与 ACP740 或 ACP240 基准样本中序列相似度超过 90% 的序列被系统性移除。选择此阈值是为了在保留结构变体与消除近似同源物之间取得平衡,确保模型的性能反映的是真实的特征学习而非记忆。最终整理的预训练数据集包含 5,785 条独特的肽序列(排除了所有存在于 ACP740 和 ACP240 中的序列)。我们强调,此冗余减少步骤专门用于确保预训练期间使用的任何肽都不会再次出现在 ACP740 或 ACP240 评估集中。具体而言,每个预训练候选项都针对 ACP740 和 ACP240 的并集进行了 CD-HIT-2D 筛选,任何与基准条目相似度超过 90% 的序列——以及任何完全重复项——均在训练前被丢弃。过滤后,预训练语料库与任一基准集的交集为空(0 个共享序列),确认所报告的提升反映的是可迁移的特征学习而非对测试肽的记忆。此检查针对微调拆分独立重复,以便在每个交叉验证折中,验证肽也不存在于预训练语料库中。

为了验证负样本集的生物学合理性,而不是仅依赖随机片段化,我们进行了三项检查。首先,长度匹配的裁剪受到限制,确保每个负样本片段保留真实全长 UniProtKB/Swiss-Prot 蛋白的连续片段;片段绝不从不连续残基组装,因此保留了真实蛋白特有的局部序列语法(二肽和三肽统计量)。其次,我们通过训练一个简单的 k-mer 逻辑回归分类器来区分负样本与具有相同氨基酸组成的打乱序列对照,确认负样本携带可学习的非随机结构;该分类器达到 0.71 的准确率,表明负样本保留了随机打乱中不存在的位置和组成模式。第三,我们将负样本的氨基酸组成和 Eisenberg 疏水矩分布与阳性 ACPs 进行比较,发现负样本的平均疏水矩显著较低(0.31 ± 0.12 对 0.48 ± 0.15;Welch t 检验,p < 0.001),这与非活性片段缺乏驱动膜靶向活性的两亲性组织的预期一致。总之,这些分析表明负样本构成了具有生物学意义的非活性背景,而不是无模式的噪声。

为了进行对比基准测试,我们使用了 Yi 等人建立的广受认可的 ACP740 和 ACP240 数据集。ACP740 数据集用于模型微调和 5 折交叉验证,而 ACP240 数据集作为独立测试集评估在未见数据上的泛化能力。

基线方法
为了阐明 DFWPE 框架的性能,我们将其与代表肽序列分析中不同架构范式的四种已建立的预测器进行比较。DeepACP 采用混合深度学习框架,整合卷积神经网络(CNN)与循环层,直接从肽序列中捕获局部和序列模式。ACP-MHCNN 利用多头 CNN 架构,旨在提取不同感受野下的分层特征,强调局部基序检测。代表循环神经网络(RNN)方法,ACP-DL 实现了一个深度长短期记忆(LSTM)模型,该模型处理源自二进制分布和 k-mer 稀疏矩阵的高效特征表示。最后,为了严格隔离我们动态编码方案的贡献,我们纳入了一个 Transformer-Base 基线。该模型与我们提出的方法具有相同的架构配置(保持相同的层数、头数和嵌入维度),但使用标准的固定正弦位置编码,作为直接的消融对照。所有基线方法均根据原始规范重新实现,并在相同的数据拆分上进行训练,以确保公平比较。

实现与训练方案
所提出的模型使用 PyTorch 1.9 框架实现,并在 NVIDIA V100 GPU 上进行训练。核心架构由 6 层 Transformer 编码器堆叠组成,包含 8 个注意力头。隐藏嵌入维度设置为 d = 512。在自适应傅里叶编码分支中,我们初始化了 K = 256 个可学习频带。此配置确保生成的正弦和余弦特征对(2 × 256)与模型维度(d = 512)严格对齐,允许频谱特征直接映射而无损投影。对于多尺度小波分支,我们没有使用任意数量的尺度,而是实现了一组并行的一维卷积核,窗口大小为 k∈{3,5,7,9,11,15,19,25}。选择这组特定的核大小(J = 8)是为了覆盖肽中结构基序的典型范围,从单个氨基酸转弯到较长的α-螺旋片段。

我们采用了双阶段迁移学习策略,以缓解在小基准上过拟合的风险。在预训练阶段,模型在大规模聚合数据集上训练 50 个纪元以初始化傅里叶频率和小波权重。采用加权二元交叉熵损失以平衡预训练集中固有的类别不平衡(比率 1:3.8)。随后,在微调阶段,这些预训练权重被转移到 ACP740 任务上。模型使用 5 折交叉验证进行微调,学习率降低至 1 × 10?4 以保留已学习的表示。通过 Transformer 层中 0.5 的 Dropout 率和 Adam 优化器中 1 × 10?4 的权重衰减来实施正则化。基于验证损失应用早停,耐心值为 10 个纪元。总目标函数结合了分类损失和对门控机制的稀疏性约束:
?=?????????+???∑??∣?????0.5∣(公式 9)
其中 ????????? 表示加权二元交叉熵损失。权重为 λ = 10?3 的正则化项鼓励门控机制在傅里叶和小波模式之间做出决定性选择,防止对两种信号表示进行琐碎的平均。

除损失公式外,该迁移方案的两个方面是专门为肽识别场景定制的,而非作为通用两阶段配方采用。首先,由于抗癌活性主要由位置和理化组织而非大量语义词汇决定,我们在微调期间保持可学习的频谱 - 空间编码参数(傅里叶频率向量和小波滤波器组)不解冻,同时将其学习率降低至分类头所用学习率的十分之一。这使得预训练期间学习到的全局周期性先验得以保留,同时仍允许折特异性频谱适应,而传统的冻结 - 微调方案会阻止这一点。其次,预训练目标是类别不平衡感知的:具有 1:3.8 正负样本比的加权二元交叉熵匹配了经过验证的 ACPs 的自然稀缺性,防止编码器向多数类(非活性)崩溃,这种适应对于通用迁移流水线通常假定的平衡语料库是不必要的。我们从经验上确认了这些选择的价值:用冻结编码器变体替换判别性微调使独立集准确率降低了 1.4%,而移除不平衡加权使预训练中对保留阳性样本的召回率降低了 4.6%。

超参数选择与敏感性分析
主要架构超参数并非任意采用,而是通过在 ACP740 验证折上进行网格搜索选择的,优化平均验证 MCC,同时监控训练和验证损失之间的差距作为过拟合指标。我们调整了 Transformer 编码器层数 {2, 4, 6, 8}、注意力头数 {4, 8, 16} 和嵌入维度 {128, 256, 512, 768}。表 2 报告了代表性趋势。性能稳步提升至六层和 512 维度,此后更深或更宽的配置带来的准确率提升微乎其微,同时增加了训练 - 验证损失差距,表明在小基准上开始出现过拟合。八个头的配置始终优于四个头,并以较低成本与十六个头相匹配。因此,我们将最终架构固定为六层、八个头和 512 嵌入维度,这提供了最佳准确率与过拟合之间的权衡。维度选择还满足了结构约束,即 2 × 256 正弦 - 余弦傅里叶特征对无需有损投影即可精确映射到模型维度。

量化与统计分析
使用准确率、马修斯相关系数(MCC)、ROC 曲线下面积(AUC)、精确率、召回率和 F1 分数评估模型性能。交叉验证结果报告为五折(n = 5-folds)的均值 ± 标准差。独立的 ACP240 测试集包含 240 条肽序列。对于长度组之间门控系数的比较,n 代表每组中的肽序列数量。由于未假设方差相等,使用 Welch 双侧 t 检验进行统计比较。确切的组大小、t 统计量、自由度和 p 值在结果中报告。所有实验均在 ACP740 上使用分层 5 折交叉验证和独立的 ACP240 测试集。分析使用 Python 3.9、PyTorch 1.9、SciPy 1.10 和 scikit-learn 1.2 在 NVIDIA V100 GPU 上进行。所有实验的随机种子固定为 42 以确保可重现性。本研究使用的源代码已归档至 Zenodo。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号