ToxiCompass:一种融合证据追踪的短肽毒性筛查与检测家族优先排序基准

《Briefings in Bioinformatics》:ToxiCompass: an evidence-tracked benchmark for short-peptide toxicity screening and confidence-aware assay prioritization

【字体: 大 中 小 】 时间:2026年09月27日 来源:Briefings in Bioinformatics 7.3

编辑推荐:

  二元肽毒性预测器支持早期筛选,但无法指示在获得毒性样预测后应进行哪些检测。研究人员提出了ToxiCompass,一个证据追踪基准和两阶段协议,用于短肽毒性筛查和检测家族优先排序。该基准包含6114条肽序列,这些序列从生物毒素在线数据库(BioTD)和经审编的U

  
二元肽毒性预测器支持早期筛选,但无法指示在获得毒性样预测后应进行哪些检测。研究人员提出了ToxiCompass,一个证据追踪基准和两阶段协议,用于短肽毒性筛查和检测家族优先排序。该基准包含6114条肽序列,这些序列从生物毒素在线数据库(BioTD)和经审编的Universal Protein Knowledgebase(UniProt)记录中重建而来,包括经人工整理的毒性阳性肽和长度匹配的操作性对照序列。在2866个第二阶段候选毒性阳性肽中,经证据审查后,2858个保留了至少一个观察到的阳性靶标/效应家族标签。评估定义了精确序列合并、来源追踪、基于90%序列一致性的Many-against-Many序列搜索2聚类(MMSeqs90)簇级划分以及明确的证据规则。第一阶段相对于操作性对照群体给出毒性样评分,而第二阶段对13个广泛靶标/效应家族进行排序,以优先安排针对保留证据的毒性阳性肽的后续检测。在主要MMSeqs90簇划分上,第一阶段受试者工作特征曲线下面积(AUROC)达到0.9871,精确率-召回率曲线下面积(AUPRC)达到0.9867,而第二阶段Hit@3达到0.8955。在更保守的分组划分敏感性分析中,第二阶段Hit@3为0.6506。这些结果共同支持ToxiCompass作为一个可复现的基准,将毒性样肽筛选与证据感知的后续检测家族优先排序联系起来。
**研究背景与问题**

短肽在抗菌发现、毒液衍生药理学、药物优化和功能工程中应用广泛,其膜破坏、离子通道调节、凝血效应和受体结合等活性在特定情境下也可能产生毒性。实验检测虽不可或缺,但成本高昂、依赖条件且难以规模化,计算方法的早期分诊价值日益凸显。然而,现有肽毒性预测器大多仅返回二元决策或粗粒度类别标签,无法为研究者提供后续实验应优先考察哪些靶标/效应家族的具体指导。尽管ToxinPred系列、ToxIBTL、VISH-Pred、ToxGIN、PeptiTox等模型不断推进预测性能,但多数方法以随机生成的非毒性序列作为对照,且检测家族注释不完整,未观察到的标签不能被假定为生物学阴性。因此,构建一个能够追踪证据来源、明确标签不确定性的基准,连接毒性样筛选与证据感知的检测优先排序,是该领域亟待解决的关键问题。

**研究内容与结论**

研究人员提出了ToxiCompass,一个包含6114条肽序列的证据追踪基准和两阶段评估协议。基准数据从生物毒素在线数据库(BioTD)和经审编的Universal Protein Knowledgebase(UniProt)记录重建,包括3057个经人工整理的毒性阳性肽和3057个长度匹配的操作性对照。第二阶段候选队列包含2866个毒性阳性肽,经证据审查后,2858个保留至少一个观察到的阳性靶标/效应家族标签,8个为全未知,191个仅用于第一阶段。第一阶段输出毒性样概率,第二阶段对13个广泛靶标/效应家族进行排序。在主要MMSeqs90簇划分上,第一阶段AUROC/AUPRC达到0.9871/0.9867,第二阶段Hit@3达到0.8955;在更严格的分组划分敏感性分析中,第二阶段Hit@3为0.6506。Lite和Full参考实现分别提供了高效的序列基线路径和可选的 multimodal 结构-质量上下文路径。该基准通过明确的证据规则、来源追踪和簇级划分控制,为短肽毒性筛选和检测家族优先排序提供了可复现的评估框架。

**主要关键技术方法**

研究人员采用以下几项关键技术方法:(1)数据重建与证据分级:从BioTD和审编UniProt记录出发,经精确序列合并、长度匹配、MMSeqs2以90%序列一致性(MMSeqs90)进行簇级划分,并制定显式证据规则,区分毒性标签与靶标/效应监督标签;(2)两阶段监督框架:第一阶段以二元标签训练毒性样筛选器,第二阶段仅对保留证据的毒性阳性肽进行13家族排序;(3)参考模型架构:Lite模型采用平均池化的ESM2嵌入与Light Gradient Boosting Machine(LightGBM)分类器,Full模型融合序列、ESM2、多序列比对(MSA)、预测结构、结构质量、理化性质六个模态token,采用多门混合专家(MMoE)与标签条件注意力;(4)评估指标:以Hit@k、平均倒数秩(MRR)为保留标签恢复端点,以微AUPRC、宏F1为保留-对-未标注诊断指标。

**研究结果**

**数据集重建与泄漏控制**:基准包含6114个第一阶段样本,精确序列合并和MMSeqs90聚类产生4215个簇,无跨划分精确重叠、无共享簇、无混合簇。第二阶段标签呈长尾分布且相互重叠,长度匹配部分缓解了第一阶段不平衡,但阳性来源仍保留不同的半胱氨酸和电荷特征。

**第一阶段二元毒性筛查**:ToxiCompass在第一阶段主测试集上实现AUROC/AUPRC 0.9871/0.9867,在族/登录号/母体类似物敏感性划分上为0.9280/0.9469。详尽的事后审计发现19个评估肽存在55个符合预设身份和覆盖标准的比对,因此严格划分结果作为敏感性分析而非完全无重叠估计。理化性质和序列基线显著优于仅长度模型。

**第二阶段靶标/效应家族排序**:在原始评估器上,ToxiCompass-Full达到Hit@3/MRR 0.8955/0.8011,最终标签重评估为0.8920/0.7946。在残余重叠敏感性划分上,340个经最终审计的支持肽上Hit@3为0.6506。审计识别出3126个POSITIVE和34132个UNKNOWN细胞,无VERIFIED_NEGATIVE。无修订期目标变体显著改善主要排序端点,正例-未标注(PU)学习方法未带来一致性提升。

**源分离外部评估**:在87个外部毒性阳性肽和549个操作性对照上,第一阶段AUROC/AUPRC为0.8977/0.7426,固定0.5阈值的灵敏度/特异度为0.9540/0.4699。第二阶段在ConoServer队列上Hit@3为0.8136,ArachnoServer队列为0.7143。

**表征与组件鲁棒性**:ESMC骨干点估计最高,但经Holm校正后与ESM2差异不显著;ProtBERT显著低于两者。Protenix-v2/AlphaFold3图源交叉分析未见可靠来源效应。340个支持肽的消融中,仅移除MSA在多重校正后显著降低Hit@3(效应量0.0282,校正P=0.0024)。

**计算成本**:在32肽监测面板上,一步Full路径耗时651.64秒,为序列参考路径的28.10倍,其中每个肽的五个Protenix-v2结构假设占Full时间92.6%。

**校准与选择性审查诊断**:温度缩放保持排序并微调校准指标(Brier/ECE15从0.0513/0.0520降至0.0512/0.0495);在原始评估器上,Hit@3从全覆盖0.8955升至20%覆盖时的0.9649,保留案例中87.7%为BioTD-only、58.3%携带Kv标签。

**模态归因与结构质量关联**:精确Shapley归因显示ESM2贡献最广,预测结构次之。Kv/Nav标签由ESM2主导,酶/止血标签的MSA贡献更大,其他钾通道家族的结构贡献最大。结构门与平均pLDDT呈正相关(r_s=+0.22),与种子间结构方差呈负相关(r_s=?0.23)。

**总结讨论**

ToxiCompass是一个有界框架:第一阶段针对操作性对照进行敏感首筛,第二阶段为毒性阳性肽产生实验后续的top-k短清单。原始划分的性能优于严格敏感性划分,提示序列重叠风险需纳入结果解读。外部队列提供回顾性鲁棒性证据,而非前瞻性盲验证。Lite序列路径是实际默认选择,Full"提供了可选的"结构质量与多模态上下文,但未显示一致性预测优势。未来版本应解决稀有家族稀疏性、缺乏已验证广谱阴性标签以及上游训练成员资格审计不完整等问题,并纳入独立毒性资源、端点支持硬对照和治疗肽。

**研究结论**

ToxiCompass将证据追踪的毒性样筛选与有界的检测家族优先排序联系起来。Lite提供了高效默认路径,而Full为案例级审查提供了可选的结构-质量与多模态上下文。通过使来源、监督和标签不确定性显式化,该基准及其参考实现在明确证据边界内为短肽筛选和优先排序方法的比较提供了可复现的基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号