CrossMol:利用不等模态语义关联的跨模态掩码分子预训练模型

《Bioinformatics》:CrossMol: Cross-Modal Mask-Predict Pre-training For 3D Molecular Data

【字体: 大 中 小 】 时间:2026年09月24日 来源:Bioinformatics 5.5

编辑推荐:

   摘要 动机分子数据的自监督预训练模型在许多下游任务中已显示出显著成果。分子固有的多模态特性也促使人们努力捕捉不同模态的信息。然而,当前的多模态分子预训练模型通常将这些模态视为平等且独立的,尽管它们的信息含量存在差异

  

摘要

动机

分子数据的自监督预训练模型在许多下游任务中已显示出显著成果。分子固有的多模态特性也促使人们努力捕捉不同模态的信息。然而,当前的多模态分子预训练模型通常将这些模态视为平等且独立的,尽管它们的信息含量存在差异。三维(3D)分子结构通常比简化分子输入线格式系统(SMILES)包含更细粒度的信息,后者主要捕获更高层次的语义信息,如分子拓扑结构。

结果

我们设计了一种跨模态掩码预测预训练模型 CrossMol,以捕捉信息量不等的模态之间的语义关联。该模型利用另一模态(如 SMILES)的高层次语义信息来补全缺失的 3D 结构。这使得它能够学习跨模态关联并更好地理解细粒度的 3D 结构信息。我们还引入了一种重新加权的距离预测损失,以改善对短程结构信息的建模。实验表明,CrossMol 在多个下游分子任务上取得了大幅性能提升,达到了最先进的结果。

可用性与实现

源代码和训练数据可在 https://github.com/zhengkangjie/crossmol 获取。代码存档于 https://doi.org/10.5281/zenodo.19653204。

补充信息

补充材料包含特定任务的超参数。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号