ST-ConMa:基于图像–基因对比与匹配学习的空间转录组学多模态基础框架

《Briefings in Bioinformatics》:ST-ConMa: a multimodal foundation framework for spatial transcriptomics via image–gene contrastive and matching learning

【字体: 大 中 小 】 时间:2026年09月29日 来源:Briefings in Bioinformatics 7.3

编辑推荐:

  空间转录组学(spatial transcriptomics, ST)通过将组织图像与spot级基因表达谱结合,实现基因表达的空间映射,从而能够分析基因分布以及相邻区域之间的相互作用。尽管已为ST开发了许多深度学习模型,但大多数现有方法具有任务特异性,而具备S

  
空间转录组学(spatial transcriptomics, ST)通过将组织图像与spot级基因表达谱结合,实现基因表达的空间映射,从而能够分析基因分布以及相邻区域之间的相互作用。尽管已为ST开发了许多深度学习模型,但大多数现有方法具有任务特异性,而具备ST广泛知识的多模态基础模型仍然稀缺。虽然目前存在少数ST多模态模型,但它们或在低分辨率组织图像上训练,或针对特定平台开发,从而限制了其应用于多样化ST数据时的泛化性。为弥补这一空白,研究人员提出ST-ConMa,一种多模态基础模型,其在大规模spot级组织图像与相应基因表达谱配对数据上,通过对比学习(contrastive learning)和匹配学习(matching learning)进行预训练。传统任务特异性模型和基础模型分别为图像和基因生成模态特异性嵌入,而该模型使用配备交叉注意力(cross-attention)的多模态编码器和匹配目标联合学习图像–基因融合表征。通过对组织病理学图像分类基准以及包括基因表达预测和空间聚类在内的领域特定任务进行广泛评估,研究人员证明ST-ConMa可学习高质量多模态表征,并持续优于现有方法。这些结果表明,ST-ConMa可作为多种ST方法的可泛化骨干。
论文解读:ST-ConMa:面向空间转录组学的多模态基础框架

近年来,测序技术从bulk RNA测序转向单细胞RNA测序,使研究人员能够在单细胞层面精确分析基因表达,识别疾病进展相关的异质性细胞类型和关键亚型,从而深化对病理生理的理解,并为精准医学奠定基础。组织病理学也出现向更高分辨率发展的趋势,空间转录组学(spatial transcriptomics, ST)可在spot级分辨率同时捕获基因表达与空间背景,有助于分析组织微环境和空间相邻区域互作。随着深度学习发展,已有多种模型用于ST的组织对齐、细胞类型解卷积、空间聚类和基因表达预测等任务。然而,大规模ST数据缺乏,使多数深度学习方法局限于任务特异性应用,通常只能用于单一疾病或组织类型,难以获得跨ST数据集的泛化知识。近期HEST-1K、STimage-1K4M和ST-Bank等大规模配对数据发布,为训练可学习ST通用表征的多模态基础模型提供了基础。但现有ST多模态模型仍有不足:OmiCLIP采用双编码器架构,缺乏显式跨模态融合模块,无法生成图像–基因融合表征,且使用宽泛基因集而非跨数据集预定义共享基因集,并采用低分辨率patch图像;UMPIRE依赖Visium平台数据,训练数据规模和多样性有限,也采用双编码器架构而无法生成融合表征。为此,研究人员提出ST-ConMa,一种ST多模态基础模型,在超过981K spot级图像–基因对上使用对比和匹配目标预训练,包含基因、图像和多模态编码器,并联合优化图像–基因对比(image–gene contrastive, IGC)、图像–图像对比(image–image contrastive, IIC)和图像–基因匹配(image–gene matching, IGM)损失,以学习模态内稳健表征和跨模态关系。该研究的意义在于为多种ST任务提供可泛化的预训练骨干。

关键技术方法(不超过250字):研究人员使用HEST-1K中Homo sapiens样本,经MyGene.info统一基因名,选取与CELLxGENE常见基因词表重叠至少10000个基因的586个样本,提取7816个共享基因;保留在共享基因集中至少一个非零表达的spot及其图像;每个spot以表达值降序的前100个高表达基因(highly expressed genes, HEGs)构成基因句子。排除三个用于基因表达预测评估的数据集后,534个样本形成981K图像–基因对,覆盖Visium、Visium HD和Spatial Transcriptomics平台。图像编码器为PathoDuet(ViT-Base/16),基因编码器为经Cell2Sentence微调的Pythia-410M前12层,多模态编码器为三个交叉注意力Transformer块;用IGC、IIC、IGM联合预训练。下游评估使用CAMELYON17-WILDS、NCT-CRC-HE-100K、WSSS4LUAD、MHIST、HER2ST、cSCC、HLT、DLPFC及human breast cancer数据集。

研究结果:

图像–图像对比损失提升图像表征质量(Image–image contrastive loss improves image representation quality):研究人员在CAMELYON17-WILDS、NCT-CRC-HE-100K、WSSS4LUAD和MHIST四个组织病理学图像分类数据集上,用k-means聚类和线性探测评估冻结图像编码器。ST-ConMa在四个数据集聚类中均表现更优,ARI均最高,NMI在三个数据集最高。CAMELYON17-WILDS上相对PathoDuet的ARI和NMI分别提高172.6%和127.5%,相对OmiCLIP分别高161.6%和144.7%。NCT-CRC-HE-100K上ST-ConMa优于PathoDuet和OmiCLIP,线性探测中比OmiCLIP的Macro-F1高15.0%、平衡准确率高15.7%。WSSS4LUAD上相对PathoDuet的ARI和NMI分别提高16.6%和29.5%。MHIST上ST-ConMa的ARI最高,消融模型NMI最高;线性探测下降但非线性MLP可恢复。UMAP显示ST-ConMa簇分离更清晰。结论是IIC目标可缓解预训练图像编码器在图像–基因对齐中的灾难性遗忘,保持并提升图像表征质量。

ST-ConMa实现对未见患者的准确基因表达预测(ST-ConMa enables accurate gene expression prediction for unseen patients):在HER2ST、cSCC和HLT数据集上,针对250个HEGs和250个高变基因(highly variable genes, HVGs),在微调和零样本设置下与六个方法比较。ST-ConMa在12个指标中10个最佳。cSCC中250 HEGs和HVGs的RMSE虽非最佳,但ST-ConMa零样本取得最低RMSE。HER2ST上比OmiCLIP的HEGs和HVGs的PCC分别高6.6%和14.3%;cSCC分别高13.6%和10.3%;HLT分别高65.8%和1.6%。参考集减至25%仍稳健。Wilcoxon符号秩检验中,ST-ConMa在68个比较中63个优于基线,60个显著。结论是IGC目标有效对齐图像和基因表征,预训练权重可泛化至未见癌症相关数据集。

ST-ConMa有效捕获生物学相关基因特征(ST-ConMa effectively captures biologically relevant gene signatures):研究人员从GeneCards整理的疾病和组织相关基因子集中评估,ST-ConMa在12个指标中9个最佳,零样本在cSCC中取得最低RMSE。HER2ST中CD24、HSP90AB1、GNAS和ERBB2等临床重要基因的PCC较高;ERBB2(HER2)是乳腺癌临床生物标志物,CD24与HER2表达及拉帕替尼耐药相关。CD24在B6切片上PCC为0.6977,P=1.02×10?41;零样本PCC为0.6823。cSCC中LGALS1与抑制抗肿瘤免疫和不良预后相关,ST-ConMa预测PCC为0.4493,P=2.13×10?34;零样本PCC为0.3377,而OmiCLIP零样本接近零或呈倒置。结论是模型在微调和零样本下均能捕获生物学相关基因签名。

多模态编码器有效整合图像和基因特征(Multimodal encoder effectively integrates image and gene features):在DLPFC数据集上,研究人员对图像、基因、多模态编码器表征及简单拼接进行线性探测。融合表征在12个切片中8个最高、2个第二;平均平衡准确率为0.5333,比图像编码器相对提高5.3%,比简单拼接提高7.8%;简单拼接比图像单模态低2.3%。预训练使图像编码器相对提高55.7%,基因编码器提高49.9%。结论是交叉注意力融合机制可自适应整合图像和基因特征,IGM目标产生高质量融合表征。

使用ST-ConMa融合表征进行空间聚类(Spatial clustering using fusion representation of ST-ConMa):研究人员将融合表征纳入STAIG框架,在DLPFC和human breast cancer数据集与六个聚类基线比较。DLPFC上平均ARI为0.5970、NMI为0.6763,比STAIG分别高12.9%和5.1%。在切片151673上更清晰划分皮层,包括薄层Layer 4;PAGA轨迹显示ST-ConMa与STAIG仅形成Layer 1到Layer 2的边,符合皮层组织,且Layer 3与Layer 5错误边少于STAIG。human breast cancer上ARI为0.6474、NMI为0.6885,ARI比STAIG高12.6%,NMI低1.2%。300个超参数组合显示DLPFC的P=1.83×10?7和1.51×10?25,breast cancer的P=6.79×10?15和2.66×10?25。结论是融合表征对准确、结构良好的聚类关键。

ST-ConMa融合表征实现精细域分析(Fusion representation of ST-ConMa enables fine-grained domain analysis):对human breast cancer中Domain 8分析,其与Cluster 14(sage)和19(dark green)重叠。与其余域比较发现670个显著上调基因,包括IGHG3、IGLC2、IGKC、C3和IGHG1等免疫相关基因,提示免疫激活区域。GO和KEGG富集显示抗原受体介导信号、B细胞受体信号、MHC class II相关活性、Th1/Th2和Th17细胞分化。Domain 8进一步分为两个簇:左下区域IGHA1和CD79A上调,提示富含抗体分泌浆细胞和B细胞的体液免疫niche;中右区域BGN、DCN、VCAN和COL1A1上调,为癌症相关成纤维细胞(cancer-associated fibroblasts, CAFs)标志,富集胶原细胞外基质和金属内肽酶抑制活性,提示细胞外基质重塑。结论是融合表征可精细剖析异质域,表征不同微环境。

讨论与结论:ST-ConMa采用来自视觉–语言模型框架的对比和匹配目标,但其关键区别是显式学习ST图像–基因融合表征。OmiCLIP和UMPIRE主要用双编码器对齐图像和基因表征,而ST-ConMa进一步用多模态编码器捕获组织图像patch与基因特征互作;IIC目标帮助在多模态预训练中保留病理相关视觉信息。这些设计提供可迁移的图像、基因和融合多模态表征。局限在于预训练数据集组织多样,但样本总数在样本间变异方面仍有限,可能限制对罕见组织类型或疾病背景的泛化;随着ST数据规模和多样性增长,ST-ConMa的有效性和泛化性预计将进一步提升。研究结论翻译:总之,研究人员的发现表明,ST-ConMa可作为ST的稳健多模态骨干。通过有效整合组织病理学图像和基因特征,它为未来ST特异性方法的开发以及发现具有生物学和临床相关性的组织微环境提供了可扩展的基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号