stFormer:将空间配体信号整合入空间转录组学基础模型的Transformer架构

《Cell Reports Methods》:stFormer integrates spatial ligand signaling into a foundation model for spatial transcriptomics

【字体: 大 中 小 】 时间:2026年10月01日 来源:Cell Reports Methods 5.8

编辑推荐:

  **Motivation(研究动机)**:Transformer预训练方法已被用于构建单细胞转录组数据的基础模型。尽管此类模型在捕捉复杂基因与细胞特征方面能力强大,但其仅关注细胞内的基因互作,而忽略了细胞外信号。空间转录组学(ST)提供了在原位组织位置刻画基因

  
**Motivation(研究动机)**:Transformer预训练方法已被用于构建单细胞转录组数据的基础模型。尽管此类模型在捕捉复杂基因与细胞特征方面能力强大,但其仅关注细胞内的基因互作,而忽略了细胞外信号。空间转录组学(ST)提供了在原位组织位置刻画基因表达的技术。然而,现有单细胞Transformer模型尚未利用额外的空间信息。为解决这一局限,研究人员开发了stFormer,一种适配ST数据的Transformer模型。stFormer利用此前未在单细胞模型中被探索的交叉注意力(cross-attention)机制,以捕捉空间配体(ligand)介导的细胞间互作。

**Highlights(研究亮点)**:stFormer利用交叉注意力纳入空间配体基因信号;一种偏置交叉注意力(biased cross-attention)统一了不同分辨率与基因覆盖度的ST平台;基于公共人类Visium数据中约4.1×106个空间样本进行预训练;stFormer在聚类、批次校正等任务上优于scFoundation。

**Summary(摘要)**:近期面向单细胞转录组数据的基础模型可生成具有信息量且具语境感知的基因与细胞表征。空间转录组(ST)数据提供了额外的位置信息,但此前的单细胞模型并未考虑这些信息。研究人员提出了stFormer,一种为ST数据量身定制的Transformer模型,其采用交叉注意力模块纳入空间配体基因。为在分辨率与基因覆盖度之间取得权衡、统一不同的ST技术,研究人员提出了一种偏置交叉注意力方法,使模型能够在全转录组但低分辨率的Visium数据上开展单细胞分辨率的学习。研究人员构建了一个包含约4.1×106个空间样本的预训练语料库,样本来自公共人类Visium数据集。预训练后,stFormer在细胞聚类、批次效应校正、细胞类型预测与基因功能预测等多种任务上均优于当前最先进的单细胞基础模型scFoundation。stFormer还通过计算机模拟扰动(in silico perturbation)揭示了细胞间配体-受体信号响应。最后,研究人员通过两个案例研究展示了stFormer在产生生物学发现方面的实用性。
**一、研究背景与拟解决的问题**

基于生成式预训练Transformer(GPT)架构的大语言模型在人工智能领域取得突破性进展,随后Transformer预训练方法被引入单细胞转录组数据的基础模型构建。此类基础模型可为单细胞生成具有语境感知(context-aware)的基因与细胞嵌入(embedding),并在多种下游应用中展现出强大性能。然而,这些模型尽管擅长刻画复杂的基因与细胞特征,却从根本上局限于建模细胞内的转录组信号。细胞内转录不仅受胞内基因网络调控,还由细胞外微环境介导,而单细胞转录组数据缺失细胞外信号这一维度。空间转录组学(spatial transcriptomics, ST)技术通过在原位组织位置刻画基因表达弥补了该缺口,但已有的单细胞Transformer模型并未利用空间信息。为填补这一空白,研究人员开发了stFormer,一种适配ST数据的Transformer模型,用于同时整合胞内语境与空间语境。其架构设计包含两项关键创新:其一,引入此前单细胞模型未曾探索的交叉注意力(cross-attention)机制,捕捉空间配体(ligand)介导的细胞间基因互作——多数细胞间互作由配体介导,发送细胞产生的信号配体结合接收细胞上的受体,激活胞内信号级联从而调控细胞行为;其二,提出偏置交叉注意力方法,使模型能够从细胞类型解卷积的Visium数据中实现单细胞分辨率学习,而Visium是广泛可得且具有全转录组基因覆盖的空间资源。

**二、主要关键技术方法**

研究人员构建了含6个相同Transformer块(768维嵌入、12个注意力头、前馈维度3072)的模型,在自注意力层后插入交叉注意力层;输入由中心细胞的基因符号与表达值以及邻域(niche)细胞的配体基因符号与表达值构成,配体基因库由7个知识数据库整合、保留至少被2个数据库收录的986个配体基因。针对spot级Visium数据,先以cell2Location解卷积,再将对数细胞类型比例作为偏置加入交叉注意力得分,从而在spot分辨率数据上实现单细胞分辨率学习。预训练采用掩码学习目标(掩码15%基因,以最小化均方误差为优化目标)。预训练语料来自CROST公共ST数据库的75个人类Visium数据集、432张组织切片,经配对单细胞参考解卷积生成约4.1×106个细胞类型分辨率样本,覆盖多种组织、发育阶段与疾病状态。评估采用微调、5折交叉验证、计算机模拟(in silico)扰動及Wilcoxon秩和检验(经FDR校正),数据来源包括心肌梗死Visium数据集、CosMx SMI人胰腺与肝癌数据、MERFISH人发育皮层数据及公开scRNA-seq基准数据集。

**三、研究结果**

**stFormer架构与预训练**。研究人员利用Transformer架构捕捉基因互作,以优化自监督掩码学习目标的预测精度;相较既往单细胞模型的关键改进是在Transformer块的自注意力模块后插入交叉注意力模块,以邻域细胞的配体基因计算注意力,从而将配体分泌与接收介导的细胞间通讯效应整合入胞内基因嵌入。

**stFormer改进批次去除与细胞聚类性能**。研究人员将0.5%的预训练样本作为测试数据,训练与测试损失均随样本量增加呈幂律衰减。在含8例患者与3例对照的公开scRNA-seq基准数据集上,于单细胞模式(关闭交叉注意力)下评估,UMAP可视化显示stFormer衍生细胞嵌入较scFoundation改善批次混合,ASWbatch更高,同时维持相当的细胞类型分离;微调后批次校正指标略有下降而细胞类型分离明显提升。在预训练未见的心肌Visium切片上,随预训练数据规模扩大,细胞嵌入的UMAP分离逐步清晰,归一化互信息(NMI)与调整兰德指数(ARI)与细胞类型注释的一致性提升,预训练结束(两个epoch)时NMI为0.941、ARI为0.961;以75个数据集中55个(约2.4×106样本、生物学多样性更低)预训练的模型表现持续较差、渐近性能更劣。微调后stFormer与scFoundation的NMI、ARI均提升,stFormer虽初始逊于scFoundation(预训练数据规模约4.1×106 vs 约50×106),但微调后最终反超。

**空间感知细胞嵌入提升细胞类型预测**。在覆盖逾18,000个基因、采用全转录组panel的人胰腺CosMx SMI单细胞ST数据上,以5折交叉验证在不同邻域半径设置下比较:stFormer-4.1M在所有设置下持续优于stFormer-2.4M与scFoundation,stFormer-2.4M在"最大邻域细胞数"超过15后反超scFoundation;该参数设为20时,stFormer-4.1M取得接近最优的中位准确率且方差较低,并在更多细胞类型上预测精度更优。在留出某一视野(FOV)的预测中,stFormer-4.1M总体准确率为88.6%,scFoundation为84.4%;占该FOV比例最大(63.6%)的acinar.1细胞,stFormer预测更准确的区域呈现相似的细胞类型空间分布模式。

**空间感知基因嵌入提升基因功能预测**。以TGF-β信号通路(MSigDB提供的KEGG基因集,排除外部信号基因)为例,在纤维化心肌Visium切片上以5折交叉验证预测基因是否属于该基因集,stFormer的中位ROC与PR曲线优于scFoundation,中位AUROC为0.90 vs 0.60、AUPRC为0.85 vs 0.65。对"TNF-α signaling via NF-κB"标志基因集的测试同样显示stFormer优于scFoundation,中位AUROC为0.93 vs 0.80,AUPRC为0.92 vs 0.81。

**计算机模拟扰动揭示配体-受体信号响应**。在缺血心肌Visium切片上,研究人员在心肌细胞内将WNT配体(WNT2B、WNT5B)与受体(FZD4、FZD5、FZD6)基因表达降至基线水平的三分之一。结果表明,单独或联合下调WNT配体与受体对WNT靶基因(Stanford Wnt homepage所列直接靶基因)的影响显著强于随机选取基因,而管家基因基本不受影响;配体与受体联合下调对WNT靶基因的影响显著强于单独下调配体或受体。

**利用stFormer获得生物学发现的案例研究**。案例一分析来自人发育皮层区域的MERFISH单细胞ST数据:stFormer衍生的细胞嵌入与细胞类型标签的一致性总体高于scFoundation;对每个空间邻域内的细胞嵌入取平均后进行空间细胞聚类,清晰揭示了皮层区域的分层结构,与真实层注释相比NMI与ARI更高,且该分层结构的刻画未使用任何组织学观察与细胞类型注释。案例二分析人肝癌免疫浸润区域的CosMx SMI数据,通过在计算机模拟中下调T细胞邻域内单个配体基因并计算扰动前后T细胞嵌入的皮尔逊相关系数(PCC)识别影响T细胞的配体,PCC越低表示影响越大;排名前10的配体基因中,前5位有4个编码MHC(主要组织相容性复合体)分子亚基,其中HLA-A与B2M分别编码MHC I类分子的重链与轻链,HLA-DRA与HLA-DRB1分别编码MHC II类分子的α链与β链;其他基因如VIM、GC、APOE、MIF曾被报道在肿瘤中抑制T细胞免疫。

**四、讨论与结论**

研究人员指出,为ST数据构建基础模型面临两大挑战:如何将空间信息纳入基因表达序列模型;如何容纳在分辨率与基因覆盖度之间存在权衡的不同ST技术。stFormer通过自注意力编码胞内基因互作、交叉注意力编码配体介导的细胞间互作,并借助偏置交叉注意力从细胞类型分辨率的Visium数据实现单细胞分辨率学习,兼容单细胞与spot分辨率ST数据。预训练后模型在多种任务上展现泛化能力:掩码基因预测体现对基因间关联的理解,细胞聚类表明汇集单细胞内基因嵌入可生成编码细胞状态的嵌入,批次效应去除亦得到验证,且预训练数据更高的生物学多样性可加速模型提升并提高其性能上限。尽管在spot分辨率Visium数据上预训练,stFormer仍可泛化至CosMx SMI、MERFISH等单细胞分辨率ST数据。研究局限在于预训练数据集规模仍相对有限,随着公共数据库ST数据量持续增长,特别是兼具单细胞分辨率与高基因覆盖度的ST技术发展,未来可构建更大规模预训练模型以获得更高泛化性能。

研究结论译文:总体而言,stFormer为空间转录组分析提供了一种多功能的工具。它从ST数据的预训练中习得通用知识,并将其迁移至特定ST数据以开展生物学探索。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号