《Engineering Applications of Artificial Intelligence》:Enhanced brain tumor segmentation for improved medical diagnosis via intuitionistic fuzzy normalized hypergraph cut
编辑推荐:
基于H&E染色图像和空间转录组数据的跨模态学习框架CrossToGene通过新型空间编码、双向跨模态注意力机制和空间差异引导对比学习,实现了更高精度的基因表达预测(PCC达0.38-0.45),并验证了其在肺癌、结直肠癌等跨癌症类型中的泛化能力。
马向宇|詹新科|胡宇涛|萧淑仪
澳门理工学院应用科学学院,人工智能驱动药物发现中心,中国澳门特别行政区
摘要
从组织病理图像中理解癌症的基因表达谱一直是癌症研究中的一个关键挑战,因为这在很大程度上受到对肿瘤微环境理解能力有限以及难以指导治疗决策的阻碍。空间转录组学技术的发展为我们在细胞分辨率下进行原位转录组学测量提供了可能,使我们能够将组织形态学信息与分子信息联系起来。然而,当前的方法往往难以共同解释不同的成像模式。为了解决这一差距,我们提出了一种基于深度学习的跨模态学习方法CrossToGene。其主要创新点包括:a) 一种新颖的空间编码方法,能够以集成方式捕捉组织的宏观结构和微观信息;b) 一种双向跨模态交互模块,用于从图像特征和基因表达模式中融合强特征;c) 对比学习,直接对齐视觉空间和分子空间。我们在三个癌症公共数据集上验证了CrossToGene的性能,其对于高表达基因的Pearson系数分别为0.4225、0.4523和0.3814,比第二佳性能高出5.6%–9.4%。重要的是,该模型在肺腺癌、结直肠癌和胰腺腺癌独立队列中表现出显著的泛化能力,使其成为阐明肿瘤微环境异质性和开发精准癌症治疗的强大候选方法。
引言
空间转录组学(ST)技术通过保留组织中的空间背景,实现了基因表达的革命性进展,并揭示了组织微环境中的细胞间异质性及其相互作用网络(Ge等人,2025年)。这一突破为癌症研究、发育生物学和神经科学开辟了新的方向(Zhao等人,2025年)。它在解析复杂的组织结构和疾病表型方面具有很高的信息价值。然而,大规模应用ST技术面临高昂的采集成本,这阻碍了临床研究;同时,处理大型数据集需要先进复杂的计算方法来整合空间信息和基因表达数据(Gulati等人,2025年;Wang等人,2025年;Cano-Besquet等人,2025年;Cooper等人,2025年;Ding等人,2025年;Guan等人,2025年)。
尽管空间转录组学技术带来了新的可能性,传统的组织病理学也有其优势(Chen等人,2025a)。H&E染色切片仍然是临床诊断的标准方法,因为其协议已经成熟(Ng等人,2025年),且成本较低,可在大多数诊所实施(Gu等人,2025年)。然而,H&E图像中缺乏直接的基因表达信息(Gao等人,2025年),这导致了形态学观察与分子知识之间的关键脱节,成为转化研究的主要障碍(Yan等人,2025年)。
随着深度学习的最新进展,现在可以直接从组织病理图像预测基因表达(Chen等人,2025b),通过规避ST技术的成本障碍,弥合了形态学和分子学之间的差距(Kueckelhaus等人,2024年)。为了全面分析该领域的最新技术进展和技术演变背景,我们对近年来发表的代表性工作进行了系统回顾——一方面关注最常用的框架,另一方面关注最新的突破性成果。基于六个指标(基本架构、注意力机制、特征提取方法、空间编码方法、基因表达预测方法和关键创新),我们制定了一个系统模型对比表(表1),更直观地展示了不同技术路径之间的差异以及该领域的逻辑演变。
尽管这些是重要的进步,但目前的方法仍存在一些根本性的缺陷,这些缺陷尚未得到解决,从而影响了临床应用:局部特征的分辨率较低,无法进行生物学解释;位置编码过于简化,无法量化复杂的组织拓扑结构(Yang等人,2025年);生物知识的利用不足,导致表达特征关系不对齐(He等人,2025年)。上述问题共同阻碍了开发出稳健且临床可用的解决方案的可能性,这个对比表也揭示了问题的本质:将形态学特征与分子特征关联起来是一个内在的复杂性,目前的方法尚无法通过复杂的跨模态学习程序来解决。虽然有一些方法专注于图像分析,但忽略了空间转录组学之间的相互作用,或者使用的方法过于简单,无法捕捉组织形态和基因表达之间的复杂关系。因此,需要一个端到端的框架,以实现可解释的多模态融合(Tan等人,2025年)。
为了解决上述问题,本研究提出了一种新的多模态融合模型CrossToGene,它结合了组织病理图像的形态学信息和空间转录组学数据,用于预测癌症的分子表型(Zhang等人,2025年)。该模型利用最先进的视觉变换器模型(ViT)和对比学习(Liu等人,2025a)来实现跨模态对齐和空间背景的整合。为了达到最佳性能和临床实用性,该框架构建了一个三阶段的全流程:首先通过特定的特征提取模块独立提取两种模态的核心信息,然后建立结合生物先验知识的注意力融合单元以实现跨模态信息交互,最后采用对比学习方法进行模型泛化学习,以提高对新组织类型和疾病条件下的基因表达预测能力。本文的主要贡献如下:
●新型ViT模型:开发了一种专为组织病理学设计的新型ViT模型,用于提取形态学特征,并进行了完整的端到端训练。同时保留了重要的空间背景信息,解决了以往方法在细胞特征分辨率方面的不足。
●改进的空间嵌入过程:我们提出的空间嵌入方法采用了一种新颖的位置编码策略,整合了组织特定的空间背景和细胞邻域数据。这种方法准确捕捉了传统2D编码无法表示的复杂组织拓扑结构,有效避免了其固有的简化问题。
●双向跨模态注意力模块:我们提出了一个双向跨模态注意力模块,具有自适应的注意力权重分配和双向信息传递机制,实现了图像模态和基因模态之间的准确对齐,反映了特征表达之间的生物学合理性,同时通过注意力权重的约束避免了过拟合。
●空间差异引导的对比学习策略:我们开发了一种空间差异引导的对比学习策略,借鉴了自监督学习的思想,最小化了不同空间位置特征表示之间的嵌入差异,从而提高了差异基因表达模式识别的准确性。
在这里,我们展示了可以直接从传统的苏木精和伊红(H&E)染色图像预测基因表达——只需基本的整张切片成像(WSI)系统和计算基础设施即可——为基因表达谱分析提供了实用且可行的解决方案。值得注意的是,这项研究为精准医疗应用提供了有力支持,包括个性化治疗方案的选择和预后评估。此外,形态学和分子信息的深度整合不仅有助于深入理解组织异质性,还发现了单模态方法无法发现的新生物标志物(Pacal等人,2025年;Tang等人,2023年;Du等人,2025年)。
本文的结构如下。第2节讨论了材料和方法,包括数据描述和预处理工作流程、CrossToGene的模型架构设计以及组织学图像注意力模块、基因信息注意力模块和双向跨模态交互框架的机制。第3节展示了详细结果,包括最终性能评估、与现有最佳技术的比较、消融测试和跨癌症的泛化能力检验。第4节讨论了本文的局限性及未来研究方向。
材料与方法
肿瘤内基因表达的异质性对于确定治疗反应和预后非常重要。高度变异的基因(HVGs)——在不同肿瘤区域或样本之间表现出显著差异的表达水平——可以指示肿瘤微环境分子的多样性,以及细胞行为功能的变化和潜在药物靶点的差异。因此,在这项工作中,我们重点关注...
硬件配置和计算环境
实验是在一台配备NVIDIA RTX 4090(24 GB VRAM)GPU、Intel Core i9-13900K CPU和64 GB DDR5 RAM的机器上进行的,并使用PyTorch 2.0.1、CUDA 11.8和Python 3.9.16进行编码。
CrossToGene超参数优化策略
我们采用了网格搜索和贝叶斯优化的结合策略来确定CrossToGene的最佳超参数配置。具体来说:
学习率调整:我们测试了学习率范围[1e-5, 1e-4, 1e-3, 1e-2],并结合了学习率衰减策略。
讨论
在本文中,我们开发了CrossToGene,这是一种创新的跨模态学习框架,用于结合组织病理图像诊断和基因表达预测。CrossToGene在三个数据集上表现出优越的性能,PCC(HEG)值分别为0.4225 ± 0.012(HER2+)、0.4523 ± 0.015(CSCC)和0.3814 ± 0.008(Alex_10x),优于现有方法。双向跨模态交互机制有助于病理图像和基因表达的融合。
CRediT作者贡献声明
马向宇:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,方法论,研究。詹新科:可视化,方法论。胡宇涛:撰写 – 审稿与编辑,研究。萧淑仪:撰写 – 审稿与编辑,监督,概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。
致谢
马向宇和詹新科获得了澳门理工学院的研究生奖学金。该项目还得到了澳门理工学院的支持,资助编号为RP/FCA-06/2024。资助方在研究设计、数据收集和解释,或决定提交论文发表方面没有发挥作用。作为马向宇的论文工作的一部分,本文可以通过s/c fca.313d.38a5.c.进行引用。