轻量级集成视觉变换器框架,用于胶质母细胞瘤的非侵入性生存预测
《Neurocomputing》:Lightweight ensemble vision transformer framework for non-invasive survival prediction in glioblastoma
【字体:
大
中
小
】
时间:2026年03月10日
来源:Neurocomputing 6.5
编辑推荐:
Yin Lin|多梅尼科·阿奎诺|朱塞佩·劳里亚|玛丽娜·格里索利|阿尔贝托·雷达埃利|里卡多·巴尔比埃里|西蒙娜·费兰特
米兰理工大学电子、信息与生物工程系,朱塞佩·庞齐奥路34号,米兰,20133,意大利
**摘要**
胶质母细胞瘤是最具侵袭性的原发性脑肿瘤,
Yin Lin|多梅尼科·阿奎诺|朱塞佩·劳里亚|玛丽娜·格里索利|阿尔贝托·雷达埃利|里卡多·巴尔比埃里|西蒙娜·费兰特
米兰理工大学电子、信息与生物工程系,朱塞佩·庞齐奥路34号,米兰,20133,意大利
**摘要**
胶质母细胞瘤是最具侵袭性的原发性脑肿瘤,其特点是进展迅速且预后不良。预测诊断时的总生存期(OS)可以帮助临床医生根据患者的具体风险水平制定治疗方案。传统方法通常依赖于肿瘤分割或基于自然图像的预训练模型,但这两种方法在可扩展性和临床实用性方面都存在局限性。在这项工作中,我们引入了GLiT-Net,这是一个基于视觉变换器(ViTs)的轻量级集成框架,仅使用MRI扫描和患者年龄即可进行OS分类,无需进行分割或外部预训练。为了解决数据稀缺问题,GLiT-Net在降维的MRI数据上运行,并利用目标数据增强策略来提高泛化能力。我们在BraTS 2020数据集上评估了该模型,选取了118名经过完全切除术的胶质母细胞瘤患者。生存时间通过百分位数阈值被划分为三个平衡的类别。我们的集成框架整合了十个紧凑型ViT模型的预测结果,这些模型是在重复嵌套交叉验证方案下训练的。GLiT-Net的平均测试准确率为70.3%,F1分数为68.7%,优于文献中报告的最高准确率(65%)。该模型在图像分辨率降低和数据可用性受限的情况下仍保持了预测能力。这些发现强调了使用简化的基于ViT的架构进行无分割、非侵入性生存预测的可行性。虽然外部验证和整合额外的临床或分子特征是未来的研究方向,但GLiT-Net为胶质母细胞瘤的自动化风险分层提供了一个实用且有效的解决方案。
**1. 引言**
胶质母细胞瘤是中枢神经系统中最常见和最具侵袭性的原发性肿瘤,中位生存时间在10到15个月之间,由于长期生存者数量较少,生存时间分布呈正偏态[1]。尽管外科切除、放疗和化疗取得了进展,胶质母细胞瘤患者的预后仍然较差,治疗计划仍然是一个重大的临床挑战[2][3]。在这种情况下,在诊断时预测总生存期(OS)非常重要,因为它可以帮助临床医生根据患者的具体风险状况制定治疗策略[4]。OS预测可以通过侵入性和非侵入性方法来实现。侵入性方法包括肿瘤活检和组织病理学或分子分析[5][6],而非侵入性方法则利用人工智能(AI)引擎,后者由于快速发展而受到了关注。基于此背景,机器学习和深度学习算法被广泛用于使用标记的磁共振成像(MRI)扫描、临床数据或学习到的特征进行OS预测[7]。我们的研究属于非侵入性范式,特别关注使用MRI扫描作为生存预测的信息输入数据。
现有的基于MRI的OS预测方法可以大致分为两种主要策略[8]。第一种策略依赖于多阶段流程,包括肿瘤分割,随后进行手工制作或学习到的特征提取和分类。虽然这种方法可以获得有竞争力的性能,但其可靠性严重依赖于分割步骤的准确性,这可能导致错误传播并限制了可扩展性。第二种策略直接将深度学习模型应用于原始MRI数据,通常利用在大型自然图像数据集上预训练的网络。尽管有效,但这种方法本质上受到了自然图像和医学成像数据之间的结构差异的限制。在自然图像中,RGB通道在空间上是对齐的,每个通道对对象识别的贡献是相似的。相比之下,MRI数据由多个切片组成,每个切片代表不同的解剖平面,切片间的信息并非以相同的方式冗余。因此,在自然图像数据集上训练的模型可能无法捕捉MRI数据的3D结构复杂性和模态特定特征。视觉变换器(ViTs)最近作为卷积架构的强大替代方案出现,展现了强大的表示能力。然而,标准ViT模型已知对数据需求高且计算要求大[9],这使得它们直接应用于小型医学成像数据集变得具有挑战性。因此,一些研究[49]开始探索轻量级变换器架构,以减少数据需求,即使在数据有限的情况下也能获得有竞争力的性能。
鉴于上述方法的局限性,显然需要一种能够直接从有限数量的MRI扫描中预测OS的方法,而不依赖于肿瘤分割或在自然图像上预训练的模型。为了解决这些挑战,我们之前介绍了一个简化的视觉变换器(ViT)模型,取得了尖端的结果[10]。在此基础上,我们提出了GLiT-Net,这是一个基于ViT范式的轻量级且性能高的集成框架。我们方法的核心思想简单直观:我们降低了输入数据的维度和复杂性,以及预测模型本身的复杂性。我们的主要贡献如下:
- 我们证明了即使数据集相对较小,ViT也可以有效用于MRI数据的OS预测。
- 我们展示了通过基于样条的插值获得的低分辨率体积MRI表示可以保留足够的预后信息,用于自动OS预测。
- 我们提出了一个无分割、对比度不变的集成框架,能够在MRI序列中提供稳健的性能,提高了实用性。
**2. 背景和相关工作**
2.1. 基于MRI的胶质母细胞瘤总生存期预测
大量研究专注于使用基于MRI的特征来预测胶质母细胞瘤患者的OS,特别是在BraTS挑战框架内开发和评估的方法。大多数现有方法遵循上述多阶段流程,首先对肿瘤进行分割,然后提取大量放射组学或深度特征并输入到经典机器学习模型中。例如,Patel等人[11]使用主成分分析(PCA)作为预处理步骤进行降维。Chaot等人[12]研究了使用线性分类器进行生存预测,准确率为55.1%。大部分文献倾向于使用基于集成模型的方法,如随机森林[13][14][15][16][17][18]和轻量级梯度提升分类器[19][20],这些方法的测试准确率通常在45%到62%之间。只有少数研究探索了使用相对简单的深度神经网络作为分类器,最高准确率为62%[21][22]。随后,一些研究尝试通过采用在自然图像上预训练的深度学习模型直接从MRI扫描中提取特征,从而消除了对显式肿瘤分割的需求。这些表示随后用于生存预测,实现了有竞争力的性能,报告的测试准确率高达0.65[23]。最近的工作探索了基于视觉变换器的架构来完成这一任务。具体来说,Gomaa等人[24]使用自监督学习对高维MRI数据进行编码,并通过交叉注意力机制整合成像和非成像信息。相比之下,Lin等人[10]采用了完全监督的训练框架。
2.2. 在缺失MRI模态下的学习
由于不同成像序列提供的互补解剖和病理信息,多模态MRI被广泛用于脑肿瘤的分割和预后预测。然而,许多深度学习方法假设所有模态都可用,这一假设在真实临床场景中经常被违反。这一限制促使人们开发了处理缺失模态的学习策略,这些策略大致可以分为三个主要方向。第一种方向采用暴力策略,例如mmFormer[25],其中模型使用所有可能的模态组合进行训练,以推断任意缺失模态配置下的情况。第二种方向专注于学习跨模态不变的或共享的潜在表示,以捕获跨模态的通用语义信息。Havaei等人[26]引入了一个异模态框架,其中模态特定的编码器独立提取特征,然后通过统计融合获得统一表示。后续的工作通过解耦策略显式分离模态共享和模态特定组件,并选择性地融合它们以用于下游任务[27][28]。Ding等人[29]进一步提出了一种区域感知的门控融合机制来加权每种模态的贡献。同样,Diao等人[30]采用双编码器架构来提取模态依赖和模态不变的提示,然后将其聚合用于分割。相关原则也在模态适应特征交互模型[31]和双解耦网络[32]中进行了探索。此外,Zhou等人[33]通过模态特定的特征融合模块结合空间和通道融合模块整合了来自不同模态的信息,而Xiao等人[34]使用增强了先验和动态特征融合模块的3D U-Net来解决缺失模态问题,该模块模拟了模态间和模态内的交互。第三种方向通过合成缺失的MR序列来解决缺失模态问题。早期方法依赖于变分自编码器来学习跨模态映射[35],或利用对抗学习策略[36]。更现代的方法通过对比学习[37]来提高合成质量和语义一致性。
**3. 材料和方法**
本节首先介绍了所提出方法设计的动机,接着是3.2 数据集、3.3 预处理和增强,描述了数据集以及采用的数据预处理和增强程序。3.4 模型架构、3.5 模型训练和调优、3.6 模型验证框架,然后介绍了模型架构、调优策略以及训练和评估程序。最后,3.7 年龄相关分析、3.8 序列级错误分析、3.9 消融实验描述了所进行的不同消融分析。
**3.1. 动机**
在医学图像分析中,高容量深度学习模型的适用性常常受到数据可用性有限的制约,这在研究像胶质母细胞瘤这样的罕见疾病时尤为关键。在这种情况下,轻量级模型代表了更可行的选择,尽管表达能力有所降低。为了在数据稀缺的情况下促进学习,有必要在保留任务相关信息的同时简化输入空间。我们采用了一种基于激进插值的直接降维策略来简化输入空间,而不是依赖于手工制作的特征或深度表示学习。这种选择旨在减少输入复杂性和计算成本,而不引入额外的模型参数。由于单个轻量级模型的能力有限,我们进一步采用了基于多个轻量级视觉变换器的集成架构。通过聚合多个弱学习者的预测结果,所提出的方法提高了鲁棒性和泛化能力,同时保持了低计算需求。在将年龄纳入模型之前,我们进行了探索性分析,以检查其在三个生存类别中的分布情况。使用Wilcoxon秩和检验对类别之间的配对进行了比较,以评估年龄是否应被视为一个相关的协变量。3.3. 预处理和数据增强所有MRI扫描已经使用了标准的BraTS流程进行了处理,以提高数据集的一致性和均匀性,这包括重新定位、与SRI24解剖模板的空间对齐以及颅骨剥离[38]。深度学习算法旨在处理原始信号和图像,因为它们能够将数据投影到高维空间中,即使在噪声存在的情况下也能学习到强大的特征[41]。这种方法依赖于大型数据集的可用性,这些数据集也代表了现实世界的情景。在生物医学领域,大型、带有注释的数据集的稀缺性是一个重大挑战[42],因此减少输入信号的复杂性(例如,通过减少图像噪声)和它们的维度对于增强模型的泛化能力至关重要。作为第一步,我们对每个MRI应用了非局部均值(NLM)滤波器以提高信噪比(SNR)。MRI体积通常包含大量的背景区域(零强度体素),并且以非常高的分辨率存储,这对于临床检查很有用,但对于自动处理来说并不理想。然后,我们进行了中心裁剪以移除背景区域,并将体积大小从240240155减小到505032,这样就可以保留对自动生存预测有信息量的全局结构和强度模式。为了在体积重采样过程中避免引入过多的平滑伪影,我们优先选择了一阶样条插值而不是更高阶的样条方法[50]。插值是使用SciPy库中的函数实现的[51]。鉴于数据集的大小较小,我们应用了数据增强。从90名训练受试者(360个MRI)中随机抽取了1000个实例,并进行了替换。每个样本都经历了最多三种变换,每种变换的概率为0.5:随机缩放(比例在1.1到1.5之间)、随机平移(沿三个空间轴最多15个体素)和随机旋转(在0到360度之间)。因此,每个样本至少有87.5%的概率经历一种变换。这一步将训练集扩展到了1360个MRI体积,增强了模型对变化的鲁棒性[43]。整个预处理流程和数据增强在图1中展示。下载:下载高分辨率图像(451KB)下载:下载全尺寸图像图1. 提出的GLiT-Net流程概述:MRI体积首先经过预处理,然后在一个紧凑的Vision Transformer模型下进行训练,该模型在重复的嵌套交叉验证中进行训练。最终预测是通过集成策略获得的。3.4. 模型架构所提出的模型架构由三个关键部分组成。首先,卷积神经网络(CNN)作为特征提取器,将输入的MRI体积分割成空间块,同时学习局部特征表示。这种策略用更丰富、更具表现力的编码方式替换了传统的块平铺方法[44]。得到的块级特征与一个可训练的[CLS]令牌连接起来,并通过逐元素相加与位置嵌入矩阵结合。然后,这个组合序列由一个为数据有限情况特别设计的紧凑型Vision Transformer(ViT)主干网络处理[45]。之后,现在编码了输入体积整体表示的变换后的[CLS]令牌与受试者的年龄(一个临床相关变量)连接起来[46]。这种设计允许模型同时考虑MRI成像的视觉模式和临床信息,以进行OS预测。这种融合策略是模块化的,可以根据需要轻松扩展以包括额外的临床或分子特征,如治疗相关变量或遗传生物标志物。最终的特征向量通过一个全连接的多层感知器(MLP),输出三个预定义生存类别的概率分布。图2展示了单个GLiT-Net模型的架构。由于在85%的数据集上采用了10折重复交叉验证方案,因此训练出了10个略有不同的ViT模型。它们的输出(三类 logits)被平均起来,以产生最终的预测,确保了更稳定和更泛化的性能。下载:下载高分辨率图像(582KB)下载:下载全尺寸图像图2. GLiT-Net框架的示意图。结构突出了用于块级特征提取的初始卷积模块和随后处理结果序列的Transformer编码器。3.5. 模型训练和调优通过监控训练和验证损失曲线并采用提前停止机制[41]、[48]来优化模型权重。优化器固定为Adam[47]。同时,超参数调整过程从一个标准的Vision Transformer架构开始,并逐步减少了其复杂性。这种减少涉及调整关键参数,如变换器的层数、嵌入维度、注意力头数和丢弃率。本工作的主要目的不是提出一个新的变换器架构,而是开发一个在数据有限和计算资源有限的情况下用于整体生存预测的轻量级实用框架。因此,我们没有进行耗时的网格搜索,因为那样在计算上代价高昂,并且鉴于数据集大小有限,可能会导致过拟合的风险增加,而是仅探索了与输入分辨率50x50x32相符合的轻量级模型配置。混合CNN–Transformer架构在医学成像应用中被广泛采用。著名的例子包括nnFormer[52]和Swin-UNETR[53],其中卷积特征提取先于或补充了基于变换器的全局建模,支持了本工作中采用的架构选择。3.6. 模型验证框架为了确保对所提出框架的评估具有鲁棒性和无偏见,我们采用了重复的嵌套交叉验证策略。这种评估协议在伪代码1中进行了总结,旨在最小化由于数据划分引起的变异性,并防止训练集、验证集和测试集之间的信息泄漏。整个评估流程使用不同的随机种子重复了五次,以评估不同分割下的性能稳定性。对于每次重复,数据集在患者级别被划分为训练/验证(85%)和测试(15%)集。最终性能指标以五个独立测试集的平均值±标准差的形式报告。在训练阶段,我们实施了重复的10折交叉验证方案。在每个折叠中,模型在特定的训练子集上训练,并在相应的验证部分上进行验证。选择了验证性能最高的模型检查点并保存下来。这个过程产生了十个不同的模型,它们都具有相同的架构,但由于训练数据分割的不同而略有不同权重。对于最终预测,十个模型生成的原始类别分数(logits)被平均起来,并通过argmax函数选择了与最高平均分数相关联的类别。这个过程的概述在图1中说明。然后在保留的测试集(15%的数据)上评估了这个集成输出,该数据在训练和验证期间都是完全未见的。整个过程使用不同的随机种子重复了五次,以确保鲁棒性并最小化数据划分的偏差。模型性能使用标准的多类分类指标在保留的测试集上进行评估,特别关注准确性、精确度、召回率和F1分数。对于每个MRI图像,模型输出属于三个类别之一的预测:类别0表示长期生存,类别1表示中期生存,类别2表示短期生存。算法1 重复嵌套交叉验证和性能评估3.7. 年龄相关性分析为了分析年龄(数据集中唯一的临床变量)的影响,并评估其在总体生存方面的预测能力,进行了专门的统计分析。首先使用Kruskal–Wallis检验评估了不同生存类别之间的年龄差异。当观察到显著效果时,使用Wilcoxon秩和检验进行了事后配对比较,并应用了Holm–Bonferroni校正来控制多重检验。随后,为了评估年龄在监督分类设置中的预测能力,实现了几种临床应用中常用的机器学习模型:逻辑回归、支持向量分类器、k-最近邻分类器、决策树分类器、随机森林、朴素贝叶斯分类器和XGBoost。在所有情况下,患者年龄是唯一的输入变量。模型使用与所提出的模型相同重复嵌套交叉验证流程进行训练和评估,以确保公平和 methodologically 一致的比较。然后使用Wilcoxon符号秩检验对不同模型之间的配对比较进行了性能比较,并使用Holm–Bonferroni方法进行了p值校正。3.8. 序列级错误分析为了评估模型的对比度不变性,在完成五次嵌套交叉验证测试后,我们分析了在受试者和序列级别上的错误分类。对于每次测试,记录了每个MRI体积(FLAIR、T1CE、T1、T2)的预测和真实标签,并保存在单独的文件中。然后,我们确定了每个受试者的哪些序列被错误分类,并计算了错误在序列类型之间的分布。此外,我们应用了卡方检验来确定MRI权重分配的错误分布是否偏离了均匀模式。这种分析使我们能够评估每个序列对整体性能的贡献,并确认了模型即使在只有一个序列可用时也能有效运行,而无需全部四个标准MRI序列。3.9. 消融实验进行了几项消融实验,以证明所提出的框架中关于输入分辨率和数据增强百分比的设计选择是合理的。特别是,这些实验旨在评估这些组件对模型性能的影响,同时保持整个训练和评估流程不变。关于空间分辨率,使用更高的输入分辨率100x100x64体素重新进行了整个流程,这与所提出的配置(50x50x32)相比,体积大约增加了四倍。这一选择是基于胶质瘤和母细胞瘤分割文献中的常见预处理实践,其中MRI体积经常被裁剪或重采样为标准化大小,如[32]、[33],甚至更紧凑的配置(例如,80x80x80体素[29])。因此,比较的设计是为了评估更激进的空间分辨率降低是否会影响模型的预测能力。关于数据增强策略,考虑了两种与所提出配置不同的情况。在第一种情况下,整个流程在不应用任何数据增强的情况下执行,仅使用原始可用样本。在第二种情况下,采用了总的数据增强策略,其中每个训练样本总是经历三个几何变换的顺序应用,相应的变换概率为100%。这些实验旨在分析不同级别的数据扰动效果,并验证过于激进的增强是否可能对模型的泛化能力产生负面影响。4. 结果和分析4.1. 年龄相关性分析我们分析了患者年龄在三个生存类别中的分布,以评估其与总体生存的关联。类别0的平均(中位数)年龄为57.13(57.12)岁,类别1为61.48(60.73)岁,类别2为68.20(69.49)岁,显示出从长期生存者到短期生存者的明显增长趋势。首先使用非参数Kruskal–Wallis检验评估了不同生存类别之间的年龄分布差异。分析显示生存类别对年龄分布有统计学上的显著影响(),表明三组之间存在差异。随后使用Wilcoxon秩和检验进行了事后配对比较,并应用了Holm–Bonferroni校正来控制多重检验。校正后,观察到类别0和类别2之间()以及类别1和类别2之间()有统计学上的显著差异,而类别0和类别1之间没有显著差异。同时,在年龄调整后的分类实验中,如表1所报告的,仅依赖年龄的模型获得了有限的预测性能,平均准确率在33.9%到42.2%之间。表1. 年龄调整后的临床基线模型与所提出的框架在总体生存预测方面的比较。基线方法仅依赖于患者年龄,而所提出的模型结合了MRI(50x50x32)和年龄。各项指标是通过重复的嵌套交叉验证得到的平均值,包括类别级的精确度、召回率、F1分数和总体准确率(均值和标准差)。方法如下:
| 方法 | 精确度 | 召回率 | F1分数 | 总体准确率(均值和标准差) |
|------------|----------|---------|---------|-----------------|
| 决策树分类器 | 0.33 | 0.31 | 0.58 | 0.52 |
| 朴素贝叶斯分类器 | 0.42 | 0.37 | 0.48 | 0.38 |
| KNN分类器 | 0.34 | 0.28 | 0.53 | 0.33 |
| 逻辑回归 | 0.38 | 0.12 | 0.45 | 0.05 |
| 随机森林 | 0.28 | 0.29 | 0.49 | 0.33 |
| 支持向量分类器 | 0.40 | 0.04 | 0.49 | 0.73 |
| XGBoost | 0.29 | 0.31 | 0.55 | 0.35 |
| 提出的方法 | 0.66 | 0.79 | 0.71 | 0.43 |
## 消融分析结果
消融分析是在两个维度上进行的:输入分辨率和数据增强水平。对于分辨率研究,提出的配置(50x50x32,部分增强)获得了70.3%的平均准确率(误差2.3%),而更高分辨率的设置(100x100x64,部分增强)也获得了68.6%的平均准确率(误差0.8%)。这表明提高输入分辨率并没有为总体生存预测提供明显的性能优势。关于数据增强,所有实验都是使用50x50x32的输入分辨率进行的。提出的中等增强策略(87.5%的概率)获得了最高的平均准确率(70.3%误差2.3%)。相比之下,不进行数据增强的训练和完全进行数据增强(100%的概率)分别获得了65.3%(误差5.3%)和66.4%(误差7.7%)的平均准确率。这些结果表明,中等程度的增强在增加数据多样性和保持信息空间结构之间提供了良好的平衡。
表2报告了所有配置下的类别级精确度、召回率和F1分数的更详细结果。
## 提出方法的结果
在对五个独立的训练和测试集分割重复整个流程后,我们方法的各项性能指标均以平均值的形式呈现。具体来说,GLiT-Net在类别0、1和2上的平均精确度分别为0.66(误差0.09)、0.79(误差0.12)和0.71(误差0.03)。相应的召回率分别为0.79(误差0.08)、0.43(误差0.09)和0.88(误差0.07),F1分数分别为0.72(误差0.08)、0.55(误差0.08)和0.79(误差0.04)。总体而言,GLiT-Net实现了0.70的宏观平均准确率、0.72的宏观平均精确率、0.70的宏观平均召回率和0.69的宏观平均F1分数,表明在各个生存类别上的性能平衡。
图3展示了GLiT-Net与代表性无分割方法在BraTS 2020数据集上的分类性能比较。该图表报告了三个生存类别的宏观平均值。
## 序列级分析结果
我们分析了MRI序列和个体受试者之间的误分类情况。卡方检验确认错误在FLAIR、T1CE、T1和T2序列中均匀分布(p=0.313,α=0.958),表明模型的误分类不是由序列类型驱动的。大多数误分类发生在同一受试者的多个序列中,表明错误主要是受试者特定的。这些发现支持了GLiT-Net的对比度不变特性,表明预测错误更多依赖于个别案例,而不是特定的MRI权重。
## 讨论
在这项研究中,我们开发了一个简单的框架,用于预测受胶质母细胞瘤影响受试者的总体生存(OS),使用MRI图像结合年龄信息,无需手动肿瘤分割或对自然图像进行预训练。我们的方法在一个公共数据集上进行了评估,并与文献中的主要方法进行了比较,显示出更好的性能。首先,我们观察到年龄与短期生存显著相关,但在区分长期和中期生存组方面的区分能力有限。这一发现与先前的研究一致,即年龄是胶质母细胞瘤患者总体生存的一个重要但不足的预后因素[46]。从临床角度来看,GLiT-Net的引入为改善胶质母细胞瘤患者的管理提供了有价值的基础。该框架的一个关键优势是不需要肿瘤分割,从而解决了实际应用中的一个主要障碍。在临床实践中,MRI扫描很少伴有分割,尽管有几种自动分割工具可用,但它们的结果通常需要专家的手动校正,这非常耗时。此外,在训练过程中,每个MRI序列都被视为一个独立的样本。这使得模型即使在只有一个序列可用时也能运行。结果还表明,模型的错误主要是受试者特定的:同一患者的序列通常要么全部正确分类,要么全部错误分类。这表明GLiT-Net依赖于在不同对比度下都具有通用性的特征,而不是依赖于特定序列的信息。这种独立于对比度运行的能力证实了模型的鲁棒性,并增强了其临床实用性,使其适用于异构数据集和非标准化的采集协议,这在常规临床实践中很常见。
从更技术的角度来看,我们的工作表明,基于Vision Transformer的模型也可以在数据量有限的情况下使用,例如在罕见肿瘤的情况下。尽管ViTs需要大量数据进行有效训练,但我们通过简化架构和降低输入维度,仍然可以获得良好的结果。此外,我们观察到模型甚至可以从显著减少的MRI体积中学习到有用的表示。这种分辨率的降低在临床设置中可能会影响人类解释,但并不影响模型的性能。这表明对于自动系统而言,表示的质量可能比原始分辨率更重要,可能在速度和计算资源使用方面具有潜在的优势。
这项工作也存在一些局限性。整个过程仅在BraTS 2020数据集上进行了验证。尽管我们应用了重复的嵌套交叉验证,但我们不能排除在不同扫描仪或协议下获得的外部数据上性能可能会变化。特别是,将在未经预处理的图像上测试模型,其中TR、TE、磁场强度或扫描仪品牌等参数可能会显著变化。只有通过更大的、更多样化的数据集进行训练和测试,才能真正评估模型的鲁棒性和泛化能力。一旦通过更广泛的数据集解决了这些局限性,就可以更有效地探索可解释性。由于提出的方法基于包含注意力机制的Transformer架构,可视化相应的权重分布将允许生成热图,突出显示对模型预测贡献最大的图像区域。另一个局限性是缺乏额外的临床和分子信息,例如接受的治疗类型、术后患者的生活方式或相关的遗传-分子标记物,如IDH和MGMT。这些变量已知会对生存产生显著影响,但不能仅从MRI图像中直接推断出来。因此,仅依赖成像数据进行预测可能无法完全捕捉每个受试者的预后复杂情况。将来将这些信息整合进来可以进一步提高模型的准确性和可靠性。此外,研究仅限于接受完全切除手术的患者。这一选择减少了与手术范围相关的预后混淆因素,但同时也限制了所提出框架的适用性,仅限于特定的临床亚组。
### RediT作者贡献声明
- Yin Lin:撰写——审阅与编辑、撰写——原始草案、验证、方法论、调查、形式分析
- Domenico Aquino:撰写——审阅与编辑、监督、概念化
- Giuseppe Lauria:撰写——审阅与编辑
- Marina Grisoli:撰写——审阅与编辑
- Alberto Redaelli:撰写——审阅与编辑、项目管理
- Riccardo Barbieri:撰写——审阅与编辑、监督、项目管理、概念化
- Simona Ferrante:撰写——审阅与编辑、可视化、监督、资源管理、项目管理、概念化
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号