基于三联体训练视觉Transformer的下丘脑-垂体类器官明场图像分化质量评估

《Applied Sciences》:Triplet-Trained Vision Transformer for Assessing Hypothalamic–Pituitary Organoid Differentiation Quality from Bright-Field Images

【字体: 大 中 小 】 时间:2026年11月21日 来源:Applied Sciences 2.5

编辑推荐:

  类器官分化为明确目标细胞群体的显著变异性,要求在下丘脑-垂体(hypothalamic–pituitary)类器官分化早期进行客观、无损的质量评估,以支持基于类器官的治疗策略。研究人员提出一种三联体训练的视觉Transformer(Triplet-Traine

类器官分化为明确目标细胞群体的显著变异性,要求在下丘脑-垂体(hypothalamic–pituitary)类器官分化早期进行客观、无损的质量评估,以支持基于类器官的治疗策略。研究人员提出一种三联体训练的视觉Transformer(Triplet-Trained Vision Transformer, Triplet-ViT),利用包含1500张明场(bright-field)图像的公开数据集预测下丘脑-垂体类器官的分化结局,并将其性能与EfficientNetV2-S及二者50:50集成模型进行比较。Triplet-ViT还在独立的300张图像测试集上,在十组随机种子下与匹配训练条件的仅交叉熵(cross-entropy, CE)ViT进行比较。Triplet-ViT达到70.57%的准确率,仅CE ViT为71.0%。对于类别C(代表分化不良、被视为可早期排除继续培养候选的类器官),Triplet-ViT的召回率为81.5%,仅CE ViT为80.7%。EfficientNetV2-S和集成模型的准确率分别为74.07%和74.00%。Triplet-ViT与EfficientNetV2-S的50:50集成在类别C上取得83.80%的召回率,高于单独EfficientNetV2-S的82.50%。先进的基于图像的深度学习,包括三联体训练模型及其集成,可能支持类器官分化的无损、标准化评估,但在更广泛临床应用前,仍需在多样化细胞系和类器官系统中进行独立验证。
**研究背景与问题** 多能干细胞(pluripotent stem cells)具有无限自我更新能力并可分化为人体几乎所有细胞类型,由其衍生的类器官(organoids)是体外生成的3D自组织组织结构,可重现对应人体器官的关键结构与功能特征,已日益用于疾病建模、药物筛选、毒性测试及再生与细胞治疗开发。然而,基于类器官的治疗向临床转化仍需在生产标准化、安全性保障和治疗有效性确立方面取得进展。成功的干细胞治疗需要明确的目标细胞群体以及一致、高效地向目标谱系分化,但分化结局可因细胞系、培养批次、培养基组成和实验条件而产生显著变异。在类器官培养中控制这种变异性尤为关键,因为类器官不仅需形成预期3D结构,还需获得并维持器官特异性功能特性。若仅在长期培养后才检测到分化不足或异常,则可能已消耗大量培养基、试剂、人力和时间,因此分化质量的早期可靠评估对干细胞与类器官生产的质量控制十分重要。类器官分化的视觉评估存在观察者间变异,凸显了对更客观、标准化和定量评估方法的需求。人工智能(artificial intelligence, AI)已应用于干细胞与类器官研究的细胞表征、分化评估和药物反应分析,基于图像的机器学习可支持对细胞与集落形态及细胞密度时间变化的无损监测,但数据质量、培养与成像变异性以及任务无关相关性仍是挑战,细胞系、细胞状态和类器官形态的异质性可能进一步限制模型的泛化性和跨实验系统的可迁移性。Asano等开发了利用明场图像预测下丘脑-垂体类器官分化结局的深度学习模型,将第30天视网膜和前神经褶同源盒(retina and anterior neural fold homeobox, RAX)表达确定为分化质量的早期标志物,因为高RAX表达的聚集体随后在第100天表现出更适合移植的垂体功能;基于RAX::VENUS报告细胞中RAX阳性区域定义的三个类别,EfficientNetV2-S、ViT及其集成的分类准确率分别为67.3%、65.7%和70.0%,专家为46.7–60.0%;对于分化不良聚集体(类别C),EfficientNetV2-S的敏感度为83.0%、特异度为89.0%,专家敏感度为56.0–73.0%、特异度为84.0–86.0%。从生物学和治疗角度,准确识别类别C类器官尤为重要,因为早期分化阶段低RAX表达与随后促肾上腺皮质激素(adrenocorticotropic hormone, ACTH)分泌能力降低相关,早期识别这些分化不良类器官有助于指导继续培养的决策,此类筛查应在识别分化潜能有限的类器官的同时尽量减少对可能有用类器官的不必要排除。本研究开发了Triplet-ViT模型,利用具有基于RAX表达类别标签的第30天明场图像公开数据集对下丘脑-垂体类器官分化质量进行分类,该模型将CE分类与半困难三联体学习(semi-hard triplet learning)相结合,以促进学习特征空间中不同类别图像的分离,并与匹配训练和验证条件下的仅CE ViT比较以评估三联体学习的贡献,同时评估EfficientNetV2-S和等权重概率集成以比较分类性能和错误分布,评价中兼顾整体性能以及遗漏类别C类器官与将类别A或B类器官误分类为类别C之间的平衡。

**关键技术方法** 研究采用公开的Asano等发布的明场图像数据集,含1500张源自RAX::VENUS报告人胚胎干细胞的第30天下丘脑-垂体类器官明场图像,保留原始1200张训练集和300张测试集划分;训练集内进行五折交叉验证,并在十组随机种子下重复匹配比较。模型方面,Triplet-ViT以预训练ViT-Small为编码器(16×16像素图块),结合CE分类与半困难三联体学习,采用类别平衡小批次采样、L2归一化和余弦距离进行批内三联体挖掘,联合损失中三联体权重λ=0.0025、边界m=0.10;EfficientNetV2-S作为卷积对比模型;并以仅CE ViT作为匹配对照,另设像素级多层感知机(multilayer perceptron, MLP)和小型卷积神经网络(convolutional neural network, CNN)简单基线。推理时对各架构五折模型概率取平均,集成采用等权重概率平均;评价指标包括准确率、宏F1、类别C召回率、精确率、特异度、F1、混淆矩阵及ROC曲线下面积(area under the curve, AUC)。

**研究结果** 3.1 测试集分类性能:在300张图像测试集上,十种子下Triplet-ViT平均准确率为70.57±1.09%、宏F1为70.56±1.05%,较既往报道的同基准ViT准确率65.7%高4.87个百分点;MLP和小型CNN准确率分别为58.67%和68.67%,宏F1分别为57.74%和67.81%;EfficientNetV2-S类别C召回率为82.50±3.57%,其与Triplet-ViT的50:50集成达83.80±2.20%,集成类别C F1略高(85.16%对85.04%)但精确率和特异度较低,二者准确率分别为74.07±1.11%和74.00±1.33%。3.2 类别特异性性能与判别力:混淆矩阵显示各模型在遗漏类别C与误判为类别C之间的平衡不同,100张类别C测试图像中仅CE ViT平均正确分类80.70张(C→A错误4.00、C→B错误15.30),Triplet-ViT为81.50张(4.10、14.40),EfficientNetV2-S为82.50张(3.30、14.20),集成为83.80张(4.20、12.00),所有模型中C→B错误均多于C→A错误;仅CE ViT和Triplet-ViT平均分别将14.50和16.50张A或B图像误判为C,EfficientNetV2-S为11.50张,集成为13.00张;类别B在四个模型中召回率最低。ROC分析中集成在类别A和B取得最高平均AUC(0.9020和0.8072),类别C的AUC以EfficientNetV2-S略高(0.9589),集成、仅CE ViT和Triplet-ViT分别为0.9583、0.9485和0.9486;以训练集折外(out-of-fold, OOF)概率在90.0%特异度目标下选阈值时,Triplet-ViT测试类别C召回率数值上高于仅CE ViT(86.50%对86.00%),该优势依赖工作点,在92.5%目标下二者分别为82.20%和82.60%,类别C平均精确率相近(0.9222对0.9225)。3.3 三联体目标消融研究:训练集内五种子交叉验证中,仅CE ViT与Triplet-ViT平均准确率分别为70.92±1.17%和71.00±1.35%,宏F1分别为71.09±1.17%和71.06±1.39%;类别C召回率由77.45±2.46%升至80.15±2.02%(平均配对增加2.70个百分点),C F1由81.37±1.17%升至82.39±1.31%,五个种子均升高,同时C精确率与特异度下降;遗漏类别C的减少主要与C→B错误减少相关(由73.0±8.5降至62.0±9.2/次交叉验证运行),C→A错误基本不变。十种子测试集匹配比较中,Triplet-ViT平均C召回率为81.50±2.01%,仅CE ViT为80.70±2.36%,但平均准确率、宏F1和C F1略低,C召回率差异的配对图像自助法95%置信区间为?0.20至2.00个百分点并包含零。3.4 训练诊断与超参数敏感性:十种子下Triplet-ViT的CE损失轨迹与仅CE ViT相似,训练三联体损失下降但非零,半困难挖掘活动持续存在;仅用训练集的敏感性分析中,λ=0.0025、边界0.05在测试的正权重中取得最高平均宏F1并在三个后续种子中超过匹配的仅CE ViT,但平均C召回率较低,该权重下边界0.1的C召回率高于边界0.05并满足确认标准。3.5 附加敏感性与图像检查:训练-测试图像重叠筛查未发现相同文件、相同解码像素图像或符合标准的近重复候选;单种子归一化分析中Triplet-ViT准确率下降小于仅CE ViT,而EfficientNetV2-S准确率上升;三图像单种子掩膜检查中两个模型均使类别A示例由正确转为错误,B示例保持错误、C示例保持正确;在三种子共同训练方案下Triplet-ViT取得最高数值平均C召回率,但平均准确率、C精确率、特异度和C F1低于仅CE ViT和EfficientNetV2-S。

**讨论与结论** 讨论部分指出,与既往报道模型相比,Triplet-ViT、EfficientNetV2-S及其集成取得更高的平均整体分类准确率,三者均优于MLP和小型CNN基线的C精确率和宏F1;十种子对照测试中Triplet-ViT的类别C平均召回率数值上高于仅CE ViT,伴以较低精确率和特异度,与EfficientNetV2-S组成50:50集成时呈方向一致的模式。由于匹配的仅CE ViT测试准确率略高(71.00%对70.57%),对既往研究的提升不能仅归因于三联体学习,超参数选择、数据采样、初始化和训练配置差异均可影响基准比较;训练集交叉验证中C召回率与C F1升高、C→B错误减少,但测试集召回差异的置信区间包含零,提示三联体学习可能改变遗漏分化不良类器官与错误排除潜在有用类器官之间的平衡,而非一致改善分类性能的所有方面。测试集错误分布提示不同筛查优先级:集成提高C召回率但降低精确率和特异度,若筛查流程排除预测为C的类器官,较高召回有利于去除分化不良者,较高特异度有利于保留潜在有用的A或B类器官;阈值调整后的仅CE ViT筛查性能与Triplet-ViT数值相近,强调需同时考虑模型选择与工作点。研究局限包括:公开数据集中无报告细胞系以外图像,无法确认非报告干细胞衍生类器官的性能;缺乏同条件下的直接配对专家比较;数据集较小且源自单一报告细胞系,缺少图像级类器官和培养批次标识,无法验证子集间生物学独立性;与已发表基准和简单基线的比较涉及不同训练方案;十种子扩展在初步结果之后进行且使用同一300张测试图像,图像自助法区间无法考虑未观察到的类器官或批次聚类;OOF估计可能偏乐观;类别边界附近图像可形成负对、同类别内RAX面积不同图像形成正对,缺乏连续和重复RAX测量以评估类别边界与测量不确定性,统一边界未建模类别顺序;C→A错误未减少且原因未明;有限掩膜示例不能确立形态特异性依赖;纵横比失真和单种子归一化分析限制预处理无关性结论;仍需匹配的仅CE ViT–EfficientNetV2-S集成与配对不确定性分析以分离三联体对集成的贡献,且未证明培养成本降低或功能性类器官产量提高。结论部分翻译如下:先进的基于图像的深度学习方法可改善下丘脑-垂体类器官分化的预测,三联体学习显示出增强分化不良类器官识别的潜力;在十种子匹配条件下,Triplet-ViT的类别C召回率高于仅CE ViT,提示在整体准确率上存在潜在的筛查权衡,伴以较低精确率和特异度;这些发现可能支持干细胞和类器官治疗的无损、标准化质量评估策略的开发,尚需在多样化细胞系和类器官系统中进一步验证以确立这些方法的泛化性和临床适用性。未来研究将聚焦于使用来自不同细胞系、培养条件和成像平台的独立数据集验证Triplet-ViT,包括非报告细胞衍生类器官;在有连续RAX测量时,可研究有序或距离感知的学习目标以考虑类别内和类别间的分化水平;进一步工作还将考察三联体选择策略和分类阈值,以平衡遗漏分化不良类器官与不必要排除潜在功能类器官,并需将图像预测与后续类器官功能联系起来的前瞻性研究以确定该方法能否支持实际培养选择决策。

订阅生物通快讯

订阅快讯:

最新文章

限时促销

会展信息

关注订阅号/掌握最新资讯

今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

版权所有 生物通

Copyright© eBiotrade.com, All Rights Reserved

联系信箱:

粤ICP备09063491号