《Heliyon》:Cohort-AI: A multi-instance learning approach for improved stability and reliability in AI-assisted embryo selection
编辑推荐:
大多数用于体外受精(IVF)胚胎选择的人工智能(AI)系统依赖单实例学习(SIL),从形态学特征独立评估每个胚胎以预测着床或活产。然而,该方法不能反映胚胎学家在临床实践中通过比较同一队列内胚胎以选择最适合移植胚胎的方式。近期对商业化SIL模型的评估显示,胚胎排
大多数用于体外受精(IVF)胚胎选择的人工智能(AI)系统依赖单实例学习(SIL),从形态学特征独立评估每个胚胎以预测着床或活产。然而,该方法不能反映胚胎学家在临床实践中通过比较同一队列内胚胎以选择最适合移植胚胎的方式。近期对商业化SIL模型的评估显示,胚胎排名存在高度变异性、与专家评估一致性有限,且跨数据集不一致,引发对其临床可靠性和可信度的担忧。为解决这些局限,研究人员探究了多实例学习(MIL)模型Cohort-AI是否可通过在完整队列背景下评估胚胎,改善AI辅助胚胎选择的稳定性、可靠性和临床一致性。采用回顾性设计,研究人员在两个生殖中心(Massachusetts General Hospital和Weill Cornell Medicine)的胚胎图像数据集上训练并验证了50个重复Cohort-AI模型和50个SIL模型,共包含超过11,000个胚胎。研究人员比较了两种方法的排名一致性、关键错误率、与临床胚胎移植的一致性及活产结局。聚焦共享排名终点而非预测准确性,使研究人员能够在训练目标不同(单个胚胎 vs. 累积周期结局)的情况下比较SIL和Cohort-AI。Cohort-AI显示出比SIL模型更高的排名稳定性(Kendall's W ~0.93 vs. ~0.35)、降低的关键错误率(~2% vs. ~15%),并与临床医生选择的胚胎更一致(移植率:68.7% vs. 44.7%)。在这项两中心回顾性评估中,Cohort-AI选择的胚胎还与更高的活产率相关,并在各机构间保持一致性能,且未对外部中心进行额外适应。在这项回顾性两中心评估中,队列感知方法相对于SIL改善了排名稳定性并降低了保守关键错误率。有必要开展前瞻性、多中心研究以确立真实世界临床效用。
研究背景方面,人工智能(AI)已改变医学多个领域的临床决策,在辅助生殖中逐渐用于支持体外受精(IVF)胚胎选择。移植最具活力的胚胎是IVF关键步骤,直接影响妊娠成功率。传统上,胚胎选择依赖形态学分级,胚胎学家评估囊胚扩张、内细胞团和滋养层质量等静态特征;AI模型则尝试从大规模数据中识别形态模式并预测着床或活产潜力。然而,当前多数AI模型依赖单实例学习(SIL),即独立评估每个胚胎,不考虑其所在队列。这与真实临床决策不一致,因为胚胎学家是在患者全部可用胚胎背景下比较胚胎,而非孤立评估。近期评估发现,商业化SIL模型与胚胎学家一致性低于预期,模型之间也不一致,甚至部分模型排名与随机机会无法区分。即使使用中心特异性数据微调,差异仍未消除,提示SIL模型存在欠指定(underspecification)问题,即决策过程微小变化可导致个体决策显著不同。此类不稳定会阻碍临床采用。为克服这些局限,研究人员提出Cohort-AI,一种多实例学习(MIL)模型,通过分析整个胚胎队列并依据胚胎对成功IVF周期的相对贡献进行排名,以更贴近临床医生的比较式决策。研究采用回顾性设计,在两个中心评估Cohort-AI提升胚胎选择稳定性、可靠性和临床一致性的能力,并定义稳定性为独立重训和跨站点间胚胎排名顺序的可重复性。结论显示,Cohort-AI产生高度一致的排名,显著降低错误选择,并在不同临床数据集间保持稳定性能,提示从单实例评估转向队列感知评估可改善排名稳定性。其意义在于强调IVF中MIL方法的重要性,并呼吁AI模型优先考虑稳定性、稳健性和临床适用性,但仍需前瞻性多中心研究确定真实临床价值。
关键方法概括不超过250字:研究为回顾性设计,样本来自两个生殖中心。Massachusetts General Hospital(MGH)数据集含10,713个胚胎、1,258例患者,使用EmbryoScope D采集;Weill Cornell Medicine(Cornell)数据集含648个胚胎、53例患者,使用EmbryoScope+采集,并作为独立外部测试集。训练与验证仅使用MGH数据,Cornell未进行站点特异性调优、重加权或域适应。SIL采用传统卷积神经网络(CNN),使用有已知活产结局的MGH胚胎子集训练;Cohort-AI为MIL CNN,以患者级胚胎队列预测累积活产。两者均训练50个重复模型,仅随机初始化种子不同。排名分析纳入每队列至少4个胚胎;关键错误分析要求每队列至少1个囊胚。分析采用Kendall's W、Kendall Tau、Welch's t检验、Fligner–Killeen检验、Shapiro–Wilk检验和t分布随机邻域嵌入(t-SNE)等。
研究结果如下。3.1 Cohort-AI用于相对胚胎选择:Cohort-AI评估同一周期内胚胎相对于其他胚胎的贡献,并基于累积活产结局排名,而非独立预测单个胚胎着床或活产。由于SIL与Cohort-AI训练目标不同,直接比较预测性能受限;但50个Cohort-AI模型在MGH患者胚胎队列测试中表现一致,平均准确率为64.97%,曲线下面积(AUC)为67.17%,F1分数为70.31%,敏感度为79.10%,特异度为49.30%(n=97患者队列)。3.2 Cohort-AI与SIL模型胚胎排名顺序比较:在MGH的92个胚胎集上,Cohort-AI的Kendall's W为0.9435,SIL约为0.36,差异显著(p<0.0001);在Cornell的49例患者上,Cohort-AI为0.9075,SIL约为0.34,差异显著(p<0.0001)。关键错误率方面,MGH的83例患者中,Cohort-AI平均为2.31%,SIL为12.41%(p<0.0001);Cornell的45例患者中,Cohort-AI为1.24%,SIL为17.29%(p<0.0001)。Cohort-AI受分布偏移影响较小,Cornell与MGH模型间方差为2.65%
2与1.71%
2,差异0.94%
2,Fligner–Killeen检验p=0.442;SIL方差为Cornell 68.59%
2、MGH 22.53%
2,差异46.07%
2。3.3 特征空间可视化:t-SNE显示Cohort-AI较SIL更能区分胚胎集特征。对MGH 97例患者,Cohort-AI平均簇内距离为5.573,簇间距离为42.74;SIL簇内距离为11.74,簇间距离为86.03,差异显著(p<0.0001),且Cohort-AI簇间距离变异更小。注意力分析显示,在MGH 707个胚胎和Cornell 642个胚胎中,模型对较高形态学等级胚胎赋予更高注意力,grade 5胚胎注意力最高;患者#18中空孔注意力最低。注意力权重经患者内min–max归一化至0–1,结果为描述性,不解释为因果。3.4 Cohort-AI与SIL模型顶级胚胎选择结局:在MGH 92例患者中,SIL顶级选择胚胎的历史移植率为44.65%,活产率为41.02%;Cohort-AI分别为68.68%和44.79%,均显著更高(p<0.0001)。MGH中心基线成功率为35.09%。Cohort-AI的变异系数更低,移植率4.06% vs. 16.97%,活产率3.16% vs. 14.47%。在Cornell 49例患者中,Cohort-AI移植率为45.06%、活产率为56.12%,SIL为29.10%和51.95%,移植率差异p<0.0001、活产率差异p=0.0175;Cornell中心基线为44.12%。限制于有阳性累积活产周期时,MGH中Cohort-AI产生26–33例活产/32–39次移植(中位数29/35.5),SIL为10–26例活产/14–31次移植(中位数16/23);Cornell中Cohort-AI为10–14例活产/12–17次移植(中位数12/14),SIL为1–13例活产/1–15次移植(中位数8/9)。最低表现的Cohort-AI重复模型与最高表现的SIL重复模型相当,但SIL变异性更大。3.5 Cohort-AI与SIL模型的单患者比较评估:患者#35经5位胚胎学家共识分为3个高质量囊胚(#1、#4、#5,grade 5)、1个中等质量囊胚(#3,grade 4)和2个退化胚胎(#2、#6,grade 1)。33个SIL模型将退化胚胎排高于高质量胚胎,31个SIL模型将高质量胚胎排最低;7个SIL模型将退化胚胎排为移植首选,其中包括验证准确率最高的3个模型(#48:66.32%,#49:67.37%,#50:67.37%)。相比之下,50个Cohort-AI模型彼此差异小,并一致将低质量胚胎排最低。患者#35曾有3次移植(#1、#4、#5),其中Cohort-AI一致排名最高的#1和#5导致活产。Kendall Tau显示,Cohort-AI模型对平均为0.9893(SD:0.0366,范围0.7333–1.00,n=1225模型对),SIL模型对平均为0.2685(SD:0.3399,范围?1.00–1.00),部分SIL模型甚至产生完全相反排名。
讨论部分指出,AI在IVF中的采用快速上升,但临床医生对系统如何决策的理解有限,且过度依赖算法输出被列为重要伦理担忧。Cohort-AI强调跨重训和跨站点的排名稳定性,这不仅是技术稳健性,也关系到咨询连续性、实验室工作流验证和胚胎选择结局审计。SIL的欠指定意味着即使准确率小幅改善,也可能导致胚胎排名近乎倒置。胚胎选择本质上是比较排序问题,而非二分类诊断问题,因此稳定性与可解释性至少与准确性同等重要。Cohort-AI通过MIL目标实现相对评估,并利用注意力机制建立队列内排名;注意力权重被视为支持排名的学习权重,而非因果证据,其与形态学等级一致有助于审计。关键选择错误从约15%降至约2%,患者#35显示验证准确率高并不保证临床可接受排名。Cohort-AI未以稳定性牺牲性能,其顶级选择与移植结局关联至少与SIL相当,且常更高。研究同时强调需要标准化基准、透明报告、跨中心稳健性评估和可审计更新实践。局限包括:该研究为回顾性方法学评估,关联非因果;训练和验证使用MGH数据,Cornell完全外部测试,但两中心使用同一EmbryoScope家族不同代显微镜,限制外推到其他采集模式;t-SNE和注意力叠加为诊断性可视化,不作为模型质量或因果解释的证据;未进行亚组分析;仍需前瞻性多中心研究确立临床效用。研究结论翻译为:本研究强调,在IVF及其他基于排名的医学应用中,AI模型评估需要转变。胚胎选择AI的评估应围绕一个简单原则组织:随着数据和软件变化,排名必须保持可预测。在这项两中心回顾性研究中,结果表明队列感知公式提供这种可预测性,同时减少严重错排,并与胚胎学家实际比较胚胎的方式一致。更广泛领域将通过将稳定性和可重复性与准确性一起作为核心终点而最快进展,并得到透明基准和更新实践支持,使模型行为随时间可审计。可靠工具还必须对临床医生可读并向监督开放,当建议和情境背离时为判断保留明确空间。在这些条件下,AI可成为胚胎选择的持久基础设施,而非漂移的建议来源。在此之前,这些发现应被视为基础工作,证明稳定性既可实现又具有临床意义,并指向最终确定临床价值的前瞻性验证。