基于AI增强多光子显微镜的结直肠癌术中切缘评估

《Journal of Biomedical Optics》:Intraoperative margin assessment in colorectal cancer via AI-enhanced multiphoton microscopy

【字体: 大 中 小 】 时间:2026年10月12日 来源:Journal of Biomedical Optics 3.3

编辑推荐:

   特征融合PVT增强架构。仅使用SHG图像作为分类模型的图像输入。 1. 引言 结直肠癌(CRC)是全球最常见的癌症相关死亡原因之一。因此,迫切需要变革性的诊断技术来解决这一问题。尽管临床实践取得了进展,该疾病的早期检测仍然具有挑战性。此外,由于术中快速准确的切除边缘评估仍

  

特征融合PVT增强架构。仅使用SHG图像作为分类模型的图像输入。

1. 引言

结直肠癌(CRC)是全球最常见的癌症相关死亡原因之一。因此,迫切需要变革性的诊断技术来解决这一问题。尽管临床实践取得了进展,该疾病的早期检测仍然具有挑战性。此外,由于术中快速准确的切除边缘评估仍然有限,精确的肿瘤切除仍然具有挑战性。结肠镜、活检和横断面成像等方法在早期病变和微浸润的检测以及边缘 delineation 方面存在局限性。活检标本的组织病理学检查仍然是诊断的金标准,但具有侵入性,存在采样局限性,并且需要组织处理。术中冰冻切片评估可以提供切除边缘的信息,但组织处理耗时,有时结果信息可能不清楚,限制了术中快速决策。大约三分之一的结直肠癌患者在诊断或随访期间发展为转移性疾病,转移性结直肠癌的5年相对总生存率约为15%。

组织学阴性边缘邻近组织中的胶原结构特征仍然缺乏充分表征。虽然磁共振成像提供重要的宏观信息,但无法以必要的分辨率探究肿瘤微环境。光学相干断层扫描(OCT)可以可视化病灶区域。然而,分辨率可能不足以可视化单个胶原纤维。值得注意的是,在细胞参与边缘之前,胶原结构中会发生重塑效应。在本研究中,使用无标记多光子显微镜(MPM)可视化胶原的二次谐波生成(SHG)信号。SHG成像提供亚微米分辨率的胶原结构可视化,使纤维连续性、方向和密度的定量评估成为可能。MPM还因为其穿透深度和相对较低的光毒性而具有体内组织成像的潜力。作为此类应用的初步概念验证,本研究使用未染色的新鲜冷冻组织切片而不是完整活体组织来评估所提出的方法。人工智能(AI)可以进一步协助提取和整合定量成像信息。然而,基于AI的路径学模型需要仔细验证,因为有限的通用性和可解释性可能会影响其临床应用。

在此背景下,本研究将定量SHG成像与光学-AI框架相结合用于组织分类。本研究的目的是:(i) 开发用于区分结直肠癌与边缘邻近正常组织的定量SHG衍生胶原特征,以及 (ii) 开发一种将定量胶原特征与深度图像特征相结合的混合AI模型用于组织分类。通过结合显式的定量胶原描述符与学习到的图像表示,所提出的框架旨在提高组织判别能力,同时保留生物学相关的结构信息。该方法可能支持更精确的术中边缘评估和手术决策,尽管其临床效益需要在更大规模的患者队列中验证。

2. 材料与方法

2.1 样本准备

本研究包括10例接受结直肠癌手术切除患者的新鲜冷冻组织切片(8例结肠癌,2例直肠癌)。切除后,标本进行定向。根据常规病理程序标记近端切除边缘(PRM)和远端切除边缘(DRM)。组织采样设计包括边缘邻近正常组织和癌组织,以进行比较分析。边缘邻近正常组织定义为距阴性切除边缘1 cm以内的正常黏膜和黏膜下层。组织病理学检查确认标本中无肿瘤浸润。癌区域样本取自距阴性切除边缘至少3 cm的肿瘤区域。比较这两种组织类别以表征与边缘评估方法开发相关的胶原差异。

对于组织病理学评估和MPM成像,制备10 μm冷冻切片。H&E染色切片用于组织病理学评估,而对应的未染色切片用于无标记MPM成像。使用少量磷酸盐缓冲盐水(PBS)以避免成像过程中的组织脱水。经验丰富的病理学家首先审阅H&E切片并指定肿瘤或正常组织区域为感兴趣区域(ROIs)。病理学家标注后,这些ROIs在对应的未染色切片上使用MPM成像,同时收集双光子激发荧光(TPEF)和SHG信号。

2.2 多光子显微镜

MPM成像实验使用高通量倒置扫描显微镜(DMi8,Leica,德国)和InSight X3飞秒激光(Spectra-Physics,美国加利福尼亚州)进行。激光参数如下:脉冲宽度120 fs,重复频率80±0.5 MHz,激发波长范围680至1300 nm。检测在回扫上使用水浸没25×/0.95 NA物镜,提供高信号收集。在双通道检测路径中,使用二向色镜将光激发发射光谱分离为SHG和TPEF通道。所有实验均使用810 nm激发波长。记录的SHG信号在395至415 nm光谱范围内。TPEF信号在430至650 nm波长范围内检测。

2.3 数据集划分和ROI选择

数据划分在患者水平进行。患者P01–P07分配给训练队列,P08–P10分配给保留验证队列。来自同一患者的所有组织切片、ROIs和图像切片保留在同一划分中,没有使用图像级别的随机划分来创建训练和验证队列。

最终数据集包括来自10例患者的50张组织切片。对于每张切片,参考对应的H&E染色切片选择1至3个空间不重叠的ROIs。根据ROI大小,以1024×1024像素分辨率获取多个MPM视野。随后从这些视野中裁剪出多个512×512像素的SHG图像切片进行分析,保留的切片之间没有空间重叠。SHG图像用于定量胶原特征提取和所有机器学习及深度学习分析。TPEF和SHG/TPEF合并图像用于组织可视化,而H&E染色切片作为ROI标注的组织病理学参考,不作为模型输入。总共76个ROIs产生1268个SHG图像切片,包括训练队列中的879个和保留验证队列中的389个。患者水平细节见表1。

表1 患者水平的组织切片、ROIs和SHG图像切片在训练和验证队列中的分布。
Patient ID 解剖部位 数据划分 组织类别 组织切片,n ROIs,n 图像切片,n
CRC 边缘邻近正常 总计 CRC 边缘邻近正常 总计 CRC 边缘邻近正常 总计
P01 直肠 训练 CRC only 1 0 1 1 0 1 13 0 13
P02 结肠 训练 Both 2 2 4 5 3 8 80 50 130
P03 结肠 训练 Both 2 2 4 4 4 8 48 65 113
P04 结肠 训练 Both 2 5 7 2 5 7 25 98 123
P05 结肠 训练 CRC only 3 0 3 7 0 7 105 0 105
P06 结肠 训练 Both 2 2 4 6 4 10 10 25 51 57
P07 结肠 训练 Margin-adjacent normal only 0 4 4 0 11 11 0 238 238
P08 直肠 验证 Both 4 5 9 4 5 9 22 14 36
P09 结肠 验证 Both 5 3 8 5 3 8 144 41 185
P10 结肠 验证 Both 2 4 6 3 4 7 86 82 168
总计 10例患者 23 27 50 37 39 76 625 643 1268

CRC,结直肠癌;MPM,多光子显微镜;ROI,感兴趣区域。训练队列,n=7例患者;验证队列,n=3例患者。患者标识符已匿名化。并非所有患者都提供了CRC和边缘邻近正常组织图像。

2.4 胶原特征提取

使用MATLAB(R2017b)从SHG图像中获取胶原纤维的特殊特征信息。总共获取142个手工特征。在这里,手工特征指使用自定义图像分析程序从SHG图像中提取的预定义定量胶原描述符,包括形态学、直方图、灰度共生矩阵(GLCM)和Gabor特征。评估了8个形态学特征:胶原百分比面积、纤维密度、平均纤维长度、平均纤维宽度、平均纤维直度、交联密度、平均交联间距和纤维方向。其余特征包括6个基于直方图的特征、80个基于GLCM的特征和48个Gabor小波变换特征。

为降低特征维度,应用最小绝对收缩和选择算子(LASSO),它对回归系数施加L1惩罚并将某些系数收缩为零。特征矩阵和二值标签(CRC和边缘邻近正常)输入到R环境的glmnet包。所有特征使用包中包含的归一化函数标准化,使参数可比。在LASSO程序中使用五折交叉验证,根据一个标准差准则(lambda.1se)选择正则化参数λ。此交叉验证步骤用于参数选择而不是报告最终模型性能。在选择λ下具有非零系数的特征保留为最终的判别特征子集。使用选择的特征训练逻辑回归分类器。生成的基于特征模型称为LASSO-LR,作为仅特征的基线。LASSO特征选择仅用于此基线模型,不应用于后续的深度学习模型。然后,对于每个样本i,定义决策函数如下:
z_i = β_0 + Σ β_j X_ij
其中k是保留特征的数量,β_j是特征j的学习系数。最后,使用以下Sigmoid函数计算样本为癌的概率:
P(y_i=1|X_i) = 1/(1+e^(-z_i))
然后,使用分类阈值将预测概率转换为离散标签:当P(y=1|X)≥阈值时,样本被分类为CRC组织;否则被分类为边缘邻近正常组织。

2.5 深度学习模型

2.5.1 PVTv2-b5模型架构

本研究使用的骨干网络是金字塔视觉Transformer v2基础-5(PVTv2-b5)模型。PVTv2-b5模型使用ImageNet预训练权重初始化,然后在SHG训练队列上微调50个epoch。PVTv2-b5是一个分层视觉Transformer,设计用于将卷积纳入Transformer架构。特别是,基于卷积的重叠补丁嵌入用于早期特征提取和空间下采样,而长程建模由Transformer块完成(图1,黄色区域)。深入分析表明,PVTv2-b5引入了三个重要的架构组件:重叠补丁嵌入、使用平均池化的空间归约注意力和基于卷积的前馈网络(FFN),如图1粉色区域所示。选择PVTv2-b5是因为其分层金字塔架构提供多尺度特征表示,而自注意力机制能够建模胶原组织中的长程空间关系。

图1 特征融合PVT增强架构。仅使用SHG图像作为分类模型的图像输入。

模型输入包括512×512 SHG图像,预处理并调整大小至224×224像素。输入图像首先进入基于卷积的重叠补丁嵌入层,核大小为7×7,步幅为4,进行初始特征提取和粗略空间下采样。使用四级编码器逐步学习分层特征表示。在第2、3和4阶段,使用3×3卷积进行重叠补丁嵌入,步幅为2。四级Transformer编码器,深度分别为3、6、40和3,产生多尺度特征图F1、F2、F3和F4,空间分辨率分别为56×56、28×28、14×14和7×7。F1–F4对应的通道维度分别为64、128、320和512。

特征融合模块(图1,紫色区域)接收来自编码器的四个多尺度特征图。这些特征随后使用受顺序通道-空间注意力策略启发的串行注意力机制进行重新校准。在此模块中,首先使用1×1卷积捕获通道间依赖性,然后进行ReLU操作以产生通道权重向量(1×1×C)。通道加权特征的全局平均值用于生成空间注意力,通过3×3卷积重建以生成空间权重矩阵(H×W×1),如图1灰色区域所示。组合的通道-空间注意力强调多尺度特征中的关键胶原相关信息,从而增强结果特征图的判别质量。

然而,更深的Transformer阶段中的渐进式下采样可能导致精细微结构线索的丢失,而这些线索对于识别肿瘤侵袭前沿和细微的胶原重塑至关重要。为克服这一局限性,我们添加了上述142个手工特征(形态学、基于直方图、GLCM和Gabor小波特征),以提供更多细尺度纹理和形态学信息,如图1橙色块所示。融合过程包括通过全连接特征适配器将142维手工特征向量投影到512并激活以改善非线性表示。空间通道注意力机制已被探索用于医学成像中的特征重新校准。随后,从适应后的手工特征向量生成全局引导注意力向量。该向量与编码器来自PVTv2-b5的深特征(F4)通过注意力融合操作组合,以获得优化的加权融合特征。为了实现多尺度聚合,首先使用1×1卷积将F1–F3投影到512通道以匹配F4。然后融合后的F4特征通过双线性插值(align_corners = False)上采样2倍,并逐元素添加到F3;结果特征以相同方式相继上采样并添加到F2和F1。空间通道对齐后使用逐元素求和来在对应的空间位置整合多尺度特征。

与拼接策略相比,该策略避免了通道扩展,在无需额外投影步骤的情况下保持固定的512通道表示。最后,聚合后的特征通过全局平均池化进行压缩,并通过SoftMax函数将两类输出转换为类别概率,最终类别由最大概率决定。将PVTv2-b5图像特征与142个手工设计的胶原蛋白特征整合的所得模型被称为PVT-Enhanced。

2.5.2 传统CNN架构
评估了三种代表性CNN架构——VGG-16、ResNet-50和MobileNet-v2,作为结肠直肠癌(CRC)与切缘邻近正常组织二分类的仅图像基线。这些模型分别代表了传统的深度卷积网络、残差网络和轻量级网络设计。三个模型均使用ImageNet预训练权重进行初始化,并在SHG训练数据上进行了微调。ResNet-50采用残差学习和快捷连接来促进深度网络的优化。[28] VGG-16采用基于堆叠3×3卷积层的深度串行架构,用于分层图像特征提取。[29] MobileNet-v2是一种基于深度可分离卷积和逆残差瓶颈的轻量级CNN。[30] 表2列出了所评估模型框架的并排比较,包括其模型类型、输入和关键架构特征。

**表2 所评估模型框架的并排比较。**

| 模型 | 类型 | 输入 | 关键架构 |
|------|------|------|----------|
| LASSO-LR | ML | 142个手工设计特征 | LASSO:142→8 + LR |
| ResNet-50 | CNN | SHG | 残差连接 |
| VGG-16 | CNN | SHG | 堆叠3×3卷积层 |
| MobileNet-v2 | CNN | SHG | 深度可分离卷积 + 逆残差 |
| PVTv2-b5 | Transformer | SHG | 四阶段金字塔 + 重叠补丁嵌入 + 自注意力 |
| PVT-Enhanced | 混合模型 | SHG + 142个手工设计特征 | 通道-空间注意力 + 基于注意力的特征融合 + 渐进式2×双线性上采样 + 逐元素求和 |

LASSO,最小绝对收缩和选择算子;CNN,卷积神经网络;LR,逻辑回归;ML,机器学习;PVT,金字塔视觉Transformer;SHG,二次谐波产生。手工设计特征指从SHG图像中提取的142个胶原蛋白特征(8个形态特征和134个纹理特征)。对于LASSO-LR,保留8个非零系数特征用于LR分类;PVT-Enhanced纳入了所有142个手工设计特征。架构细节和参考文献见第2.5.2节。

**2.5.6 性能评估与统计分析**

所有模型均在同一组保留验证队列的389张SHG图像上进行评估。报告的性能值来源于该队列,而非跨验证折或重复运行的平均值。使用AUC、准确率、灵敏度、特异度、阳性预测值(PPV)和F1分数进行评估,并给出95%置信区间。AUC置信区间采用DeLong方法计算,AUC比较采用配对DeLong检验。准确率、灵敏度、特异度和PPV采用Wilson区间,F1分数置信区间采用10,000次非参数自助法重采样估计。与PVT-Enhanced的成对AUC比较使用Holm方法校正多重比较。

**3. 结果**

**3.1 无标记多光子成像揭示手术切缘处不同的胶原蛋白结构**

我们采用无标记多光子显微镜(MPM)获取手术切缘处基质胶原蛋白和细胞组成的高分辨率图像。对墨线标记的切缘相邻组织与肿瘤团块之间进行了有序比较。基质组织经历了显著的结构变化(图2)。在组织学确认的切缘相邻正常组织中,距离阴性切除切缘1 cm以内(图2,区域1),SHG成像显示紧密排列的胶原纤维,具有相对一致的取向[图2(a)]。放大后的感兴趣区域(ROI)显示纤维取向相对一致,胶原纤维更长且更连续,纤维分布更密集[图2(a′)]。所获得的TPEF图像显示了均匀的自发荧光,具有腺体和上皮结构的特征[图2(b)]。SHG和TPEF成像结果的联合显示基质框架组织良好且完整[图2(c)],与对应的H&E染色切片一致[图2(d)]。

**图2 切缘相邻正常组织和癌组织的代表性多光子图像。**(区域1)距离阴性切除切缘1 cm以内的切缘相邻正常组织。(a) SHG图像,绿色显示胶原蛋白。(a′) (a)中带框ROI的放大视图,显示纤维取向相对一致、纤维更长更连续以及纤维密度较高。(b) TPEF图像,红色显示内源性自发荧光。(c) SHG和TPEF合并图像。(d) 对应的H&E染色切片。(区域2)位于距阴性切除切缘≥3 cm处的癌组织。(e) SHG图像。(e′) (e)中带框ROI的放大视图,显示纤维取向更加紊乱、纤维更短且更碎裂以及纤维密度较低。(f) TPEF图像。(g) SHG和TPEF合并图像。(h) 对应的H&E染色切片;黄色圆圈标示浸润性结直肠癌细胞区域。(i) 相对于近端切除切缘(PRM)、远端切除切缘(DRM)和肿瘤部位的取样位置示意图。(d)和(h)中的比例尺:900 μm。

相比之下,位于距阴性切除切缘≥3 cm处的癌组织(图2,区域2)显示出严重的结构紊乱。SHG成像显示胶原蛋白信号减少且不均匀,伴有明显的纤维碎裂和紊乱[图2(e)]。放大后的ROI显示纤维取向更加紊乱,胶原纤维更短且更碎裂,纤维密度更低[图2(e′)]。使用TPEF成像,我们观察到明显的细胞异型性和腺体结构紊乱[图2(f)]。合并可视化显示基质胶原网络被破坏[图2(g)],在浸润性肿瘤边缘观察到衰减信号。无标记MPM发现与H&E组织学具有定性空间对应关系,确认了结肠腺癌的诊断。显示肿瘤细胞浸润的区域见图2(h)。相对于PRM、DRM和肿瘤部位的取样位置示意图见图2(i)。MPM可以揭示切缘相邻正常组织中一致的胶原网络和癌组织中碎裂或无序的胶原结构。胶原蛋白结构差异具有生物学意义。放大的SHG视图提供了两个组织区域之间胶原结构差异的定性视觉示例,与几个量化的形态特征相对应,特别是纤维取向、平均纤维长度和纤维密度。

**3.2 用于切缘评估的特征工程LASSO模型的性能局限性**

为了评估从SHG成像中提取的胶原蛋白特征对手术切缘分类的诊断价值,构建了一个使用LASSO进行手工设计特征选择和LR进行分类的传统机器学习基线(LASSO-LR)。图3(a)说明了在正则化参数(λ)对数尺度上增加时特征系数(β)的变化情况。LASSO倾向于产生稀疏性,因为系数被系统地推向零。

**图3 使用LASSO回归进行特征选择:** (a) LASSO回归模型在不同log(λ)值下的系数路径,其中λ代表正则化参数;(b) 用于选择最优λ的交叉验证曲线。使用二项偏差评估模型性能,垂直虚线表示由交叉验证选择的最优λ值。

图3(b)显示了二项偏差与λ的关系。红点表示各个不同交叉验证折的平均偏差,灰色误差棒代表标准误。较小的误差棒表明交叉验证偏差在折间的变异性较低。左侧虚线表示λ_min=0.0003467,即保留28个特征的偏差最小点。λ_1se=0.0032336选择了更为简约的八特征模型,其交叉验证偏差在最小值的一个标准误以内。使用λ_1se选择的特征创建了带有线性预测项的截距项。然后将线性预测项通过sigmoid函数转换为CRC的预测概率。超过阈值的值被分类为CRC组织,低于阈值的值被分类为切缘相邻正常组织。

该LASSO-LR模型被证明是目标变量的良好判别器,ROC AUC为0.886(95% CI,0.854至0.918)[图4(a)]。一个重要观察是ROC曲线在低假阳性率区域急剧上升,真阳性率迅速达到约0.7。这表明模型可以在保持低假阳性率的同时识别出相当比例的CRC样本,显示出其在高特异性条件下的潜在效用。混淆矩阵[图4(b)]对应的总准确率为81.0%(n=389)。特异度为86.9%(119/137),CRC分类的灵敏度为77.8%(196/252)。然而,56张(22.2%)CRC图像被错误分类为切缘相邻正常组织。鉴于假阴性率及其可能的较大影响和临床意义,术中应用这些检测方法引发了特别的担忧。在切除切缘存在未识别的基质浸润灶提示肿瘤切除不完整(非R0状态)和复发风险。

**图4 LASSO-LR模型的性能评估。** (a) LASSO-LR模型的受试者工作特征(ROC)曲线。(b) LASSO-LR模型的混淆矩阵。0类:切缘相邻正常组织。1类:CRC组织。

**3.3 用于切缘评估的深度学习模型与混合融合**

所有分类分析均使用SHG图像进行。ResNet-50、VGG-16、MobileNet-v2和PVTv2-b5作为仅图像模型进行评估,而PVT-Enhanced还纳入了从SHG图像中提取的142个定量胶原蛋白特征。三种CNN在切缘相邻正常组织(0类)和CRC组织(1类)之间的判别ROC AUC范围为0.855至0.870[图5(a)–5(c)]。其判别能力与LASSO-LR基线相当。这些结果表明,仅图像CNN能够从SHG图像中捕获具有判别力的胶原蛋白架构模式。混淆矩阵揭示了三种CNN之间不同的灵敏度-特异度权衡[图5(d)–5(f)]。ResNet-50显示出最高的特异度(92.7%),而MobileNet-v2显示出最高的灵敏度(76.2%)。

**图5 三种传统CNN模型的性能评估。** (a–c) ResNet-50、VGG-16和MobileNet-v2的ROC曲线。(d–f) ResNet-50、VGG-16和MobileNet-v2的混淆矩阵。0类:切缘相邻正常组织。1类:CRC组织。

为了补充CNN的局部特征提取并建模长程空间依赖关系,我们评估了PVTv2-b5,该模型使用分层自注意力从SHG图像中捕获多尺度上下文信息。基线PVTv2-b5模型在所有仅图像模型中实现了最高的AUC [0.898;图6(a)]。通过将142个手工设计胶原蛋白特征与PVTv2-b5图像特征整合,我们开发了PVT-Enhanced模型。进行了消融分析,通过比较PVT-Enhanced与仅图像的PVTv2-b5基线来评估142个手工设计胶原蛋白特征的贡献。总体而言,PVT-Enhanced在所有评估的仅特征、仅图像和特征-图像融合方法中实现了最佳分类性能。与单独的PVTv2-b5相比,添加手工设计胶原蛋白特征使准确率从82.8%提高到86.9%,AUC从0.898提高到0.923。经过Holm校正后,AUC差异仍然具有统计学显著性(校正后P=0.039;表3)。PVT-Enhanced的混淆矩阵显示,在保留验证队列的137张切缘相邻正常图像中有5个假阳性预测,对应的特异度为96.4%[图6(d);表3]。

**图6 PVTv2-b5和PVT-Enhanced对CRC和切缘相邻正常组织分类的性能评估。** (a, b) PVTv2-b5和PVT-Enhanced的ROC曲线。PVT-Enhanced通过将PVTv2-b5深度特征与142个手工设计胶原蛋白特征整合构建。(c, d) PVTv2-b5和PVT-Enhanced的混淆矩阵。0类表示切缘相邻正常组织,1类表示CRC组织。PVTv2-b5的TP=194,TN=128,FN=58,FP=9;PVT-Enhanced的TP=206,TN=132,FN=46,FP=5。

**表3 仅特征、仅图像和特征增强模型在保留验证队列中对CRC切缘评估的诊断性能。**

| 模型 | 输入 | AUC (95% CI) | Acc. (95% CI) | Sens. (95% CI) | Spec. (95% CI) | PPV (95% CI) | F1 (95% CI) | Adj. P |
|------|------|--------------|---------------|----------------|----------------|--------------|-------------|--------|
| LASSO-LR | 仅特征 | 0.886 (0.854–0.918) | 81.0% (76.8–84.6) | 77.8% (72.2–82.5) | 86.9% (80.2–91.5) | 91.6% (87.1–94.6) | 84.1% (80.5–87.6) | <0.001 |
| ResNet-50 | 仅图像(CNN) | 0.859 (0.824–0.895) | 78.9% (74.6–82.7) | 71.4% (65.6–76.7) | 92.7% (87.1–96.0) | 94.7% (90.6–97.1) | 81.4% (77.3–85.3) | <0.001 |
| VGG-16 | 仅图像(CNN) | 0.855 (0.818–0.892) | 80.5% (76.2–84.1) | 75.8% (70.1–80.7) | 89.1% (82.7–93.3) | 92.7% (88.3–95.5) | 83.4% (79.6–86.9) | <0.001 |
| MobileNet-v2 | 仅图像(CNN) | 0.870 (0.836–0.905) | 80.7% (76.5–84.3) | 76.2% (70.6–81.0) | 89.1% (82.7–93.3) | 92.8% (88.4–95.6) | 83.7% (79.8–87.1) | <0.001 |
| PVTv2-b5 | 仅图像(PVT) | 0.898 (0.864–0.932) | 82.8% (78.7–86.2) | 77.0% (71.4–81.8) | 93.4% (88.0–96.5) | 95.6% (91.8–97.7) | 85.3% (81.5–88.6) | 0.039 |
| PVT-Enhanced | 图像+特征 | 0.923 (0.897–0.948) | 86.9% (83.2–89.9) | 81.7% (76.5–86.0) | 96.4% (91.7–98.4) | 97.6% (94.6–99.0) | 89.0% (85.8–91.9) | 参考 |

所有模型均在同一保留验证队列(n=389;252张CRC和137张切缘相邻正常图像)上进行评估。报告的性能值为该固定保留队列的点估计值。Adj. P为配对DeLong检验中各模型与PVT-Enhanced AUC比较的Holm校正后P值;PVT-Enhanced作为参考模型。CI,置信区间;AUC,受试者工作特征曲线下面积;Acc.,准确率;Sens.,灵敏度;Spec.,特异度;PPV,阳性预测值;F1,F1分数;LASSO,最小绝对收缩和选择算子;LR,逻辑回归;CNN,卷积神经网络;PVT,金字塔视觉Transformer;CRC,结肠直肠癌。

**4.**

讨论

本研究对多种可用于自动化评估结直肠癌手术切除切缘的机器学习(ML)和深度学习(DL)算法进行了比较性评估,所用方法为二次谐波生成(SHG)胶原蛋白成像。结果表明,代表性的深度学习架构具有实现高诊断性能的潜力,尤其是当其与生物学相关特征相结合时。

首先,我们基于标准机器学习流程构建了一个基线模型,采用LASSO回归从142个手工构建的胶原蛋白描述符中进行特征选择,并使用逻辑回归进行分类(LASSO-LR)。尽管该模型具有较高的分类性能(准确率:81.0%,AUC:0.886),但该方法仍存在重要局限性。由于其线性特性以及特征是在多步特征工程流程中逐步选取的,LASSO-LR在捕捉肿瘤早期或弥漫性浸润所引发的复杂、非线性组织变化方面能力有限。重要的是,我们观察到的22.2%的假阴性率是术中切缘评估的一个显著临床缺陷,因为切缘处漏诊的肿瘤累及可能导致残留病灶的风险增加(R1切除)。

为克服这些不足并提高效率与鲁棒性,我们转向借助三种代表性卷积神经网络(CNN)进行端到端学习:31 ResNet-50、VGG-16和MobileNet-v2。它们的整体性能与LASSO-LR模型相当。在三种CNN中,ResNet-50表现出最高的特异性(92.7%),而MobileNet-v2达到了最高的敏感性(76.2%)。然而,CNN对局部感受域的固有依赖限制了其建模肿瘤浸润切缘处全局组织结构变化的能力,而这种胶原的紊乱往往超出局部卷积的范围。32

为克服这一局限,我们采用了PVTv2-b5架构,该架构将局部卷积特征提取与分层全局自注意力机制相结合。通过将基于卷积的局部特征提取与分层Transformer建模相结合,该设计能够在保持精细空间分辨率的同时,有效捕捉组织结构中远距离依赖关系和多尺度结构模式。通过我们的PVTv2-b5实验,性能得到了显著提升,AUC达到0.898,证明了全局上下文建模在精确组织鉴别中的有效性。此外,我们将142个定量手工构建的胶原蛋白特征添加到由Transformer骨干网络学习到的深度特征中,并引入了通道-空间注意力机制进行特征重校准和多尺度特征融合。这种混合融合策略将端到端学习到的图像表示与显式的定量胶原蛋白特征相结合,以识别胶原病理变化。在保留验证队列中,该模型实现了AUC 0.923和特异性96.4%的性能,且对切缘邻近正常组织的假阳性率较低。

我们的结果表明,一种将无标记多光子显微镜/SHG成像与先进的PVT架构相结合的"成像-模型协同设计"策略具有在手术切缘评估中实现高性能组织分类的潜力。MPM/SHG技术能够在不使用外源性对比剂的情况下实现亚微米级分辨率的可视化,从而保留胶原蛋白的原始结构特征,避免了标准组织化学处理过程中产生的伪影。PVT架构的全局自注意力机制弥补了CNN感受域有限这一缺陷。32 该模型能够感知胶原纤维的微观排列和宏观紊乱,这对于界定肿瘤浸润边缘——通常是形状不规则且呈弥漫性浸润的——具有重要意义。添加的代表恶性相关胶原重塑的手工构建特征,包括纤维对齐和胶原交联,13,33 提供了互补的定量信息并提升了分类性能。这些显式的胶原蛋白描述符为融合后的表示提供了具有生物学意义的上下文信息。图2(a')和2(e')中展示的代表性SHG感兴趣区域通过纤维方向、纤维连续性/长度和胶原分布的差异,直观地展示了这种重塑过程,为相应的手工构建描述符提供了直观的形态学依据。

本研究建立了一个与术中切缘评估相关的概念验证框架。我们的混合方法采用Transformer模型,侧重于全局组织上下文的端到端学习,并运用具有生物学意义的胶原蛋白描述符。在所有评估的模型中,PVT增强模型在保留验证队列中取得了最佳整体性能,准确率为86.9%,敏感性为81.7%,特异性为96.4%,AUC为0.923,阳性预测值(PPV)为97.6%。值得注意的是,该模型的高特异性在临床上尤为重要,有助于减少切缘评估的假阳性,避免不必要的非癌组织切除。这些发现是向开发临床可行方法迈进的一步,该方法最终可能支持术中切缘评估,并有助于降低结直肠癌手术中R1切除的风险。未来需要在更大的多中心队列中进行进一步验证,同时还需探讨所提出的基于AI的诊断框架能否与手持式或内窥镜MPM系统结合,用于手术过程中对完整组织切缘进行实时评估。

5. 结论

本研究开发了PVT-Enhanced框架,这是一种特征融合方法,将PVTv2-b5从SHG图像中学习到的分层图像特征与142个手工构建的胶原蛋白特征相结合,用于区分结直肠癌(CRC)与切缘邻近的正常组织。该方法在结直肠癌手术中对切除切缘进行无标记评估方面展现了潜力。然而,当前研究受限于单中心队列和相对较小的样本量。这些发现为进一步开发所提出的框架提供了基础,旨在实现手术病理学中完整组织的快速、无标记评估。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号