《Expert Review of Neurotherapeutics》:Recent advances in synthetic virtual 3D endoscopy to assist in skull base surgery
编辑推荐:
这篇综述深入探讨了合成(虚拟)3D内窥镜技术的最新进展,该技术旨在通过算法(包括计算机视觉和深度学习),从标准的2D内窥镜影像中重建深度感知,无需依赖昂贵的3D内窥镜硬件。文章系统阐述了实现深度估计的三大方法支柱(基于运动、基于明暗、基于学习),并分析了新兴技术(如MASt3R、DINOv2/3)的应用。作者认为,这种软件驱动、硬件无关的3D可视化方案,尤其有益于年轻外科医生的训练和操作,为在颅底和内窥镜神经外科中普及立体视觉提供了一条实用且可扩展的路径。
在神经外科与颅底手术的精密世界里,视觉是手术医生的眼睛。手术显微镜的引入曾带来革命性的立体视觉,让医生得以在“锁孔”中感知深度,从而实现了真正的显微外科。然而,内窥镜技术在提供更紧凑、广角视野的同时,却牺牲了至关重要的深度感知能力。尽管市面上存在3D内窥镜硬件,但其成本高昂、设备笨重,限制了广泛普及。于是,一个软件解决方案应运而生:合成(虚拟)3D内窥镜。其核心目标,是通过算法智能地从常规2D内窥镜视频流中实时重建出具有深度感的立体图像,无需依赖专用硬件。
要实现这一目标,科学家们主要探索了三条技术路径,它们共同构成了虚拟3D内窥镜的方法学基石。
第一支柱:从运动中获取深度——当内窥镜移动时
第一条路径巧妙地利用了内窥镜操作中不可避免的微小移动。其基本原理是“运动视差”:较近的解剖结构在视野中移动的速度比较远的组织更快。这种方法在计算机视觉领域被称为“从运动中恢复结构”(Structure-from-Motion, SfM)或视觉SLAM(Simultaneous Localization and Mapping,即时定位与地图构建)。算法在连续帧之间估算内窥镜的六自由度运动,并对可见的特征点进行三角测量,最终构建出三维场景的“骨架”并渲染出深度图。
然而,颅底手术环境对算法提出了严峻挑战:组织表面纹理匮乏(如光滑的骨骼或血膜)、组织变形(器械操作、脉搏搏动、软组织牵拉)以及器械造成的视野遮挡。为了应对这些难题,最新的研究进展采用了拓扑或多地图SLAM技术,将长时程的手术过程分割为局部一致的子地图再进行拼接,提升了系统在复杂解剖环境中的鲁棒性。更有前景的是,像MASt3R(Matching and Stereo 3D Reconstruction)这样的学习方法,能够为系统提供一种“3D感知”的先验知识,即使在特征点稀疏的帧中也能生成密集、3D一致的对应关系,从而在低纹理或反射强烈的场景中稳定姿态估计,为后续的融合提供更优的初始地图。
第二支柱:从明暗中获取深度——近场恒定光照编码深度信息
第二种方法不依赖于内窥镜的运动,而是利用其独特的光学特性。刚性内窥镜的光源距离镜头仅数毫米,因此组织表面的亮度强烈依赖于其相对于光源的距离和倾斜角度。经典的“从明暗恢复形状”(Shape-from-Shading)技术经过改造,可以应用于这种近点光源的场景。更进一步,光度立体内窥镜(Photometric Stereo Endoscopy, PSE)技术通过快速切换不同方向的LED光源,从多个照明条件下捕获同一视图,从而能高密度地计算出每个像素点的表面法向,生成精确的地形图。
这种方法在骨骼和干燥的纹理表面等精细结构上表现出色。但其弱点在颅底手术中也尤为明显:镜面高光和反射会违反理想的漫反射假设,血液、湿滑的粘膜导致的反照率变化会干扰法向估算。因此,当前的研究致力于通过校准光源、检测并抑制高光,并结合微小视角变化来整合信息,以提高鲁棒性。一个经验法则是:光度法最适用于骨骼和干燥表面,但在血液、烟雾或湿润组织较多的区域,其效果会大打折扣,此时应转而依靠基于运动或深度学习的方法。
第三支柱:基于学习与生成的深度——从监督学习到基础模型应用
第三条路径摒弃了显式的几何反演,转而让模型直接从内窥镜图像中学习预测深度。目前主流是自监督学习方案:一个深度预测网络和一个姿态估计网络协同训练,使得当前帧的深度与估计的相对姿态能够重建出相邻帧,并以重建的光度误差作为学习信号。为了使模型适应手术中复杂多变的环境,训练时会掩蔽器械和高光区域,并加入几何感知的约束。
近年来,基础模型的兴起为这一领域注入了强大动力。DINOv2是一种在大规模图像数据上训练的自监督视觉变换器(VT),能生成通用的密集特征,只需极少量的内窥镜数据进行适配,就能在深度预测任务上取得优异表现。而DINOv3在DINOv2的基础上,针对密集预测任务进行了架构优化,能产生更锐利、更稳定的特征。这些通用模型提供了与深度相关的几何感知特征,使得在小规模、罕见病种的颅底内窥镜数据集上也能实现强大的深度预测性能。
与通用模型互补,MASt3R这类生成式3D先验则被设计为直接输出明确3D一致的点云对应关系。将其整合到手术SLAM或深度预测流程中,可以显著提升在困难解剖走廊中的姿态稳定性,并生成更干净、伪影更少的三维网格,这对于生成平滑、逼真、不干扰外科医生视线的虚拟3D视图至关重要。
每种方法都有其权衡。基于学习的方法速度快(可在标准GPU上实现视频速率的单帧推理)、预测密集,且对光照和变形越来越鲁棒,但它可能在其分布之外的数据上产生“自信的错误”。基于运动的方法更具可解释性,一旦校准即可获得度量上一致的绝对几何信息。基于明暗的方法能在无运动时恢复高分辨率细节,但对光学条件和组织状态要求苛刻,且实时性通常不如学习方案。
从研究到临床:挑战与展望
尽管从技术上合成虚拟3D内窥镜视频已被证明是可行的,且延迟相对较低,但要真正应用于临床,仍面临多重挑战。首当其冲的是实时性与延迟。人因学研究认为,手术中可接受的延迟需在320毫秒左右,帧率需达到30 fps以上才能提供流畅的视觉反馈。当前在高端工作站GPU(如RTX 3090)上,一些先进方法(如BodySLAM, MASt3R-SLAM)已能接近实时,但在充满血液、烟雾、高光和软组织变形的真实颅底手术场景中,其稳定性和计算效率仍需系统评估。
其次,呈现方式也至关重要。将生成的3D视图以自然、不突兀的方式整合给外科医生是成功应用的关键。目前来看,通过3D屏幕和3D眼镜呈现立体图像是更可行的方案,这已在显微镜外视镜手术中得到验证。而虚拟现实(VR)头显则因妨碍术者在手术中移开视线处理其他事务而实用性较低。
尽管存在挑战,前景依然乐观。考虑到胃肠内窥镜和腹腔镜领域持续的技术研究和管线优化,我们有理由相信,在未来十年内,将出现能够在相对标准的GPU硬件上运行、延迟低到不造成干扰的临床可用产品。尤其是在颅底手术、脑室镜、脊柱内窥镜等神经外科领域,内窥镜的使用日益增多,这项技术有望产生重要影响——它不仅能提升年轻外科医生的空间感知和操作信心,更能与基于软件的其他辅助技术(如解剖结构检测与预测)相结合,共同推动微创神经外科向更安全、更精准的方向发展。