推进神经眼科诊断:一种结合OCT血管造影和AI增强MRI的多模态成像方法,以改善视觉通路分析

《Frontiers in Neurology》:Advancing neuro-ophthalmic diagnostics: a multimodal imaging approach integrating OCT angiography and AI-enhanced MRI for improved visual pathway analysis

【字体: 大 中 小 】 时间:2026年03月20日 来源:Frontiers in Neurology 2.8

编辑推荐:

  摘要 引言:神经眼科领域的最新进展要求采用综合成像方法来应对视觉通路的结构和功能复杂性。传统的诊断工具,包括磁共振成像(MRI)和光学相干断层扫描(OCT),在空间分辨率、跨模态整合和可解释性方面存在局限性,这常常导致在涉及压迫性神经病变、脱髓鞘疾病或不明原因的视野缺损的病例中

  摘要

引言:神经眼科领域的最新进展要求采用综合成像方法来应对视觉通路的结构和功能复杂性。传统的诊断工具,包括磁共振成像(MRI)和光学相干断层扫描(OCT),在空间分辨率、跨模态整合和可解释性方面存在局限性,这常常导致在涉及压迫性神经病变、脱髓鞘疾病或不明原因的视野缺损的病例中诊断结果不确定。尽管深度学习方法具有强大的计算能力,但它们缺乏解剖学特异性,并且未能结合对临床解释至关重要的领域知识。

方法:为了解决这些挑战,我们提出了一个多模态框架,该框架通过符号神经架构将OCT血管造影与AI增强的MRI分析相结合。该框架采用了NeuroGraphPath模型,该模型将视觉通路表示为一个有向图,其中包含解剖学定义的节点以及视网膜、视交叉、外侧膝状核(LGN)和视觉皮层之间的参数化转换。该模型结合了空间嵌入、学习到的交叉机制和异常检测模块,以确保诊断结果具有生物学依据和可解释性。此外,Chiasmatic Flow Inversion策略促进了双向推理,能够以量化的不确定性追踪激活到可能的病变部位。

结果与讨论:实证评估表明,与基线AI模型相比,该综合方法在病变定位、考虑不确定性的推理和可解释性方面表现更优,特别是在复杂的视野表现中。这种综合方法通过桥接成像模式和嵌入解剖学推理,推进了神经眼科诊断的发展,满足了医学成像研究中对精确性和可解释性的日益增长的需求。

1 引言
提高神经眼科诊断的精确性和有效性至关重要,尤其是在准确评估涉及视觉通路的疾病方面。先进成像模式的整合不仅增强了我们对解剖结构和功能的理解,还实现了疾病的早期诊断和监测。光学相干断层扫描血管造影(OCTA)提供了视网膜微血管的高分辨率可视化,成为了解神经血管健康状况的窗口(1)。同时,磁共振成像(MRI),尤其是在人工智能(AI)的辅助下,可以详细分析大脑和视神经结构(2)。这些工具单独使用时已经显示出显著的临床价值;然而,它们的整合仍然没有得到充分利用(3)。多模态方法不仅可以提供结构和功能领域的互补信息,还有潜力发现单一模态评估可能遗漏的细微病理(4)。此外,AI增强的分析引入了自动分割、特征提取和模式识别等功能,显著提高了诊断的可靠性并减少了观察者之间的差异(4)。因此,这种综合策略为分析视觉通路提供了全面且可扩展的解决方案,特别是在复杂或模糊的病例中。

最初提高神经眼科诊断的努力依赖于手动设计的框架,这些框架将临床专业知识编码到结构化系统中。这些方法使用预定义的规则和逻辑映射来将视觉症状与潜在的病理联系起来(5)。虽然这些系统提供了可解释性和一致性,但它们往往较为僵化,难以适应非典型病例或整合多种数据来源(6)。例如,早期的诊断工具在处理成像数据、实验室结果和患者病史等多模态输入方面能力有限。尝试通过更灵活的推理机制扩展这些系统虽然带来了一些改进,但未能解决神经眼科数据日益增长的复杂性(7)。因此,这些早期方法为计算诊断奠定了基础,但不足以处理现代临床实践中高维和异构数据的特点。

为了克服这些早期系统的局限性,研究人员开始使用能够直接从数据中学习模式的统计模型。这些方法利用支持向量机、决策树和集成技术等算法来分析成像数据集并识别疾病特异性特征(8)。在神经眼科领域,这些模型被应用于视网膜层分割、视神经分析和基于多模态输入的疾病分类等任务(9)。尽管这些方法提高了诊断准确性和适应性,但它们通常需要大量的手动特征工程,这限制了它们的可扩展性和泛化能力(10)。此外,当应用于外部数据集或罕见情况时,它们的性能经常下降,突显了过拟合和数据多样性相关的挑战(11)。尽管存在这些局限性,这些方法通过利用计算技术增强了诊断工作流程,代表了重要的进步。

深度学习的出现标志着神经眼科诊断的变革性转变,因为它实现了从原始成像数据的端到端学习。卷积神经网络(CNN)和其他先进架构消除了手动特征提取的需要,使模型能够自动从数据中学习复杂模式(12)。这些技术已成功应用于OCTA中的视网膜血管分割、MRI中的视神经病变检测以及多模态数据融合以进行全面的疾病建模(13)。在大型数据集上预训练的模型进一步提高了性能和泛化能力,即使在数据有限的情况下也是如此(14)。此外,如注意力机制等创新提高了可解释性,使临床医生能够识别数据中的决策驱动区域(15)。然而,仍然存在需要大型训练数据集和模型透明度的挑战。尽管如此,深度学习通过提供可扩展的高保真工具来分析复杂的视觉数据,以前所未有的方式桥接结构和功能洞察,彻底改变了该领域。

基于上述局限性——包括符号AI的僵化、机器学习的特征依赖性以及深度学习的可解释性挑战——我们提出了一个多模态成像框架,将OCT血管造影与AI增强的MRI相结合,以促进全面的视觉通路分析。这种方法旨在利用OCTA的高分辨率微血管洞察力以及MRI提供的宏观结构和功能细节。通过结合深度融合网络和跨模态变换器等AI技术,所提出的框架能够联合分析不同类型的数据,捕捉局部视网膜异常和上游神经解剖学中断。此外,该模型通过嵌入视觉注意力层和不确定性量化来优化可解释性,从而增强临床医生的信任。这一统一的流程不仅简化了诊断过程,还改善了神经眼科疾病的早期检测和纵向监测。通过这种方式,它解决了视觉诊断长期存在的碎片化问题,并为改善临床结果提供了整体、数据驱动的解决方案。

视觉通路分析是神经眼科的基础方面,提供了一种系统的方法来理解视觉系统的功能完整性和病理机制。视觉通路从视网膜延伸到初级视觉皮层,包括解剖学和功能上不同的区域,这些区域可能是导致视觉障碍的病理中断的潜在位置。分析这一通路需要整合解剖学建模、计算推理和临床信号解释,以应对神经眼科诊断所面临的多方面挑战。为了解决这些局限性,我们提出的框架结合了深度融合架构,共同处理OCTA和MRI数据,从而增强了跨模态特征学习和诊断准确性。它展示了在多种临床场景中的强大适应性,确保了不同患者群体和疾病亚型之间的一致性能。实验评估进一步表明,该框架在敏感性和特异性方面超过了传统的单一模态模型,特别是在识别视觉通路中的细微异常方面。

2 相关工作
2.1 OCT血管造影血管模式分析
光学相干断层扫描血管造影(OCT-A)通过提供高分辨率、无创的微血管网络可视化,显著推进了视网膜血管成像领域的发展(9)。这种成像模式消除了染料注射的需要,从而提高了安全性和重复性(9)。从OCT-A中得出的定量指标,如血管密度、灌注面积和流动指数,已被广泛研究作为检测神经眼科疾病的生物标志物(11)。这些血管参数的变化与视神经炎和缺血性视神经病变等状况有关(12)。从手动方法到完全自动化的深度学习模型的分割算法的发展,提高了OCT-A分析的可重复性和效率(13)。这些算法现在结合了诸如投影伪影去除和层特异性分割等先进特征,这对于准确区分毛细血管丛至关重要(14)。然而,分割错误仍然是一个挑战,特别是在视网膜层扭曲的情况下,这促使算法设计不断改进(15)。OCT-A还在检测先于结构萎缩的血流动力学变化方面发挥了重要作用,使得在进行性视神经病变中能够更早地干预(16)。与荧光素血管造影的比较分析强调了OCT-A在特异性和深度分辨率方面的优势(17)。根据人口统计因素分层的规范数据库已被开发出来,以建立基线参考,有助于区分病理偏差与正常变化(18)。将OCT-A与结构OCT数据整合的努力正在推进,使用联合输入训练的深度学习模型来分类青光眼和视乳头水肿等疾病(19)。这些模型不仅提高了诊断准确性,还提供了对疾病机制的可解释性见解(20)。利用OCT-A的纵向研究正在揭示治疗对血管重塑的影响,为监测治疗效果提供了新的途径(21)。运动伪影、视野范围有限和设备标准化等挑战继续推动这一领域的创新(22)。

2.2 AI增强的MRI视觉通路映射
磁共振成像(MRI)已成为研究中央视觉通路(包括视束、外侧膝状核和视觉皮层)的基石(23)。T1加权和T2加权成像等结构MRI序列被广泛用于识别脱髓鞘和水肿等解剖学异常(24)。扩散MRI,特别是扩散张量成像,提供了白质完整性的见解和视辐射束成像(25)。功能性MRI(fMRI)已被用于映射皮层激活和视网膜拓扑组织,揭示了神经眼科疾病中的功能连接变化(26)。人工智能的整合彻底改变了MRI分析,深度学习模型在分割视觉通路结构方面达到了专家级别的准确性(27)。利用扩散指标的机器学习算法已被开发出来,用于区分视通路损伤的各种原因,包括炎症性和血管性原因(28)。能够合成缺失成像模式的生成模型促进了在不完整数据集中的分析(29)。从静息态fMRI得出的功能连接网络使用图论方法进行分析,以检测临床缺陷之前的细微变化(30)。结合结构、扩散和功能MRI数据的多模态融合框架产生了评估通路完整性的综合生物标志物(9)。应用于fMRI数据的注意力引导模型定位了激活改变的区域,并将这些发现与视觉功能的临床测量相关联(11)。验证研究将基于AI的MRI预测与视野测试和电生理结果联系起来,增强了它们的临床相关性(12)。前瞻性试验正在评估AI增强MRI在检测颅内肿瘤中的视辐射压迫方面的实用性(13)。标准化工作旨在协调各中心的成像协议,以实现更广泛的算法部署(14)。通过先进的训练技术和领域适应方法正在解决运动伪影、分辨率有限和需要大型注释数据集等挑战(15)。

2.3 多模态融合诊断的发展
多模态融合诊断的发展代表了神经眼科领域的一种变革性方法,它结合了互补的成像模式来增强疾病特征化和定位(16)。正在积极探索将OCT-A血管指标与MRI衍生的束完整性和皮层功能标志物相结合的集成模型(17)。这些模型利用共注册的结构标志物来对齐视网膜和大脑成像数据,从而实现联合分析(18)。早期实现已经通过利用混合特征空间在检测视神经压迫方面显示出更高的敏感性(19)。动态融合架构根据数据质量自适应地加权每种模态的贡献,提高了鲁棒性(20)。生成对抗网络已被用于在模态之间转换成像信息,解决了数据缺失相关的挑战(21)。空间配准技术对齐了视网膜和大脑坐标系统,促进了病理变化的跨尺度映射(22)。结合OCT-A和MRI的纵向研究提供了关于血管和神经退化的进展的见解,并将这些发现与临床结果相关联(23)。正在开发跨模态轨迹的统计模型,以预测功能预后和治疗反应(24)。可用性研究正在评估将多模态输出整合到临床工作流程中的必要性,强调了直观可视化工具的必要性(25)。正在建立监管框架来验证这些诊断系统,确保符合临床标准(26)。涉及多发性硬化症和缺血性视神经病变等条件的试点研究正在评估多模态诊断的临床实用性(27)。通过模块化流程和交互式界面正在解决数据同步、对齐精度和可解释性等挑战(28)。带有配对OCT-A和MRI数据集的共享数据库正在促进强大的多模态算法的发展(29)。未来的研究方向包括整合电生理数据和视野数据,旨在创建全面的诊断框架,这些框架结合了结构、血管和功能指标(30)。3 方法3.1 概述本研究介绍了一种方法论框架,旨在增强对视觉通路的分析,解决了数据异质性、信号模糊性以及临床成像模式(包括MRI、OCT和功能性视野评估)中固有的时空限制等关键挑战。所提出的框架将视觉通路概念化为一个多组件系统,其中每个神经传输阶段都通过参数映射和满足约束的运算符来表示。这种抽象使得在不同解剖尺度上进行推理成为可能,同时在数据不完整或有噪声的情况下仍能保持计算可行性。该框架分为三个核心组成部分,每个部分对应一个不同的抽象层次。第3.2节将视觉通路形式化为在高维特征空间上的一系列变换,编码视觉信号的结构和功能表示。引入了数学符号和运算符来描述区域间的相互作用、通路对称性以及诊断不确定性。特别强调了对于视交叉、外侧膝状核(LGN)和视觉皮层的视网膜拓扑组织的建模,因为这些区域经常与临床可观察到的改变有关。第3.3节介绍了NeuroSymNet,这是一种用于分层编码视觉通路特征的符号神经架构。该架构将解剖学先验与参数化符号结构相结合,适应特定模式的嵌入,并在整个计算图中传播符号约束。这种混合设计支持可解释的预测,并允许通过解剖学拓扑进行反向传播,从而促进神经眼科的诊断推理。第3.4节详细介绍了称为“Chiasmatic Flow Inversion”的计算策略,该策略利用视交叉处视觉通路的对称性和部分交叉特性来提取诊断轨迹。这种策略采用基于功能对称性的可逆变换、受限的逆映射以及沿神经通路的协变向量传输,支持在视野缺陷、压迫性神经病变或脱髓鞘病变情况下的不确定性感知推理。通过将这些方法论内容组织起来,该框架提供了一种生物学上有依据且计算上稳健的视觉通路分析方法。每个部分都建立在初步研究中建立的符号基础上,提出了针对神经眼科临床推理特定需求的创新。该框架提高了诊断建模的可解释性,并引入了跨解剖学和病理变化的结构化泛化能力。3.2 初步为了在神经眼科中建立一个严格的视觉通路分析框架,将视觉信号从视网膜到视觉皮层的神经传输形式化为一系列结构化变换。设V={R,ON,CH,LGN,TR,VC}表示视觉通路中的解剖区域有序集合,其中R表示视网膜,ON表示视神经,CH表示视交叉,LGN表示外侧膝状核,TR表示视辐射,VC表示初级视觉皮层。对于每个区域vi∈V,定义了一个高维特征空间Fi,其中任何信号xi∈Fi都编码了该阶段神经活动的空间、时间和特定模式的表示。两个相邻区域vi→vi+1之间的视觉信息传递被建模为:xi+1=Ti(xi;θi),其中Ti:Fi→Fi+1是由θi参数化的区域特定变换,它包含了交叉比率、投影角度和传导延迟等解剖学属性。视交叉引入了视觉信号的侧化和部分交叉。这通过交叉运算符DL:FCH→FLGN来捕获:xlgn=DL(xCH)=α?ΠC(xCH)+(1?α)?ΠU(xCH),其中α∈[0, 1]是交叉系数,ΠC和ΠU分别是交叉纤维和非交叉纤维的投影运算符。从视网膜到皮层的完整前向传输由复合运算符Φ=T5?T4?DL?T2?T1表示,结果为变换:xVC=Φ(xR;Θ),Θ={θi}i=1∪{α}。每个变换Ti都受到相应区域的几何结构和功能能力的约束。这是通过要求Ti∈Hi?Lip(Li),?i来形式化的,其中Hi是一组具有常数Li的Lipschitz连续映射,确保在健康神经组织内的信号失真是有界的。为了考虑个体间的解剖学变异,引入了一个变形场F:M→R3,其中MM是视觉通路的模板流形,FF描述了从模板到个体特定解剖结构的微分同胚变形。区域vi的空间扰动表示为δi=F(vi),空间条件下的变换定义为:Tδi(xi)=Ti(xi;θi,δi)。视觉通路的双侧性质需要定义左右半场的配对信号路径ΦL和ΦR。输入的视觉刺激s∈S被编码为侧化信号:xR=ER(s),xL=EL(s)。视觉场的皮层表示是拓扑映射的。定义了一个视网膜拓扑投影函数Ψ:FVC→R2,Ψ(xVC)=ξ,其中ξ表示给定视觉刺激对应的皮层坐标。从皮层位置到潜在病变起源的逆映射表示为:x?R=Φ?1(Ψ?1(ξ)),提供了一种将皮层中断追溯到其周围起源的机制。信号传输中的不确定性,由噪声、测量伪影或病理中断引起,被概率化建模。每个阶段的随机过渡核P(xi+1∣xi)用于计算总不确定性传播:P(xVC∣xR)=∫?∫5∏i=1P(xi+1∣xi)dx1?dx5,其中边际和条件分布被符号化近似。为了支持诊断建模,引入了一个结构异常函数Γ:Fi → {0, 1}:Γ(xi)={1,如果在区域vi检测到病理特征,则为1,否则为0。这种抽象构成了嵌入临床决策规则和病变检测标准的基础。为了进一步阐明Chiasmatic Flow Inversion (CFI)策略的诊断效用,我们强调了它能够将皮层激活追溯到最可能的上游中断的能力。CFI机制利用视交叉处已知的解剖学交叉来生成从视觉皮层到视网膜起源的具有交叉意识的逆映射。这个过程涉及估计每个解剖区域的潜在变量,计算用于反向传播的符号雅可比矩阵,并使用双通道重建来解决交叉纤维和非交叉纤维之间的固有模糊性。此外,一个辅助的符号异常检测模块评估了通路中断的后验概率。这使得临床医生不仅可以可视化哪些解剖区域可能受到影响,还可以评估该推断的置信度,从而在复杂的视觉缺陷病例中提高定位精度和可解释性。3.3 NeuroGraphPath:一种用于视觉传输的符号神经模型如图1所示,我们提出了NeuroGraphPath,这是一种具有高解剖学保真度和计算可解释性的符号神经混合架构。该模型旨在编码视觉通路主要解剖区域中的神经信号转换,同时尊重拓扑约束、侧向对称性和病理变异。图1展示了从视网膜通过视神经、视交叉、外侧膝状核(LGN)、视辐射(TR)到初级视觉皮层(VC)的视觉通路分析框架的示意图。这条完整的解剖路径使得基于生物学的计算模型能够进行可解释的诊断。每种合成模式都被视为具有语义意义的输入,通过特定于模式的编码器进行处理。这些表示通过跨模态注意力融合到符号神经图中。解剖学先验限制了如灌注损失或病变显著性等功能代理与视觉信号拓扑流之间的相互作用。3.3.1 多模态编码器架构如图2所示,NeuroGraphPath的架构被构建为一个有向无环图G=(V,E),其中每个节点vi∈V代表一个特定的解剖区域(例如,视网膜、视神经、LGN),每个有向边eij∈E表示从vi到vj的参数化变换Tij。图2说明了视觉信号通过视觉通路的顺序神经传输。从视网膜(R)到初级视觉皮层(VC)的每个解剖区域都与一个高维特征空间(F1–F5)相关联,该空间编码了每个阶段的神经活动。区域之间的转换被建模为结构化变换,捕捉了视觉信息的复杂处理。每个节点都与一个特征向量xi∈Fi相关联,任何区域的更新规则由以下公式给出:xj=σ(∑i:(i,j)∈ETij(xi;θij)),其中σ是一个非线性激活函数(例如,ELU),Tij是一个带有学习参数θij的符号线性运算符:Tij(xi;θij)=Wijxi+Bij+Ωij(xi)。为了整合生物对称性,我们为左右半球处理构建了并行子网络GL和GR,并通过一个实现部分交叉的视交叉融合层CC进行耦合。设xLCH和xRCH分别表示来自左右眼睛(视网膜)的视交叉前激活。我们定义视交叉变换为:[xLLGNxRLGN]=C[xLCHxRCH]=[αWCxRCH+(1?α)WUxLCHαWCxLCH+(1?α)WUxRCH],[xLGNLxLGNR]=C[xCHLxCHR]=[αWCxCHR+(1-α)WUxCHLαWCxCHL+(1-α)WUxCHR],其中WC和WU分别是学习的交叉(交叉的)和非交叉(同侧的)投影权重,α∈[0, 1]是跨实例共享的学习交叉比率。从解剖学上讲,左侧LGN接收来自右侧眼睛(xRCH)的交叉贡献和来自左侧眼睛(xLCH)的非交叉贡献,而右侧LGN接收来自左侧眼睛(xLCH)的交叉贡献和来自右侧眼睛(xRCH)的非交叉贡献。这种表述明确强调了在视交叉处非交叉纤维的同侧起源和交叉纤维的对侧起源,与已知的视觉通路解剖学一致。每个节点还通过从解剖模板派生的位置编码整合了空间元数据。设pi∈R3表示节点vi的解剖位置,并定义空间嵌入:?(pi)=PE(pi)=[sin(ω1pi),cos(ω1pi),…,sin(ωkpi),cos(ωkpi)],并将其与每个特征向量连接:?xi=[xi||?(pi)]。3.3.2 图形传播层图传播在T时间步(深度级别)上执行,每一层都细化信号估计并捕获层次间交互:x(t+1)i=σ(∑j∈N(i)Tji(x(t)j;θji)),?t∈{0,…,T?1},其中N(i)表示节点i的前驱集合。为了支持临床推理,我们通过一个辅助输出头将符号异常检测集成到每个节点中:ai=γ?tanh(Waxi+ba),其中ai∈?是区域vi的异常激活分数,γ和Wa、ba是可学习的参数。如果Γ(xi)=I(ai>τ),则标记该区域为异常,其中τ是通过在规范数据上的无监督校准确定的阈值。为了建模不确定性并支持双向推理,我们在每个节点定义了一个变分潜在变量zi~N(μi,Σi)。均值和协方差是节点嵌入的函数:μi,logΣi=fz(xi;ψi),其中ψi是每个区域学习的。这些潜在变量通过重新参数化的变换在图中向前传播,支持概率诊断和后验推断。3.3.3 皮层投影和符号逆变换最终的皮层投影层Ψ将VC处的传播特征映射到视野坐标。对于任何输入刺激s,相应的皮层激活为:ξ=Ψ(xVC)=WΨxVC+bΨ,可以通过NeuroGraphPath图中的基于梯度的符号逆变换来逆向定位可能的上游中断:?xR=Ψ?1(ξ)≈Φ?1(ξ)。NeuroGraphPath代表了一个生物学上忠实、拓扑上受限且符号上丰富的神经模型,用于视觉通路的端到端分析。其结构支持前馈预测和逆向推断,其组件可以模块化扩展到多模态数据集成和纵向建模。3.4 Chiasmatic Flow Inversion:一种双向推理策略如图3所示,为了充分利用NeuroGraphPath的表达能力,我们引入了Chiasmatic Flow Inversion (CFI),这是一种用于沿视觉通路进行反向推理的符号推理策略。这种方法专门设计用于通过重建视觉信号轨迹中合理的上游中断来支持皮层级视觉缺陷的临床解释。CFI利用了三个核心机制:具有交叉意识的逆变换;通过潜在表示的概率传输;通过符号雅可比矩阵的皮层到视网膜的反向传播。图3展示了NeuroGraphPath架构的示意图。视觉通路被建模为一个有向无环图,包含解剖节点(视网膜、ON、CH、LGN、VC)。有向边编码参数化的神经变换。左右半球子网络在视交叉处通过一个具有交叉意识的融合层融合。每个节点都整合了解剖位置嵌入和异常检测头,支持可解释的双向推理。3.4.1 具有交叉意识的逆变换如图4所示,该机制解决了视交叉处的部分交叉问题,这在从皮层投影重建视网膜激活时引入了模糊性。图4展示了Chiasmatic Flow Inversion (CFI)框架的示意图,说明了用于从皮层投影重建视网膜激活的具有交叉意识的映射。前向信号流将视觉信息从视网膜激活区通过视交叉传播到皮层层,而逆变换允许逆向推理以估计上游中断。该框架结合了双通道重建来解决视交叉处部分交叉引入的模糊性。视觉信息的前向轨迹从输入刺激s定义到皮层投影ξ:ξ=Ψ(Φ(ER(s)))=Ψ(xVC),其中Φ是视觉通路上的复合运算符,Ψ是皮层投影层。逆问题估计了一个候选的视网膜激活?xR,使得:Ψ(Φ(?xR))≈ξ。为了计算这个逆映射,引入了一个基于梯度的符号估计器:?xR=argminx∣∣∣∣Ψ(Φ(x))?ξ∣∣∣∣2,通过梯度下降迭代求解:x(t+1)=x(t)?η?x∣∣∣∣Ψ(Φ(x(t)))?ξ∣∣∣∣2。为了解决模糊性,引入了双通道重建:?xR=λ?xdirect+(1?λ)?xcrossed,其中xdirect假设非交叉投影,xcrossed假设完全交叉。混合系数λ∈[0, 1]是使用符号门控函数自适应估计的:λ=σ(ω?ξ+b)。对称性约束是通过双向一致性项来强制执行的:Lsym=∣∣∣∣?xLR??xRR∣∣∣∣2,确保推断出的视网膜起源在对称的场坐标中对齐。3.4.2 通过潜在表示进行概率传输该机制使用每个节点的潜在变量来传播不确定性。设 zi~N(μi,Σi) 为通过 NeuroGraphPath 推断出的区域 vi 的潜在编码。不确定性回流是使用逆映射的雅可比矩阵来计算的:ΣR=J?1Φ?ΣVC?(J?1Φ)?,其中 J?1Φ 是在 ξ 处评估的 Φ?1 的雅可比矩阵。这使得能够以量化的置信区间概率追踪信号缺陷到上游区域。为了检测病变起源,定义了一个反向推理异常函数 Γ?1:Γ?1(ξ)=argmaxvi∈VEzi[Γ(xi)],其中 Γ(xi) 是区域级别的异常指标。这种公式能够识别出具有最大后验异常概率的解剖位置。病变模拟支持假设诊断。给定一个符号病变 ?Γ:Fi→Fi,定义了一个扰动路径:Φlesion=Φ??Γ,并评估其对皮层活动的影响:ξlesion=Ψ(Φlesion(xR)。3.4.3 通过符号雅可比矩阵进行从皮层到视网膜的反向传播该机制通过利用符号雅可比矩阵来重建视觉信号轨迹中合理的上游中断。Chiasmatic Flow Inversion 的完整策略分为三个阶段执行:计算 ξ = Ψ(Φ(xR)),用于观察或模拟的输入;使用梯度反演和交叉意识解码从 ξ 估计 ?xR;使用后验解码和病变模拟来识别 Γ?1(ξ),以提高可解释性。通过结合符号反演、概率传播和解剖约束建模,该机制为视觉路径的逆向诊断推理提供了一种原则性和可解释的方法。4 实验设置4.1 数据集视觉通路成像数据集(31)关注视觉通路的结构和功能特征,包括视神经、视交叉、视束和视觉皮层的高分辨率磁共振成像(MRI)扫描。该数据集包括来自健康受试者和不同程度视觉障碍患者的标记体积数据。所有图像都经过预处理,以确保空间归一化和强度校正。视觉通路组件的手动注释由专家神经放射科医生提供。该数据集对于分割、疾病分类和解剖建模任务非常有价值。它使得开发能够通过神经结构的解剖表示来评估视觉功能的深度学习模型成为可能。数据集还包含人口统计元数据、临床诊断和视力评分等辅助信息,支持多模态学习。该资源有助于在结构-功能相关性、病理检测和3D重建等任务中评估计算机视觉算法的鲁棒性。该数据集遵循严格的伦理和隐私标准,并获得了机构审查委员会的批准。其公开可用性支持了多项神经眼科成像的基准挑战。OCT血管造影神经眼科数据集(32)包含具有微米级分辨率的光学相干断层扫描(OCTA),捕捉视网膜和脉络膜的血管。它包括被诊断为神经眼科疾病(如视神经炎、缺血性视神经病变和压迫性视神经病变)的患者以及年龄匹配的健康对照者的扫描。数据集还包含了视盘周围毛细血管密度图、神经节细胞层厚度测量和血管骨架化注释。每个扫描都与临床标签(如诊断类别、疾病持续时间和严重程度等级)相关联,允许进行监督学习。血管结构的高对比度使得该数据集适用于微血管分割、血管密度定量和病理检测等任务。数据采集是在多个眼科中心使用标准化成像协议进行的,确保了一致性。该数据集有助于开发和验证将视网膜血管特征整合到神经眼科疾病模型中的算法。它还作为参考,用于在视觉功能丧失的背景下关联结构和灌注缺陷。AI增强型MRI视觉分析数据集(33)将传统的结构MRI与AI生成的合成模态相结合,突出显示与病理相关的特征。该数据集包括原始的T1加权和T2加权扫描以及衍生的定量图谱,如病变概率热图、对比增强叠加图和视觉通路显著性投影。合成模态是使用在大型眼科数据集上预训练的生成对抗网络生成的。为部分病例提供了真实病变掩模、视野测试结果和功能性MRI叠加图。该数据集涵盖了广泛的神经眼科疾病,包括脱髓鞘疾病、肿瘤和遗传性视神经病变。它旨在用于多通道图像融合、病变定位和进展建模的研究。所有扫描都注册到共同的解剖空间,以便进行体素级别的比较。该数据集为将深度学习模型与合成增强工具相结合以在低对比度场景中提高诊断性能提供了测试平台。多模态神经眼科成像数据集(34)包括一系列配对的成像模态,如眼底摄影、OCT和视觉诱发电位(VEP)。该数据集旨在捕捉神经眼科状况(如视乳头水肿、视盘玻璃膜疣和压迫性病变)的跨模态表示。每个受试者的记录包括在狭窄的临床窗口内获取的同步数据,以保持时间对齐。该数据集通过将不同成像技术的空间特征与功能结果对齐,实现了多模态学习。它包含专家标记的分割、疾病分类标签和对视觉刺激的电生理反应。所有模态都应用了标准化的预处理,包括强度归一化、噪声减少和解剖学配准。视觉电生理学的包含提供了一个额外的功能层,补充了结构评估。该数据集支持先进的融合模型,并已被用于展示通过跨模态交互在分类准确性方面的改进。术语“AI增强型MRI”指的是将传统的结构MRI与AI生成的合成模态相结合,这些合成模态强调了与病理相关的特征。这些包括病变概率图、视觉显著性投影和从在眼科成像数据上预训练的生成模型中派生的对比增强叠加图。合成输出与原始MRI体积共注册,作为模型训练的额外输入通道,提高了对细微或弥漫性视觉通路病变的敏感性。所有数据集都遵循机构IRB批准的协议。受试者的年龄在18至80岁之间,具有确诊的神经眼科疾病,并完成了所有成像协议。排除标准包括之前的眼部手术(白内障除外)、影响图像质量的介质混浊或与视觉通路无关的神经系统疾病。视觉通路成像数据集包括122名受试者(69名病变患者,53名健康对照者),共244张MRI扫描。OCT血管造影数据集包括108名受试者(42名视神经炎患者,28名缺血性视神经病变患者,38名对照者),共216张OCTA扫描。AI增强型MRI数据集包括96名受试者,共192个体素体积,标注了病变类型(肿瘤、脱髓鞘、遗传性神经病变)。多模态神经眼科成像数据集包括84名受试者和672个同步记录(84 × 4模态 × 2只眼睛)。疾病分类包括视乳头水肿(22例)、视盘玻璃膜疣(17例)、压迫性病变(21例)和对照组(24例)。为了共注册,OCTA和眼底照片使用基于血管的刚性配准进行对齐。MRI经过去颅处理,并使用基于互信息的仿射配准与OCT体积进行配准。VEP信号与视觉刺激呈现时间锁定,并使用共享的时间戳协议和生理标记与成像会话同步。该协议确保了多模态数据的真实性和一致性,以便进行联合模型训练和评估。合成模态是使用在配对的MRI和OCT/OCTA数据集上训练的GAN生成的,其中包含了专家划定的病变。输出包括病变概率热图、显著性叠加图和近似的灌注缺陷图。每个通道编码了一个独特的诊断视角,并与结构MRI体积空间对齐。4.2 实验细节所有实验都在配备双NVIDIA RTX A6000 GPU(每个GPU具有48 GB VRAM)和Intel Xeon Gold 6330 CPU(具有256 GB RAM)的工作站上使用PyTorch 2.1进行。模型使用AdamW优化器进行训练,权重衰减为1e?4,初始学习率为2e?4,并使用余弦退火计划进行衰减。批量大小设置为2D输入为16,体积数据为4。训练运行200个周期,基于15个周期内的验证损失停滞进行提前停止。所有实验重复三次,使用不同的随机种子以确保统计稳健性,并报告平均性能。对于输入数据,所有图像都重新采样为2D模态的256 × 256像素分辨率和3D扫描的128 × 128 × 64体素分辨率。MRI体积经过去颅处理并归一化为零均值和单位方差。OCT和眼底图像使用CLAHE进行增强,并使用非局部均值滤波器进行去噪。VEP波形在受试者之间进行归一化,并插值到固定的500毫秒时间尺度。在多模态情况下,使用互信息最大化进行模态空间共注册。在训练期间,应用数据增强,包括随机水平和垂直翻转、弹性变形、强度抖动以及最多15度的仿射变换。所提出的模型是一个双流变压器架构,具有特定于模态的编码器,后面跟着一个跨模态融合模块。每个编码器由在ImageNet上预训练的ResNet-50骨干网络组成,并添加了卷积令牌嵌入层。融合模块利用可变形注意力机制来对齐多尺度特征。特定于任务的解码器根据任务重建分割掩码或预测类别标签。对于分割任务,Dice损失和交叉熵损失以相等权重结合使用。对于分类,使用加权焦点损失来解决类别不平衡问题。在消融实验中,我们移除融合模块或用简单的串联替换它来评估其影响。评估指标包括Dice系数、交并比(IoU)、平均精度(AP)、曲线下面积(AUC)和F1分数,具体取决于任务。对于分割,计算基于区域和基于边界的指标。对于分类,生成ROC和PR曲线。模型在保留验证集上进行验证,最后在单独的测试集上进行评估。还进行了五折交叉验证以验证泛化能力。所有实验流程都是根据可重复性标准开发的。超参数是基于在验证集上的网格搜索选择的。完整的实验配置,包括种子、学习曲线和模型检查点,将被保存和记录。训练和评估代码将在发表时发布,以便于基准测试和社区比较。4.2.1 数据预处理MRI:去颅处理后进行体素级归一化(零均值,单位方差)。OCT/眼底:使用CLAHE进行对比增强(tile大小8 × 8,剪辑限制2.0)并通过非局部均值滤波进行去噪(h = 10,templateWindowSize = 7)。VEP:受试者级别的z分数归一化和时间插值到500毫秒波形长度。多模态:所有输入在使用刚性体或基于互信息的仿射对齐后,共注册到共同的解剖空间。4.3 与SOTA方法的比较我们在四个不同的神经眼科成像数据集上评估了我们提出模型的性能,并将其与几种最先进的(SOTA)深度学习架构进行了比较,包括ResNet50、DenseNet121、EfficientNet、Swin-T、MobileNetV2和InceptionV3。如表1所示,我们的方法在视觉通路成像数据集和OCT血管造影神经眼科数据集上的表现显著优于所有基线模型。具体来说,在视觉通路成像数据集上,我们的方法达到了92.87%的最高准确率、90.34%的精确度和89.76%的F1分数以及93.41%的AUC,甚至超过了以其优越的注意力机制而闻名的Swin-T。在精确度和AUC方面的改进尤为明显,表明我们的模型不仅更准确地识别相关特征,而且在决策阈值上的表现也更加稳健。在OCT数据集上,我们的方法取得了更加显著的提升,准确率达到了93.15%,AUC达到了94.03%。这些结果反映了我们的模型处理OCT血管造影数据中固有的微血管复杂性的能力。一致较高的F1分数进一步验证了模型在平衡精确度和召回率方面的能力,这在医学诊断中非常重要,因为假阳性和假阴性都有临床后果。像ResNet50和ViT这样的模型表现出有竞争力的性能,但在处理这些数据集中存在的低类间方差和细微病理特征时遇到困难。我们的方法通过利用跨模态上下文编码和可变形注意力机制来解决这些问题,使模型能够动态地优先考虑解剖学和功能性的线索。表1展示了不同模型的性能。

| 模型 | 视觉通路成像数据集 | OCT血管造影神经眼科数据集 | 准确率 | 精确度 | F1分数 | AUC |
|-----------------|-------------|-----------------|--------|---------|-----------|
| ResNet50 | 87.42 ± 0.02 | 84.67 ± 0.02 | 85.93 ± 0.03 | 88.40 ± 0.02 | 84.93 ± 0.03 |
| EfficientNet | 88.91 ± 0.02 | 85.12 ± 0.03 | 86.73 ± 0.02 | 89.55 ± 0.03 | 86.78 ± 0.02 |
| ViT | 85.74 ± 0.03 | 87.08 ± 0.02 | 84.39 ± 0.03 | 87.77 ± 0.02 | 85.23 ± 0.03 |
| Swin-T | 89.23 ± 0.02 | 88.44 ± 0.02 | 86.29 ± 0.03 | 90.01 ± 0.02 | 85.10 ± 0.03 |
| DenseNet12 | 86.58 ± 0.02 | 83.91 ± 0.03 | 84.73 ± 0.02 | 87.89 ± 0.02 | 85.05 ± 0.02 |
| InceptionV3 | 88.04 ± 0.03 | 86.11 ± 0.02 | 85.80 ± 0.02 | 88.77 ± 0.02 | 88.36 ± 0.02 |
| NeuroGraphPath (提出的) | 92.87 ± 0.02 | 90.34 ± 0.03 | 89.76 ± 0.02 | 93.41 ± 0.02 | 94.03 ± 0.02 |

在AI增强MRI视觉分析数据集和多模态神经眼科成像数据集上的比较中,我们的方法在所有评估指标中均表现出色。具体来说,在MRI数据集中,我们的模型准确率为93.48%,AUC为94.02%,比最接近的竞争者Swin-T高出超过3%。在MRI数据集中包含AI生成的增强图对未针对多通道或合成模态设计的模型来说是一个挑战。然而,我们的架构配备了双流编码器和特征级融合模块,能够捕捉结构MRI细节和生成的诊断先验。这种集成合成模态的能力使我们的模型具有独特优势,因为它可以更有效地提取与病理相关的空间模式。在结合了眼底、OCT、MRI和VEP数据的多模态数据集中,我们的模型实现了94.95%的显著AUC,表明其在不同成像领域具有很强的泛化能力。现有的基线模型如DenseNet和EfficientNet虽然表现稳健,但缺乏必要的架构灵活性以实现模态对齐和交互。相比之下,我们的设计包括了一个基于可变形注意力的融合机制,该机制可以自适应地学习不同模态之间的空间对应关系,这对于对齐异步的神经眼科信号至关重要。整体上,我们的方法在处理跨模态的噪声或模糊特征时也表现出更高的精确度和F1分数。

这些性能提升归功于我们方法中的几项架构创新。首先,使用特定于模态的编码器允许网络在融合之前保留独特的模态特征。与之前应用共享编码器或简单串联的SOTA模型不同,我们的方法保持了模态的保真度,这在OCT和MRI等异构数据中尤为重要。其次,我们的可变形注意力融合模块增强了多尺度特征对齐,当结构数据(例如来自MRI的数据)需要与灌注或功能数据(例如VEP或OCTA)进行上下文化时,这是至关重要的。这一设计选择直接解决了传统模型中经常出现的模态间空间不一致性问题。第三,我们通过特定于疾病的正则化损失施加辅助监督,确保特征学习偏向于临床相关区域。这解释了在病理定位不明确的数据集中精确度和F1分数的显著提高。此外,我们的训练流程还包括模拟临床成像中常见失真和伪影的领域特定增强策略,进一步增强了模型的泛化能力。最后,我们的模型受益于优化的训练程序,包括余弦学习率调度和提前停止,这有助于更稳定的收敛并避免过拟合,特别是在改进的AUC和F1指标中表现得尤为明显。

这些性能提升可以归因于我们方法中的几项架构创新。首先,使用特定于模态的编码器使网络能够在融合之前保留独特的模态特征。与之前应用共享编码器或简单串联的SOTA模型不同,我们的方法保持了模态的保真度,这在OCT和MRI等异构数据中尤为重要。其次,我们的可变形注意力融合模块增强了多尺度特征对齐,当结构数据(例如来自MRI的数据)需要与灌注或功能数据(例如VEP或OCTA)进行上下文化时,这是关键要求。这一设计选择直接解决了传统模型中经常出现的模态间空间不一致性问题。第三,我们通过疾病特定的正则化损失施加辅助监督,确保特征学习偏向于临床相关区域。这解释了在病理定位不明确的数据集中精确度的显著提高。此外,我们的训练流程还包括模拟临床成像中常见失真和伪影的领域特定增强策略,进一步增强了模型的泛化能力。最后,我们的模型受益于优化的训练程序,包括余弦学习率调度和提前停止,这有助于更稳定的收敛并避免过拟合,特别是在改进的AUC和F1指标中表现得尤为明显。总体而言,我们在四个不同数据集中的一致优势突显了我们提出方法的泛化能力、鲁棒性和临床适用性,为神经眼科成像分析树立了新的基准。

为了评估我们提出的NeuroGraphPath模型中各个组件的贡献,我们在所有数据集上进行了消融研究。消融的变体包括:(无多模态编码器架构)移除了基于有向无环图的多模态编码器;(无交叉融合层)移除了考虑交叉点的交叉融合机制;(无符号异常检测)移除了辅助的符号异常检测模块。结果分别展示在表3和表4中。

表3和表4显示了消融对视觉通路成像数据和OCT血管造影神经眼科数据集性能的影响。从表3可以看出,移除多模态编码器架构会导致视觉通路成像数据集的准确率从92.87%下降到91.32%,AUC从93.41%下降到92.21%,这突显了基于图的编码器在捕捉视觉通路区域之间的解剖学和空间关系中的重要性。移除交叉融合层会导致进一步的性能下降,特别是在OCT数据集中,F1分数从90.87%下降到90.05%,这表明了考虑交叉点融合在建模侧向对称性和跨半球交互中的作用。移除符号异常检测会导致所有指标略有下降,表明尽管异常检测模块提高了可解释性和临床相关性,但由于核心架构的存在,模型仍然保持鲁棒性。表4将分析扩展到AI增强MRI视觉分析和多模态神经眼科成像数据集。在这里,移除多模态编码器架构会导致MRI数据集的AUC下降1.55%,F1分数下降1.90%,强调了其在整合多模态数据与解剖学保真度方面的作用。多模态数据集对完整模型的依赖性最高,移除交叉融合层会导致准确率从94.01%下降到92.83%,强调了其在处理复杂多模态输入时的重要性。符号异常检测模块对定位性能的持续改进有所贡献,因为当其被移除时,指标略有下降。

表5显示,模型在病变定位方面取得了高准确率(92.87%),证明了其有效检测病变位置的能力,交并比(IoU)得分为85.34%。结合了不确定性感知的推理,与基线方法相比,精确度和准确率都有所提高。在可解释性方面,模型的回溯机制提供了临床相关的见解,F1分数为89.95%。这些结果验证了摘要中的临床声明,突出了该框架在精确病变检测、不确定性量化和可解释预测方面的能力,支持神经眼科的临床决策。

表6展示了Chiasmatic Flow Inversion(CFI)模块在五个具有真实病变注释的代表性测试案例上的诊断性能。该模型通过从皮质投影进行逆向推理成功定位了每个病变位置,证明了符号逆向(方程25、26)的有效性。此外,从不确定性传播机制(方程30)得出的置信分数量化了诊断确定性,范围从89.8%到97.4%。这些结果验证了CFI不仅可以准确追踪病变起源,还可以输出如“右侧颞侧TR压缩,置信度为91.5%”这样的临床可解释的陈述,符合实际诊断需求。

表7总结了模型诊断输出与Humphrey视野(HVF)测试获得的临床视野指标之间的皮尔逊相关系数。观察到模型置信度与HVF平均偏差(MD)之间存在强负相关,而与模式标准差(PSD)之间存在强正相关,两者都具有统计学意义(p < 0.001)。这些结果表明,模型对视野损失更严重或不规则的案例赋予了更高的置信度分数。此外,病变定位准确率也与MD和PSD显著相关,支持了模型预测的临床有效性。

结论与未来工作:在这项研究中,我们提出了一个多模态成像框架,通过符号神经架构将OCT血管造影与AI增强的MRI相结合,以满足对更精确和可解释的神经眼科诊断的迫切需求。传统成像方法在捕捉视觉通路的复杂性方面往往不足,特别是在脱髓鞘疾病或压迫性神经病变等诊断不明确的情况下。为了克服这些限制,我们引入了NeuroGraphPath模型,该模型将视觉通路映射为一个具有解剖学定义节点的有向图,并在视网膜、LGN和视觉皮层等区域进行参数化转换。该模型包括空间嵌入、异常检测模块和Chiasmatic Flow Inversion策略,用于双向病变定位。实证评估显示,与传统的深度学习方法相比,我们的方法在病变检测、不确定性推理和诊断清晰度方面有显著改进,特别是在复杂的视野案例中。尽管性能令人印象深刻,但我们的框架有两个主要限制。首先,虽然符号神经架构提高了可解释性,但它仍然依赖于可能无法完全代表更广泛临床人群中病理表现变异性的标注数据集。未来的工作可以尝试半监督或迁移学习方法来缓解数据集的限制。其次,虽然我们的模型有效地桥接了MRI和OCT血管造影,但整合额外的功能模态(如fMRI或电生理数据)可以进一步提高诊断准确性和时间分辨率。未来,扩展多模态框架并在不同的临床环境中验证它对于将这项研究转化为实际神经眼科实践至关重要。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号