DPAT-Net:用于有限视角光声图像重建的瓶颈轴向注意力顺序双域网络

《Photoacoustics》:DPAT-Net: A sequential dual-domain network with axial attention for limited-view photoacoustic image reconstruction

【字体: 大 中 小 】 时间:2026年10月09日 来源:Photoacoustics 6.9

编辑推荐:

  在有限视角条件下,光声成像(PAI,photoacoustic imaging)常因数据不完整而遭受严重重建伪影,从而损害图像解释与定量分析。该研究中,研究人员提出DPAT-Net,一种端到端重建网络,将已知采集几何与学习到的测量域和图像域先验相结合。该网络采

  
在有限视角条件下,光声成像(PAI,photoacoustic imaging)常因数据不完整而遭受严重重建伪影,从而损害图像解释与定量分析。该研究中,研究人员提出DPAT-Net,一种端到端重建网络,将已知采集几何与学习到的测量域和图像域先验相结合。该网络采用“双域处理”策略:在数据域,带有瓶颈轴向注意力的混合正弦图增强模块通过建模长程传感器轴依赖关系处理有限视角传感器-时间数据;随后,固定几何可微反向投影(DBP,Differentiable Back-Projection)层将增强后的传感器-时间数据和原始有限视角测量映射到图像域,同时允许图像域梯度到达上游增强模块;最后,图像细化网络融合两幅初步图像以产生最终重建。在血管仿真数据集、在体小鼠脑数据集和公共PATATO临床前体模数据集上的验证表明,在有限视角采样下,该方法的峰值信噪比(PSNR,Peak Signal-to-Noise Ratio)和结构相似性指数(SSIM,Structural Similarity Index Measure)高于所评估的基线方法。值得注意的是,在体数据集上,所提出方法仅使用四分之一测量数据(32个通道)时,相对于全视角参考重建,在所评估方法中取得最高PSNR和SSIM,在RTX 4090 GPU上每幅图像推理时间为9.97 ms。
Yongqiang Gong等研究人员提出DPAT-Net,用于有限视角光声图像重建。光声成像(PAI,photoacoustic imaging)通过检测生物组织吸收脉冲激光后产生的热弹性超声波,反映光学吸收,兼具高光学对比度和声学穿透深度,已用于糖尿病微血管并发症评估、血管疾病评价和多模态光声成像等。实际系统中,硬件成本、扫描速度、探头尺寸和声学访问几何限制数据采集,便携或快速成像可能只使用有限角孔径或稀疏探测器。不完整角度采样破坏部分声波前信息,导致条纹伪影、背景污染和细结构丢失,降低后续定量分析和诊断可靠性。有限视角重建是严重病态逆问题。通用反投影(UBP,Universal Back-Projection)和延迟叠加(DAS,Delay-and-Sum)计算高效,但无法补偿缺失视角,通常留下强伪影;迭代模型重建可结合物理前向模型和手工正则,但在严重欠采样下可能过平滑弱结构,且重复前向/反向计算昂贵。深度学习成为替代方案。现有学习策略可按先验施加位置分为直接传感器数据、初步重建图像、跨测量和图像域。图像域后处理如MSD-Net、注意力多尺度小波、Transformer和Mamba等集中在测量数据映射为初步重建后的图像空间。另一类增强重建先验或训练策略,包括扩散模型、score模型、深度算法展开、自监督、无需重训练框架等,强调物理先验和采集几何,但多聚焦迭代公式、训练策略或特定采集设置。确定性有限视角PAT重建仍有一个问题:如何在图像形成前增强测量域数据,同时让图像域误差直接指导上游增强。双域方法尝试结合测量域和图像域,但现有FPNet学习信号到图像投影后再图像后处理,Y-Net并行编码融合特征。基于此,研究人员提出更显式的顺序耦合。

研究人员开展DPAT-Net研究,这是一种带轴向注意力的双域物理信息网络。该网络先处理有限视角传感器-时间数据,建模长程传感器轴依赖;再通过固定几何可微反向投影(DBP,Differentiable Back-Projection)层将增强数据和原始测量映射到图像域;最后图像域残差细化。不同于图像域后处理,DPAT-Net在图像形成前对有限视角传感器-时间数据进行学习处理;不同于迭代或生成先验,保留确定性单次推断;不同于学习投影或并行双域融合,使用显式基于几何的可微算子作为测量域增强和图像域监督之间的桥。仿真、在体小鼠脑和PATATO体模验证显示较高峰值信噪比(PSNR,Peak Signal-to-Noise Ratio)和结构相似性指数(SSIM,Structural Similarity Index Measure),仿真目标已知时具有更好伪影抑制和血管连续性,并保持实时推理速度。主要贡献包括顺序双域架构、带瓶颈轴向注意力的混合正弦图(sinogram)增强模块、固定几何非训练DBP层。

关键技术方法:样本来源包括Tong等开放数据集的Vessel Dataset与MSOT-Brain,以及公共PATATO的preclinical_phantom.hdf5。仿真用k-Wave,1024×1024网格,dx=dy=0.1 mm,dt=25 ns,40 MHz,vs=1540 m/s,128弧阵覆盖270°,R=40 mm,加5%高斯白噪声。网络三阶段:正弦图增强模块为卷积U-Net加瓶颈轴向注意力,在传感器轴建模长程依赖;固定几何DBP层基于延迟叠加和Catmull–Rom插值,可微;图像细化网络用RSU(Residual U-block,残差U块)编码、DenseBlock(密集连接块)解码,融合增强路径和原始路径,实例归一化,全局残差学习;损失为λMSE=0.9和λL1=0.1的MSE(Mean Squared Error,均方误差)与L1(L1 loss,L1损失)加权组合,用AdamW优化。

研究结果:
4.1 仿真实验结果:在32传感器(约67.5°)和64传感器(约135°)下,DPAT-Net所有指标最佳。32传感器PSNR为22.72 dB,优于U-Net的20.47 dB、Y-Net的19.69 dB和MSD-Net的21.44 dB;64传感器为29.38 dB,优于MSD-Net的27.48 dB。定性显示减少条纹伪影和细结构误差,血管轮廓更连续。
4.2 消融研究:在32/64传感器下分离正弦图增强、轴向注意力、双流细化输入、可微跨域耦合和图像细化作用。w/o Transformer移除完整前端后指标下降;ConvBottleneck用局部卷积替代轴向注意力,参数接近,分数较低,说明全局传感器轴聚合有贡献;EnhancedOnly移除原始测量反投影路径后分数降低,说明原始路径提供补充;StopGrad阻断图像域梯度更新上游,PSNR下降最大,32传感器降1.97 dB,64传感器降3.43 dB;w/o Refinement移除图像细化后PSNR降至14.55 dB和15.36 dB,SSIM也低。定性显示完整模型更好保留细血管连续性。
4.3 在体实验结果:小鼠脑在体32传感器下,DPAT-Net相对全视角参考重建最高相似。PSNR为31.94 dB,SSIM为0.942,优于U-Net的23.80 dB、AS-Net的29.03 dB和MSD-Net的29.80 dB。示例中边缘定义更清晰、背景强度更低。
4.4 PATATO体模实验结果:在轴向位置10和11的130个波长-位置测试图像、64检测器有限视角下,相对存储Reference Backprojection,DPAT-Net最高PSNR和SSIM,平均PSNR为26.33 dB,SSIM为0.7416,优于MSD-Net的20.96 dB和Y-Net的21.03 dB。该实验在位置不相交划分上经数据集特定训练。
4.5 配对统计分析:MSD-Net是仿真和在体比较中最强近期基线。图像级配对比较显示,仿真32、仿真64和在体32设置下,DPAT-Net减MSD-Net的PSNR和SSIM差异中位数均为正;单侧Wilcoxon符号秩检验给出p值,支持DPAT-Net。
4.6 模型效率分析:RTX 4090 batch size 1下,DPAT-Net为20.51 M参数、27.26 G FLOPs、9.97 ms/图像、峰值GPU内存697.54 MB;MSD-Net为20.69 M、8.38 ms;PAT-MDAE最少参数为1.95 M、5.30 G、1.19 ms。DPAT-Net推理时间和峰值内存最高,约100 fps,指标提升伴随运行时和内存成本。

讨论部分总结:跨两个视角限制和两个实验数据集,DPAT-Net取得最高PSNR/SSIM。仿真中相对MSD-Net的PSNR优势从32传感器1.28 dB增至64传感器1.90 dB,配对中位数正;MSOT-Brain中位数也正;PATATO训练后最高。消融说明StopGrad最大下降,强调通过可微DBP路径更新前端的重要性;ConvBottleneck和EnhancedOnly支持全局传感器轴聚合和原始测量路径贡献。移除完整前端削弱性能,移除图像细化大幅降低。顺序双域组织价值在于:前端在图像形成前聚合传感器轴上下文,固定几何DBP映射增强和原始测量到共同图像域,细化网络整合;原始路径保留直接重建,增强路径携带学习表示。与Y-Net通道级融合和FPNet学习投影后处理不同,DPAT-Net跨域转换显式关联传感器位置和飞行时间几何。局限包括:DBP声学模型假设空间均匀声速,主仿真和MSOT-Brain用1540 m/s,PATATO用1449 m/s;组织声速变化尤其颅骨和软组织可导致飞行时间失配、位置偏差和边缘模糊,强声速异质性行为未表征。MSOT-Brain目标是全视角模型重建,PATATO目标是存储全视角反投影,PSNR/SSIM描述与算法参考重建相似性,若参考有伪影或幅度偏差,一致性可能保留这些错误。MSOT-Brain发布不保留动物分组,PATATO来自单一物理体模;位置不相交但独立动物和体模变异未表征。未来需多独立动物和体模、结构和校准幅度参考,研究空间变化声速校正与DBP交互;3D传感器-时间数据可用Mamba等线性复杂度状态空间架构控制内存,但需评估准确率-效率权衡。

研究结论翻译:该研究提出DPAT-Net,一种用于有限视角光声断层成像的物理信息顺序双域重建网络。通过将带瓶颈轴向注意力的传感器-时间增强模块与固定几何可微反向投影(DBP)层和图像域细化网络耦合,DPAT-Net能够从测量域增强到图像重建进行端到端优化。在已知目标的数值仿真中,DPAT-Net在所评估方法中取得最高PSNR和SSIM,并显示比所评估基线更好的伪影抑制和血管连续性。在在体MSOT-Brain数据上,其相对于全视角参考重建取得最高PSNR和SSIM;在PATATO上经数据集特定训练后,相对于存储Reference Backprojection也取得最高平均PSNR和SSIM。其在RTX 4090 GPU上每幅图像9.97 ms的推理时间支持在所评估硬件上的实时速率重建。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号