《Frontiers in Artificial Intelligence》:CDMSP: a convolutional dense multi-scale pooling framework for low-light colonoscopy image enhancement
编辑推荐:
结直肠癌(CRC)仍然是全球癌症相关死亡的主要原因之一,结肠镜检查是早期识别CRC并大幅降低风险的有效方法。结肠镜图像常受非均匀照明和低光条件影响,导致黏膜纹理和病变边缘难以可视化。在本研究中,研究人员引入了一种低光结肠镜图像增强框架——卷积密集注意力网络(C
结直肠癌(CRC)仍然是全球癌症相关死亡的主要原因之一,结肠镜检查是早期识别CRC并大幅降低风险的有效方法。结肠镜图像常受非均匀照明和低光条件影响,导致黏膜纹理和病变边缘难以可视化。在本研究中,研究人员引入了一种低光结肠镜图像增强框架——卷积密集注意力网络(CDAN)-密集-多尺度池化(MSP)(CDMSP)来解决该问题。该框架以CDAN为核心,通过密集连接和注意力机制构建,以增强特征传播并强调诊断重要区域,同时减少噪声和光照伪影。此外,使用一个小型MSP模块在不同空间尺度上捕获上下文信息,从而有助于保留结构和边缘细节。总体损失函数结合了结构相似性、感知相似性、基于边缘的对比度和颜色保真度,用于在对比度增强与解剖结构保留之间取得平衡。实验结果表明,该方法的的结构相似性指数(SSIM)达到0.8757,学习感知图像块相似性(LPIPS)为0.0742,基于边缘的对比度度量(EBCM)为0.5601,颜色保真指数(CFI)为95.1760。该方法极具效率,推理时间为[23.3毫秒(ms),42.99帧每秒(FPS)],适用于实时临床使用。
结直肠癌(CRC)是全球范围内主要的癌症相关死亡原因之一,结肠镜检查是早期发现CRC并显著降低其风险的有效手段。然而,结肠镜图像常因非均匀照明和低光条件而受到影响,导致黏膜纹理和病变边缘难以辨认。针对这一问题,研究人员提出了一种低光结肠镜图像增强框架——卷积密集注意力网络(CDAN)-密集-多尺度池化(MSP)(CDMSP)。该框架以CDAN为核心,通过密集连接和注意力机制增强特征传播,突出诊断关键区域,同时抑制噪声和光照伪影。此外,MSP模块通过在不同空间尺度上捕获上下文信息,有助于保留结构和边缘细节。整体损失函数结合了结构相似性(SSIM)、感知相似性(LPIPS)、基于边缘的对比度(EBCM)和颜色保真度(CFI),以在对比度增强与解剖结构保持之间取得平衡。实验结果显示,所提方法在CVC-ColonDB数据集上取得了SSIM为0.8757、LPIPS为0.0742、EBCM为0.5601、CFI为95.1760的成绩,推理时间仅为23.3毫秒/帧(42.99 FPS),具备实时临床应用的潜力。
本研究源自对结肠镜低光图像质量影响诊断准确性的关注。传统增强方法如直方图均衡化和Retinex技术容易产生噪声放大、颜色失真等伪影;先进成像技术如窄带成像(NBI)和联动成像(LCI)虽能提高可见性,但在暗光、暗斑和低对比度情况下仍有局限。为此,研究人员设计了CDMSP网络,旨在通过密集连接、注意力机制和多尺度池化的协同作用,实现低光结肠镜图像的结构保持增强,为结直肠癌的早期诊断提供更可靠的图像基础。研究在《Frontiers in Artificial Intelligence》上发表,证明了该框架在定量指标和实时性方面均优于现有主流方法,具有重要的临床应用价值。
主要技术方法包括:采用基于卷积块注意力模块(CBAM)的CDAN作为骨干,通过通道注意力和空间注意力突出息肉边界和黏膜纹理等诊断关键区域;引入密集块增强特征传播与梯度流动,并采用1×1卷积压缩通道;设计MSP模块,使用1×1、2×2和4×4三种尺度的自适应平均池化捕获多尺度上下文,再经上采样和1×1卷积融合;利用残差学习将增强映射叠加到输入图像,并裁剪至[0,1]范围。损失函数由SSIM、LPIPS、EBCM和CFI四个分量加权组成,权重分别为0.30、0.30、0.20和0.20。训练采用Adam优化器,初始学习率5×10
-5,并使用余弦退火热重启调度。数据集来源为修改的CVC-ColonDB(来自Kaggle,含2000张增强结肠镜图像),通过合成退化模型生成低光图像对,外部验证使用Kvasir-SEG数据集。
### 5.1 定量评估(Quantitative evaluation)
使用SSIM、LPIPS、EBCM和CFI四个全参考指标,在CVC-ColonDB测试集上比较CDMSP与RetinexNet、SWAMNet、RetinexFormer和SGLLIE四种先进方法。结果显示,CDMSP获得最高SSIM(0.8757±0.0408)、最高EBCM(0.5601±0.0691)和最高CFI(95.1760±1.3383),LPIPS最低(0.0742±0.0243),推理时间23.3 ms/帧。消融研究表明,密集连接和MSP模块逐步提升了CDAN基线的SSIM、EBCM和CFI,尽管CDMSP的LPIPS略高于单一变体,但整体性能最优。
### 5.2 外部数据集验证(External dataset validation)
在未参与训练的Kvasir-SEG数据集上采用相同的合成低光退化方案进行验证,CDMSP取得SSIM 0.8472±0.0370、LPIPS 0.1333±0.0247、EBCM 0.5457±0.0434、CFI 94.8988±0.9541。结果表明模型对新数据集具有良好的泛化能力。
### 5.3 统计分析(Statistical analysis)
对主测试集进行单因素方差分析(ANOVA)和Tukey HSD事后检验,所有评估指标均显示显著性差异(p<0.05),其中比较先进方法时各指标p<0.001,偏η
2(η
p2)介于0.5454至0.7745之间,证明CDMSP性能提升具有统计可靠性。
### 5.4 收敛性分析(Convergence analysis)
训练和验证损失曲线显示模型快速收敛,初始损失约0.074,少量迭代后降至0.047以下,最终稳定在约0.041。训练与验证曲线几乎平行,泛化差距极小,未出现过拟合,验证损失在30–40个epoch后趋于平稳。
### 5.5 定性评估(Qualitative evaluation)
视觉对比显示,RetinexNet和SWAMNet虽提升亮度但过度平滑、颜色失真、对比度不均;RetinexFormer存在过曝区域;SGLLIE保留了光照但血管边界不足。CDMSP在提升亮度的同时保持自然颜色和清晰的黏膜纹理、血管结构,无明显伪影或过曝。消融定性图也显示,逐步加入密集连接和MSP后,增强图像的照明均匀性和结构细节逐步改善。
### 5.6 复杂度分析(Complexity analysis)
CDMSP模型仅有约12.4万(0.124百万)个可训练参数,推理时间23.3 ms/幅,合42.99 FPS,说明其作为轻量级全卷积网络(FCN)适合实时临床处理。
### 5.7 失败案例分析(Failure case analysis)
在极端低光和非均匀照明条件下,模型仍难以完全恢复细微解剖细节,可能出现轻微亮度差异。这表明在极端照明场景下的鲁棒性有待提升。
### 5.8 局限性与未来工作(Limitations and future work)
数据集缺少患者或视频级元数据,因此只能按图像级划分,存在潜在数据泄漏风险;每个模型仅训练一次,未评估重复训练的变异性;未直接评估增强图像对息肉检测、分割等下游任务的提升作用,也未进行盲法临床评估。未来计划使用带患者级标注的更大数据集、进行多次训练统计分析,并开展真实低光图像验证和下游任务评估。
讨论部分强调,CDMSP在结构保持、感知质量、边缘对比和颜色保真方面综合最优,其高效性使其可作为实时预处理模块嵌入内镜流程。研究结论为:本研究介绍了一种用于改善低光条件下结肠镜图像质量的深度学习网络,称为CDMSP,它结合了注意力细化、密集连接、MSP和边缘引导优化。在CVC-ColonDB数据集上的测试表明,该网络在SSIM、LPIPS、EBCM和CFI指标上优于当前领先技术,代表着更高的结构保留、视觉吸引力、边缘清晰度和颜色准确性。这些发现证明了该设计在弱光下增强结肠镜图像的成功。未来工作将侧重于使用更大的临床数据集验证模型并部署到实时结肠镜检查中。