《Pattern Recognition》:Innovative Tooth Segmentation Using Hierarchical Features and Bidirectional Sequence Modeling
编辑推荐:
牙科图像分割中传统编码器因固定分辨率导致分割不连续,而Transformer的高计算复杂度限制其应用。本文提出三阶段编码器结合分层特征表示与双向序列块,有效融合多尺度特征并提升全局上下文建模能力,在OralVision数据集上mIoU提高1.1%,同时保持高效计算。
Xinxin Zhao|Jian Jiang|Yan Tian|Liqin Wu|Zhaocheng Xu|Teddy Yang|Yunuo Zou|Xun Wang
浙江工商大学计算机科学与技术学院,中国杭州,310018
摘要
牙齿图像分割是牙齿数字化的基石。然而,依赖固定分辨率特征图的传统图像编码器往往导致分割不连续,目标区域与背景之间的区分度较差,这是由于对环境和全局上下文的建模不足。此外,基于变压器的自注意力机制由于其二阶复杂度(O(n2))而引入了较大的计算开销,使其在处理高分辨率牙齿图像时效率低下。为了解决这些问题,我们提出了一种三阶段编码器,采用分层特征表示来捕捉牙齿图像中的尺度适应性信息。通过跨尺度特征融合,该模型在保留精细结构信息的同时,保持了强烈的上下文感知能力。此外,我们还采用了双向序列建模策略来增强全局空间上下文理解,而不会产生较高的计算成本。我们在两个牙齿数据集上验证了我们的方法,实验结果表明其优于现有方法。在OralVision数据集上,我们的模型平均交并比(mIoU)提高了1.1%。
引言
牙齿分割是模式识别中的一个专门任务,旨在从牙齿图像中识别和划分单个牙齿及相关解剖结构。它在牙齿数字化领域具有重要意义,可用于诊断牙齿疾病[1]、跟踪治疗进展[2][3]以及进行图像分析[4]。最近,像Segment Anything Model (SAM)[5]这样的基础分割模型展示了良好的泛化能力,这激发了在牙齿图像分割中探索这些模型的兴趣。
一些最新的分割方法[6][7]专注于提高实际应用中的泛化和效率。然而,这些方法在捕捉多尺度和全局上下文信息方面仍存在局限性,这限制了它们全面建模细粒度细节和大尺度上下文关系的能力。在处理带有噪声的复杂牙齿图像时,这种局限性尤为明显,因为生成的分割掩膜的质量往往会受到影响。
早期的研究[8]主要关注Transformer框架及其自注意力机制。然而,Transformer的二阶计算复杂度显著限制了其高效处理高分辨率牙齿图像的能力。尽管如此,现有的高质量分割方法[9][10]通常仍存在推理速度慢和计算开销高的问题。因此,我们的工作旨在开发一种既能保证高质量分割又能显著提高效率的分割算法。
受到Mamba[11]的线性复杂度序列建模能力和HQ-SAM[12]的强大掩膜质量及边界感知设计的启发,本研究旨在开发一个适用于牙齿图像分割的高效高质量框架。Mamba在序列建模中的线性计算复杂度使其成为捕捉长距离依赖关系的有力候选者,同时降低了计算成本。然而,直接在视觉领域采用现有的基于Mamba的设计并不能充分满足牙齿图像分割的需求,因为在牙齿图像分割中,精确的边界划分和多尺度结构细节至关重要。HQ-SAM进一步证明了在基于SAM的框架中增强掩膜质量的有效性,通过强调细粒度结构。然而,如图1所示,尽管HQ-SAM产生了高质量的掩膜,但在某些牙齿场景中边界仍然模糊,并且在高分辨率下推理效率有限。
在这项研究中,我们通过设计一个以任务为导向的图像编码器,将SAM框架扩展到牙齿领域,该编码器既注重分割质量也注重计算效率。所提出的框架引入了分层表示策略,以更好地捕捉牙齿图像的多尺度特征,从而更准确地划分精细的解剖结构。为了进一步增强全局上下文理解,我们在编码器中加入了双向序列块(BSB),允许从互补的空间方向聚合信息。与HQ-SAM(如图1所示)相比,这种设计在保持高效推理的同时,提高了对复杂口腔环境的感知能力。与之前的双向Mamba设计[13][14]不同,我们的BSB具有任务意识,并通过轻量级集成优化了高分辨率牙齿图像分割。关于我们方法的更详细解释可以在图2中找到。
本文的主要贡献如下:
•我们提出了一种高效且有效的牙齿图像分割框架,通过增强多尺度表示和上下文建模,实现了高质量和细粒度的分割,在复杂牙齿图像上表现出优越的性能。
•我们采用了分层特征表示策略,以实现有效的多尺度特征提取和融合,从而增强了环境感知并提高了分割精度,特别是在复杂的牙齿成像场景中。
•我们开发了一种基于Mamba的图像编码器,其中集成了双向序列块以实现位置感知的序列建模,并利用Mamba的选择性机制来降低计算复杂度,同时实现多尺度特征提取。
在牙齿分割数据集(DSD)[15]和OralVision[16]数据集上的实验结果表明,我们的方法能够有效生成高质量的分割掩膜,并高效应对高分辨率输入图像带来的挑战。即使在更高的图像分辨率下,与其他方法相比,我们的方法也保持了较低的延迟,展示了性能与效率之间的平衡。
相关工作
相关工作
我们简要概述了最近关于高质量分割、零样本图像分割、线性注意力模型和多尺度特征提取的研究。
我们的方法
我们提出了一种基于SAM模型架构的牙齿图像分割方法。该方法通过输入牙齿图像以及点或框提示来生成相应的分割掩膜。如图2所示,我们的方法采用了经典的编码器-解码器框架。首先,牙齿图像在编码器中经过三阶段的下采样处理。在第三阶段,双向序列块对补丁块进行正向和反向扫描以捕获
结果
我们评估了该方法的有效性,并将其与其他方法在两个数据集上进行了比较。
结论
本文提出了一种基于双向序列建模和分层特征表示的牙齿领域分割方法。实验结果表明,我们的方法在牙齿图像分割方面优于其他图像分割方法。具体来说,通过将每个编码器层的低级特征和后续层的高级特征集成到解码器中,我们的方法实现了多尺度特征提取和融合,从而提高了分割效果
CRediT作者贡献声明
Xinxin Zhao:撰写 – 审稿与编辑,撰写 – 原稿,可视化,数据管理,概念化。Jian Jiang:撰写 – 审稿与编辑,可视化,验证。Yan Tian:撰写 – 审稿与编辑,资源获取,资金筹措。Liqin Wu:可视化,验证,调查。Zhaocheng Xu:形式分析,数据管理,概念化。Teddy Yang:方法论,调查。Yunuo Zou:可视化。Xun Wang:监督,软件,概念化。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:Yan Tian报告获得了浙江省自然科学基金的支持;Yan Tian还获得了浙江省重点研发计划的支持;Yan Tian还获得了桐乡通用人工智能研究所的支持。如果还有其他作者,他们声明自己没有
资助
本工作得到了浙江省自然科学基金(编号LZ24F020001)、桐乡通用人工智能研究所开放基金(编号TAGI2-B-2024-0009)以及国家先进医疗材料与设备重点实验室(编号SQ2022SKL01089-2025-14)的支持。