癌症仍然是全球主要的死亡原因之一(Bray, Laversanne, Sung, Ferlay, Siegel, Soerjomataram, Jemal, 2024, Siegel, Miller, Wagle, Jemal, 2023)。组织病理学检查被广泛认为是癌症诊断和预后的金标准(Liu et al., 2024b)。然而,全切片图像(WSIs)包含大量异质性核,常常出现边界模糊、簇重叠以及染色、形状和大小变化等问题。手动细胞级分析既耗时又费力(H?rst et al., 2024)。此外,传统的实例分割方法难以达到所需的准确性,并且依赖于手工制作的特征,限制了完全自动化的可能性。
随着深度学习的快速发展,已经提出了许多基于深度神经网络的方法用于核实例分割(Chen, Qi, Yu, Heng, 2016, Graham, Vu, Raza, Azam, Tsang, Kwak, Rajpoot, 2019, Raza, Cheung, Shaban, Graham, Epstein, Pelengaris, Khan, Rajpoot, 2019)。HoVer-Net(Graham et al., 2019)将复杂的核实例分割任务分解为三个任务:核形状捕获、重叠核的分离和核类型识别。它设计了三个独立的解码器来预测这些方面,然后对输出进行后处理以生成最终的核实例分割图,如图1(a)所示。然而,CNN方法(Chen, Qi, Yu, Heng, 2016, Graham, Vu, Raza, Azam, Tsang, Kwak, Rajpoot, 2019, Raza, Cheung, Shaban, Graham, Epstein, Pelengaris, Khan, Rajpoot, 2019)通常缺乏足够的全局感受野,难以理解全局图像信息,导致分割性能不佳。
为了扩大感受野,CellViT(H?rst et al., 2024)在HoVer-Net(Graham et al., 2019)的基础上加入了视觉变换器(ViTs)(Dosovitskiy et al., 2020)进行特征提取。尽管ViTs在特征提取方面表现出色,但这种全局感受野模型在捕捉细粒度局部信息时可能存在困难,导致在预测形状和边缘等局部细节时存在不足。与CellViT(H?rst et al., 2024)不同,LKCell(Cui et al., 2024)基于大核卷积构建其模型,旨在扩大感受野同时降低计算成本。为了避免参数冗余,LKCell(Cui et al., 2024)使用单一解码器架构和三个不同的分割头来生成相应任务的输出。
如图1(b)所示,尽管上述方法取得了令人印象深刻的分割性能,但它们仍然存在以下局限性:(1)这些方法使用在自然图像上预训练的编码器,忽略了自然图像和医学图像之间的固有差异。因此,它们从医学图像中提取有意义特征的能力有限。(2)这些解码器(Cui, Yao, Zeng, Yang, Liu, & Wang, Graham, Vu, Raza, Azam, Tsang, Kwak, Rajpoot, 2019, H?rst, Rempe, Heine, Seibold, Keyl, Baldini, Ugurel, Siveke, Grünwald, Egger, et al., 2024)功能有限,无法同时捕捉形状、梯度和纹理等多种类型的信息,限制了它们区分不同特征表示的能力。(3)这些方法忽略了任务间共享的相似特征,如形状、边缘和纹理,并且缺乏一致性约束来促进特征对齐和跨任务协作。因此,它们无法有效融合语义相似的信息,也无法利用特征互补性来提高分割性能(Fu, Lin, Lin, Mechtersheimer, Wang, Ameen, Ghazanfar, Patrick, Kim, Yang, 2024, Li, Zhou, 2022, Wang, Rong, Zhou, Yang, Zhang, Zhan, Bishop, Chi, Wilhelm, Zhang, et al., 2023)。
为了解决上述挑战,我们提出了一个名为BDCNet的新分割网络,如图1(c)所示。具体来说,我们考虑了组织病理学图像中细胞簇的特性,并扩展了PanNuke来提取和保留这些结构先验。然后我们使用GNN(Wu et al., 2024)来实现先验感知,为模型提供细胞空间关系、簇类别和形状信息,以增强其对复杂组织环境的理解。同时,我们采用VMamba作为编码器进行特征提取,除了基于ResNet的CNN网络。VMamba提供了出色的全局感受野,并且与Transformers相比,所需的计算资源显著减少。此外,它的选择性扫描机制沿水平和垂直轴进行多方向扫描,有效地捕获二维空间上下文,避免了由于补丁令牌分割造成的空间信息丢失。为了处理多样化信息并捕获三个子任务所需的多种特征类型,我们提出了区域像素差异卷积(RPDC)算法,该算法从四个不同区域提取特征,从而同时捕获梯度、边缘、纹理和其他特征信息。此外,为了充分利用任务间的相似特征,我们设计了跨任务一致性模块(CTCM)来引入跨任务一致性约束,并融合相似的边缘、形状和上下文特征,从而促进跨任务协作并增强语义一致性和特征对齐。最后,为了获得全局感受野,我们结合了SSM(Gu, & Dao, Liu, Yang, Zhou, Yu, Liang, Yu, Zhang, Zheng, Wang, 2024a, Liu, Tian, Zhao, Yu, Xie, Wang, Ye, Jiao, Liu, 2024c, Ruan, Li, & Xiang),它在低计算成本下提供了长距离建模能力。结合CNN进行局部特征提取,这种设计在全局上下文理解和局部细节保留之间取得了更好的平衡,最终提高了分割性能。我们的贡献可以总结如下:
•BDCNet是将生物先验知识嵌入核分割的先驱。
•我们提出了RPDC,通过划分区域进行像素差异卷积和普通卷积,生成具有四种不同特征的卷积核,以捕获不同的特征信息。
•我们设计了CTCM来提取跨任务的相似特征,以增强BDCNet对每个任务的理解,同时利用受限的跨任务一致性学习来加强一致性。
•在PanNuke和MoNuSeg上的实验表明,我们的BDCNet比各种方法都取得了出色的性能。