BDCNet:一种具有生物先验的特征解耦与跨任务协作网络,用于细胞分割与分类

《Expert Systems with Applications》:BDCNet: Feature-Decoupling and Cross-Task Collaboration Network with Biological Priors for Cell Segmentation and Classification

【字体: 大 中 小 】 时间:2026年03月20日 来源:Expert Systems with Applications 7.5

编辑推荐:

  细胞分割与分类中生物先验知识嵌入及跨任务协作网络设计,提出BDCNet通过区域像素差异卷积捕获多特征信息,结合图神经网络嵌入细胞簇空间关系,并设计跨任务一致性模块提升特征融合效果,在公共数据集上达到最优性能。

  
Jinlin Yang|Xintao Pang|Chuan Lin|Tao Tan
广西科技大学自动化学院,中国柳州,545006

摘要

在组织病理学中,基于H&E染色图像的细胞分割和分类是基本的临床任务。当前的方法将细胞分割分为三个子任务:核形状提取、重叠核的分离和核类型识别,这些任务采用编码器-解码器-分割头(SegHead)架构,每个任务的输出通过后处理集成以实现最终的细胞分割。然而,这些方法存在几个局限性:(1)编码器未能考虑细胞之间的空间关系,这限制了它们提取医学图像特征的能力;(2)解码器结构简单且功能有限,无法捕捉不同任务所需的多样化特征;(3)SegHead彼此独立,这限制了模型利用基于相似性的特征来优化子任务输出的能力。为了解决这些问题,我们提出了一个具有生物先验的特征解耦和跨任务协作网络,用于细胞分割和分类(BDCNet)。首先,我们通过保留从细胞簇中获得的生物先验来扩展数据集,并使用GNN将这些先验嵌入,以提供给编码器核之间的空间关系和类别相似性信息。此外,为了提取不同的特征信息,我们设计了一种区域像素差异卷积(RPDC)算法,该算法将特征区域划分为与形状、梯度和纹理相关的不同信息,并进一步提出了一系列基于RPDC的特征解耦模块。为了促进任务间的特征互补性,我们引入了跨任务一致性模块(CTCM),增强了任务间的语义一致性和协作性,从而提高了分割性能。广泛的实验表明,我们的方法在两个公共细胞分割数据集上的表现优于之前的最先进方法。

引言

癌症仍然是全球主要的死亡原因之一(Bray, Laversanne, Sung, Ferlay, Siegel, Soerjomataram, Jemal, 2024, Siegel, Miller, Wagle, Jemal, 2023)。组织病理学检查被广泛认为是癌症诊断和预后的金标准(Liu et al., 2024b)。然而,全切片图像(WSIs)包含大量异质性核,常常出现边界模糊、簇重叠以及染色、形状和大小变化等问题。手动细胞级分析既耗时又费力(H?rst et al., 2024)。此外,传统的实例分割方法难以达到所需的准确性,并且依赖于手工制作的特征,限制了完全自动化的可能性。
随着深度学习的快速发展,已经提出了许多基于深度神经网络的方法用于核实例分割(Chen, Qi, Yu, Heng, 2016, Graham, Vu, Raza, Azam, Tsang, Kwak, Rajpoot, 2019, Raza, Cheung, Shaban, Graham, Epstein, Pelengaris, Khan, Rajpoot, 2019)。HoVer-Net(Graham et al., 2019)将复杂的核实例分割任务分解为三个任务:核形状捕获、重叠核的分离和核类型识别。它设计了三个独立的解码器来预测这些方面,然后对输出进行后处理以生成最终的核实例分割图,如图1(a)所示。然而,CNN方法(Chen, Qi, Yu, Heng, 2016, Graham, Vu, Raza, Azam, Tsang, Kwak, Rajpoot, 2019, Raza, Cheung, Shaban, Graham, Epstein, Pelengaris, Khan, Rajpoot, 2019)通常缺乏足够的全局感受野,难以理解全局图像信息,导致分割性能不佳。
为了扩大感受野,CellViT(H?rst et al., 2024)在HoVer-Net(Graham et al., 2019)的基础上加入了视觉变换器(ViTs)(Dosovitskiy et al., 2020)进行特征提取。尽管ViTs在特征提取方面表现出色,但这种全局感受野模型在捕捉细粒度局部信息时可能存在困难,导致在预测形状和边缘等局部细节时存在不足。与CellViT(H?rst et al., 2024)不同,LKCell(Cui et al., 2024)基于大核卷积构建其模型,旨在扩大感受野同时降低计算成本。为了避免参数冗余,LKCell(Cui et al., 2024)使用单一解码器架构和三个不同的分割头来生成相应任务的输出。
如图1(b)所示,尽管上述方法取得了令人印象深刻的分割性能,但它们仍然存在以下局限性:(1)这些方法使用在自然图像上预训练的编码器,忽略了自然图像和医学图像之间的固有差异。因此,它们从医学图像中提取有意义特征的能力有限。(2)这些解码器(Cui, Yao, Zeng, Yang, Liu, & Wang, Graham, Vu, Raza, Azam, Tsang, Kwak, Rajpoot, 2019, H?rst, Rempe, Heine, Seibold, Keyl, Baldini, Ugurel, Siveke, Grünwald, Egger, et al., 2024)功能有限,无法同时捕捉形状、梯度和纹理等多种类型的信息,限制了它们区分不同特征表示的能力。(3)这些方法忽略了任务间共享的相似特征,如形状、边缘和纹理,并且缺乏一致性约束来促进特征对齐和跨任务协作。因此,它们无法有效融合语义相似的信息,也无法利用特征互补性来提高分割性能(Fu, Lin, Lin, Mechtersheimer, Wang, Ameen, Ghazanfar, Patrick, Kim, Yang, 2024, Li, Zhou, 2022, Wang, Rong, Zhou, Yang, Zhang, Zhan, Bishop, Chi, Wilhelm, Zhang, et al., 2023)。
为了解决上述挑战,我们提出了一个名为BDCNet的新分割网络,如图1(c)所示。具体来说,我们考虑了组织病理学图像中细胞簇的特性,并扩展了PanNuke来提取和保留这些结构先验。然后我们使用GNN(Wu et al., 2024)来实现先验感知,为模型提供细胞空间关系、簇类别和形状信息,以增强其对复杂组织环境的理解。同时,我们采用VMamba作为编码器进行特征提取,除了基于ResNet的CNN网络。VMamba提供了出色的全局感受野,并且与Transformers相比,所需的计算资源显著减少。此外,它的选择性扫描机制沿水平和垂直轴进行多方向扫描,有效地捕获二维空间上下文,避免了由于补丁令牌分割造成的空间信息丢失。为了处理多样化信息并捕获三个子任务所需的多种特征类型,我们提出了区域像素差异卷积(RPDC)算法,该算法从四个不同区域提取特征,从而同时捕获梯度、边缘、纹理和其他特征信息。此外,为了充分利用任务间的相似特征,我们设计了跨任务一致性模块(CTCM)来引入跨任务一致性约束,并融合相似的边缘、形状和上下文特征,从而促进跨任务协作并增强语义一致性和特征对齐。最后,为了获得全局感受野,我们结合了SSM(Gu, & Dao, Liu, Yang, Zhou, Yu, Liang, Yu, Zhang, Zheng, Wang, 2024a, Liu, Tian, Zhao, Yu, Xie, Wang, Ye, Jiao, Liu, 2024c, Ruan, Li, & Xiang),它在低计算成本下提供了长距离建模能力。结合CNN进行局部特征提取,这种设计在全局上下文理解和局部细节保留之间取得了更好的平衡,最终提高了分割性能。我们的贡献可以总结如下:
  • •
    BDCNet是将生物先验知识嵌入核分割的先驱。
  • •
    我们提出了RPDC,通过划分区域进行像素差异卷积和普通卷积,生成具有四种不同特征的卷积核,以捕获不同的特征信息。
  • •
    我们设计了CTCM来提取跨任务的相似特征,以增强BDCNet对每个任务的理解,同时利用受限的跨任务一致性学习来加强一致性。
  • •
    在PanNuke和MoNuSeg上的实验表明,我们的BDCNet比各种方法都取得了出色的性能。
  • 章节片段

    计算病理学中的深度学习

    基于深度学习的图像分析已广泛应用于组织病理学任务,包括核分割(Ahmad, Xia, Cui, Islam, 2023, Chen, Qi, Yu, Heng, 2016, Fan, Li, Cai, Lin, Chen, Chen, Wei, 2025, Naylor, Laé, Reyal, Walter, 2018, Xing, Xie, Yang, 2015)、组织分割(Shi, Zhou, Wang, Fu, Wu, Wu, Li, Huang, 2024, Wang, Fang, Yang, Zhu, Wang, Zhang, Tong, Han, 2021, Zhang, Hua, Yan, Tian, Yao, Liu, Liu, Han, 2021, Zidan, Gaber, Abdelsamea, 2023)和WSI分类(

    架构概述

    在本节中,我们详细介绍了BDCNet框架及其关键组成部分。如图2所示,BDCNet能够嵌入生物先验知识并处理任务间的不同和相似特征。其关键组成部分包括:1.基于GNN的编码器,用于嵌入生物先验(第3.2节和图2(c.i));2.基于RPDC的解码器,用于捕获不同特征(第3.3节和图2(c.ii);3.跨任务一致性模块,用于建立一致性

    数据集

    PanNuke(Gamper, Alemi Koohbanani, Benet, Khuram, Rajpoot, 2019, Gamper, Koohbanani, Benes, Graham, Jahanifar, Khurram, Azam, Hewitt, & Rajpoot)包含7,904张图像,每张图像256×256像素,涵盖19种不同的人体组织类型和5种细胞类别,共计189,744个标注的核。这些图像是从不同部位的组织切片中以40倍放大率扫描得到的,分辨率为0.25 μm/px。该数据集的特点是细胞类型和数量的变化

    讨论

    我们提出了BDCNet,这是一个结合生物先验的特征解耦和跨任务协作网络,用于细胞分割和分类。在PanNuke和MoNuSeg数据集上的实验结果表明,BDCNet在多类细胞分割和分类任务中取得了最先进的性能。这些发现进一步验证了我们的理论假设:细胞簇提供了分类和空间信息;特征解耦使模型能够更专注于

    结论

    在本文中,我们提出了BDCNet,这是一种新颖的细胞分割网络,它将生物先验知识与特征解耦和跨任务协作相结合,用于分割和分类19个器官中的五种不同细胞类型。具体来说,BDCNet中的RPDC捕获了多样化的特征信息,包括形状、梯度和纹理,并与SSM结合以扩大感受野。为了充分利用任务相似的语义特征,我们设计了CTCM,引入了一致性

    CRediT作者贡献声明

    Jinlin Yang:撰写——原始草案、验证、方法论、概念化。Xintao Pang:撰写——审阅与编辑、数据管理、概念化。Chuan Lin:撰写——审阅与编辑、监督、项目管理、资金获取、概念化。Tao Tan:撰写——审阅与编辑、监督、项目管理、概念化。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号