基于块查询的体积电子显微镜感兴趣结构识别框架

《Computers in Biology and Medicine》:Patch-based querying identifies structures of interest in electron microscopy

【字体: 大 中 小 】 时间:2026年10月13日 来源:Computers in Biology and Medicine CS11.3

编辑推荐:

  针对体积电子显微镜提出了一种新颖的基于块的检索框架。自监督局部图像描述符使得以最少标签进行搜索成为可能。正负查询树结合一种新颖的相似度度量。对预训练自编码器进行微调可增强领域特定性能。该框架在保持高召回率的同时将搜索空间减少了70%。

  
针对体积电子显微镜提出了一种新颖的基于块的检索框架。自监督局部图像描述符使得以最少标签进行搜索成为可能。正负查询树结合一种新颖的相似度度量。对预训练自编码器进行微调可增强领域特定性能。该框架在保持高召回率的同时将搜索空间减少了70%。
体积电子显微镜(volume Electron Microscopy, vEM)通过连续切片成像可在纳米尺度重建完整细胞三维结构,但数据生成速度远超下游分析速度。现有深度学习分割方法通常需要大量专家标注,且模型针对特定结构训练后难以迁移到新目标。因此,研究人员提出一种上游筛查框架:仅凭少量示例图像块,从大规模vEM数据中检索感兴趣结构所在的候选区域,从而减少人工检查负担。

论文《Computers in Biology and Medicine》上发表了这项研究,提出并评估了一种基于块查询的检索框架,利用自监督学习的局部图像描述符(local image descriptors,将图像块压缩为低维向量的表示)在vEM数据中定位感兴趣结构。该框架允许用户提供正例和反例查询块,通过正负查询树和新的相似度度量对候选块排序,返回最可能包含目标结构的图像块,而非像素级分割。实验表明,该框架可将搜索空间减少约70%并保持高召回率,为下游分割或定量分析提供高效的筛查步骤。

研究人员采用经典自编码器(Autoencoder, AE)和变分自编码器(Variational Autoencoder, VAE)作为描述符模型,先在通用图像(ImageNet、KonIQ、Visual Genome)上预训练,再在目标vEM数据集上以低学习率微调。查询选择策略将数据集按切片分组,取每组中间切片为查询切片,用不重叠滑动窗口提取80×80像素块,按与目标结构的重叠比例标记正负样本。检索时,正负查询块的编码分别存入近似最近邻(Approximate Nearest Neighbor, ANN)搜索树(Spotify Annoy库),对每个候选块计算其到正负查询树的平均欧氏距离,经负指数变换后得到相似度评分(正相似度减负相似度)。数据集来源包括三个聚焦离子束扫描电子显微镜(Focused Ion Beam Scanning Electron Microscopy, FIB-SEM)数据集(HeLa-EMBL、EPFL、VIB)和一个序列块面扫描电子显微镜(Serial Block-Face Scanning Electron Microscopy, SBF-SEM)数据集(Platelet-EM)。

**4.4 局部图像描述符的视觉评估**
通过t-SNE可视化潜在空间,发现预训练AE和VAE已能分离线粒体与其他结构,微调后分离更清晰;在按10切片分组的局部区域内分离良好,但全局略有混杂,提示远处区域需更多查询;在VIB数据集上对线粒体、核膜、内质网和囊泡四种结构,两种微调模型均显示近乎完美的聚类分离。

**4.5 检索块的视觉评估**
在VIB、HeLa-EMBL和EPFL数据集上展示返回的Top-12或Top-25块,与正负查询对应,尽管存在一些假阳性,但大部分检索结果包含目标结构,表明框架能有效筛选候选区域。

**4.6 提出框架的性能评估**
**4.6.1 PR曲线讨论**
在三个数据集上,当丢弃70%低分块时,召回率接近1;增加查询切片密度可提高性能。
**4.6.2 平均精度讨论**
微调模型显著优于预训练模型(配对单侧Wilcoxon符号秩检验,p<0.01),经典AE优于VAE;不同数据集提升幅度不同,VIB上增益较小。
**4.6.3 下游分析中的操作使用**
在HeLa-EMBL上保留前30%块可保留93.8%线粒体实例和78.4%线粒体像素,保留50%则分别达95.4%和88.9%。
**4.6.4 对更大z距离的泛化**
检索质量随到最近查询切片的z距离增加而平滑下降,但即使跨约320切片间隔的极端距离,仍能恢复目标切片中9个结构中的8个。
**4.6.5 第二种非线粒体结构(内质网)的检索**
对内质网使用调整后的重叠阈值(15%)后,微调AE取得AP 0.969(split size 10)和0.882(split size 30),与线粒体结果相当,证明框架可推广到形态不同的细胞器。
**4.6.6 与手工描述符比较**
在相同32维条件下,微调AE在所有7个结构/数据集组合上的平均精度均高于HOG、LBP和dense SIFT。
**4.6.7 不同采集模态的泛化(SBF-SEM)**
在Platelet-EM数据集上,线粒体、α颗粒和小管系统的AP分别为0.55、0.78和0.81,显著高于随机基线,表明框架可迁移到强各向异性的SBF-SEM数据。
**4.6.8 时间节省分析**
全量检索耗时仅2–38秒,相比人工检查(假设20秒/切片)加上候选验证(5秒/切片),估计可节省约74–75%的分析时间(约3.9倍加速)。

讨论部分总结:该框架作为上游筛查阶段,不是替代分割,而是与分割互补。其局限性包括:性能依赖于目标结构的形态和流行度,需要调整重叠阈值;距离查询切片较远时性能下降;需要更广泛的结构和模态评估;当前仅返回2D候选块而非3D边界。未来方向包括整合到标注工具、并行化计算、聚类分析、人机交互学习以及扩展到3D检索。

研究结论部分翻译:在这项工作中,研究人员提出并评估了一种新颖的搜索框架,用于在大型数据集中定位感兴趣结构。该框架能有效定位感兴趣图像区域,从而显著减少后续视觉分析或自动处理步骤的搜索空间,且只需少量灵活选择的查询和最小计算时间。此外,它允许用户交互式地细化搜索查询,从而提升性能。该框架并非替代结构特异性分割,而是提供上游的、目标灵活的筛查阶段,仅从几个示例块中识别值得进一步分析的区域。这样可将人工检查、分割或定量分析限制在更小的搜索空间中,同时保留大部分目标出现位置。因此,检索与分割是互补的:前者决定看哪里,后者描绘那里有什么。研究人员还全面评估了经典和变分自编码器区分感兴趣结构的能力,证明了它们在潜在空间中区分不同结构的能力,并表明AE和VAE都能学习用于定位感兴趣结构的有效特征。最后,研究人员证明,对预训练模型进行微调以更好地捕捉vEM数据的特定结构能显著提升性能;然而,AE从微调中获益远大于VAE,这可能归因于额外的超参数β,它需要仔细调优才能获得最优结果,而这在本用例中不切实际。该框架也存在一些限制:(1)检索性能取决于目标结构的形态和普遍性,需要调整如正重叠阈值等参数,且对非常罕见的结构可能性能有限;(2)性能随与查询切片的z距离增加而下降;(3)尽管研究展示了在多种细胞器上的检索结果,并提供了对强各向异性SBF-SEM数据的初步验证,但更广泛的结构、采集模态和未见数据集评估仍属必要;(4)目前方法检索的是2D候选块而非3D物体边界,因此仅作为视觉检查或后续自动处理的上游步骤。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号