《Computational Materials Science》:A deep-learning approach to grain boundary detection in backscattered electron images
编辑推荐:
为解决复杂显微结构下晶界自动检测难题,研究人员采用深度学习模型(U-Net、HED等),结合拓扑保持性损失函数(clDice)和评估指标(Betti匹配误差),在铀氧化物(UO2)样品扫描电子显微镜背散射电子(SEM-BSE)图像中实现了高精度、拓扑结构准确的晶界检测,为材料微观结构表征提供了一种高效、无需化学刻蚀的新策略。
在材料科学与工程领域,微观结构的精准表征如同为材料“体检”,是理解其性能、优化其工艺的关键。其中,晶粒的大小、形貌和分布等特征直接决定了多晶材料的力学性能。传统上,为了看清这些微观“疆域”的边界——晶界,科学家们常常需要借助化学试剂对样品表面进行“蚀刻”,再通过光学显微镜(LOM)或扫描电子显微镜二次电子(SEM-SE)成像来观察。然而,化学蚀刻不仅可能使用具有腐蚀性、受法律限制的试剂,还可能改变材料表面的本征特性。另一种强大的技术——电子背散射衍射(EBSD),虽然能提供精确的晶体学信息,但对样品制备、设备和专业知识要求高,成本昂贵,难以用于工业常规分析。
近年来,背散射电子(BSE)成像技术因其无需化学刻蚀即可快速可视化晶粒结构而展现出潜力。它利用晶体学取向通道衬度来区分相邻晶粒,成像时间远少于EBSD。但BSE图像也给自动化的晶界检测带来了独特挑战:相邻但取向不同的晶粒在BSE模式下可能呈现相似的灰度;样品制备瑕疵(划痕、灰尘)和材料本身特征(孔洞、析出物)会干扰边界识别。这导致大多数基于BSE图像的分析仍至少部分依赖于手动勾画边界,成为定量分析工作流中的瓶颈。虽然通过采集同一区域在不同样品倾斜角下的多张图像(如SEraMic方法)可以改善识别,但这种方法需要多张图像,限制了其在高通量或原位监测场景中的应用,且增加了图像配准的需求。
人工智能,特别是卷积神经网络(CNN)在过去十年的发展,为图像分析带来了革命。在材料科学领域,CNN已在相分割、晶粒分割、颗粒分割及晶界分割等任务中展现出显著效果。然而,已有的基于CNN的晶界分割研究,其预测常受晶界闭合性问题困扰,原因是所使用的损失函数(如二元交叉熵)仅作用于像素层面,未纳入晶界的连通性信息。同时,传统的评估指标(如交并比IOU、结构相似性SSIM)是拓扑无关的,而晶界分割任务主要用于晶粒尺寸分析,评估预测结果的全局拓扑正确性更为重要。
为此,本研究团队提出了一种创新的深度学习方案,旨在克服上述挑战。他们设计了三种基于相同VGG19编码器的卷积神经网络模型:一个基线U-Net模型(B)、其深度监督变体(DS)以及一个整体嵌套边缘检测(HED)模型,用于从铀氧化物(UO2)样品的SEM-BSE图像中检测晶界。本研究的核心概念创新在于,采用了一种能够保持边界连续性的损失函数——中心线Dice(clDice)损失,以及一个能提供拓扑信息的评估指标——Betti匹配误差。clDice损失通过比较预测掩膜和真实掩膜的形态学骨架,强制模型预测的晶界形态具有正确的拓扑结构。Betti匹配误差则通过比较预测二值图像与真实二值图像的拓扑特征(即连通分量和空洞的数量)来量化拓扑差异,比传统的二元分类指标更能反映晶界分割用于晶粒分析的本质需求。
研究发现,深度监督模型(DS)的表现优于其他模型。为了评估DS模型的效率,研究者将其与当前先进的基于图像处理的晶界检测方法(SEraMic)进行了比较,后者需要通过多张不同倾斜角的BSE图像来检测边界。结果表明,对于任何数量的输入图像,DS模型都显著改善了Betti匹配误差。特别是,DS模型仅用单张输入图像就能得到准确结果,甚至能够检测出强度差异低于噪声水平的边界。这意味着,本研究提出的方法有望避免使用繁琐的倾斜序列图像采集,同时达到甚至优于现有方法的性能,为快速、自动化的微观结构表征开辟了新途径。
关键技术方法概览
研究主要应用了三种基于VGG19编码器的卷积神经网络架构:1) 基线U-Net模型(B);2) 在其基础上增加了两个辅助分割头(应用于最后两个解码器块)的深度监督U-Net模型(DS);3) 整体嵌套边缘检测模型(HED)。训练采用了一种拓扑感知的损失函数——中心线Dice(clDice)损失,它通过比较预测与真实掩膜的骨架来增强预测边界的连续性。模型性能通过一种拓扑信息度量——Betti匹配误差进行评估,该误差量化了预测与真实二值图像之间拓扑特征的差异。实验数据来源于铀氧化物(UO2)样品的扫描电子显微镜背散射电子(SEM-BSE)图像及其对应的人工标注或通过SEraMic方法获得的晶界图像。研究构建了包含128个训练样本和32个验证样本的数据集,并进行了裁剪、翻转等数据增强。
研究结果
1. 模型架构与训练
研究详细阐述了基线模型(B)、深度监督模型(DS)和整体嵌套边缘检测模型(HED)的架构。DS模型在B模型的基础上,于最后两个解码器块添加了辅助分割头,其总损失是最终输出与两个上采样侧输出损失的加权和。HED模型则在编码器的每个阶段附加分割头,产生多尺度侧输出,并通过一个融合层进行整合。所有模型均使用clDice损失进行训练,以优化预测边界的拓扑结构。
2. 深度监督模型(DS)的综合性能最优
通过对不同模型在测试数据集上的评估,结果表明深度监督模型(DS)在Betti匹配误差、Dice系数等多项指标上均优于基线模型(B)和HED模型。DS模型能够生成更完整、拓扑结构更准确的晶界网络。
3. 与多倾斜角图像处理方法(SEraMic)的对比
为了全面评估所提深度学习方法的效能,研究将其与目前先进的、基于多倾斜角BSE图像处理的SEraMic方法进行了系统性比较。比较在不同数量输入图像(1张、3张、5张、全部图像)的条件下进行。结果表明,无论使用多少张输入图像,本研究提出的DS模型在Betti匹配误差上均显著优于SEraMic方法。特别是,DS模型仅需单张BSE图像,其性能即可超越需要多张图像的SEraMic方法。这突显了深度学习方法在简化数据采集流程、提升检测效率方面的巨大优势。
4. 在低对比度区域的检测能力
研究特别展示了DS模型在图像低对比度区域的检测能力。在一些相邻晶粒灰度差异非常小、甚至低于噪声水平的区域,传统图像处理方法和未经拓扑约束的模型难以准确识别边界,而使用了clDice损失的DS模型仍能有效地检测出这些“隐形”的晶界,证明了拓扑感知损失函数在提升模型感知和重建微弱边界特征方面的有效性。
结论与意义
本研究成功开发并评估了一套基于深度学习、用于SEM-BSE图像晶界检测的创新方法。通过引入拓扑保持性损失函数(clDice)和拓扑信息评估指标(Betti匹配误差),研究团队有效解决了以往深度学习方法中常见的晶界闭合性问题,并使模型评估更贴合晶粒分析的实际应用目标。
在三种测试的模型中,深度监督U-Net模型(DS) 表现最为出色。与当前需要多张倾斜图像的最先进图像处理方法(SEraMic)相比,DS模型仅需单张输入图像,就能在拓扑准确性上取得更优的结果,实现了“以一当多”的效能突破。这意味着该方法能够避免繁琐的多图像采集和配准步骤,极大地提升了分析速度,为高通量微观结构表征和原位实验监测提供了切实可行的解决方案。
本工作的意义在于,它不仅仅是一个性能更优的晶界检测工具,更代表了一种方法论上的进步:将拓扑约束引入材料显微图像的分析任务,强调了对于网络状结构(如晶界、血管、神经元),保持其全局连通性与局部准确性同等重要。所采用的clDice损失和Betti匹配误差,有望迁移到其他具有类似结构的材料科学或生物医学图像分割问题中。这项研究为实现快速、准确、无需破坏性制样的自动化微观结构分析迈出了关键一步,对材料研发、工艺优化和质量控制具有重要的实用价值。该论文发表于《Computational Materials Science》。