一种基于Segment Anything Model 2的多提示迁移学习框架,用于分割工程水泥基复合材料图像和视频中的微裂纹

《Engineering Applications of Artificial Intelligence》:A multi-prompt transfer learning framework based on segment anything model 2 for segmenting microcracks in engineered cementitious composite images and videos

【字体: 大 中 小 】 时间:2026年10月23日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  • SAM2的内存使得在无需针对特定视频的训练情况下,也能实现视频中裂纹跟踪的时间一致性。• 进步式的冻结和解冻机制允许在标签数量较少、迁移成本较低的情况下进行精确的少样本领域适应。• 融合了粗略掩码、自感知框和基于距离的点,能够在复杂背景中分割细长的裂纹。 引言 工程化水泥基

  • SAM2的内存使得在无需针对特定视频的训练情况下,也能实现视频中裂纹跟踪的时间一致性。• 进步式的冻结和解冻机制允许在标签数量较少、迁移成本较低的情况下进行精确的少样本领域适应。• 融合了粗略掩码、自感知框和基于距离的点,能够在复杂背景中分割细长的裂纹。

引言
工程化水泥基复合材料(ECC)是高延展性的水泥材料(Zhang等人,2020年;Victor,2003年;Yang等人,2026年),其中纤维桥接是主要的增韧机制(Yang等人,2008年;Li和Wu,1992年)。在拉伸载荷下,ECC表现出伪应变硬化行为,其特征是形成大量微裂纹。准确识别微裂纹的数量、间距、连通性和宽度演变对于评估混凝土结构的损伤、耐久性以及理解伪应变硬化和多重断裂机制至关重要(Rokugo等人,2007年;Melugiri Shankaramurthy等人,2025年;Zhang等人,2026a,2026b)。传统的手动裂纹检测依赖于视觉解释和手绘追踪,这既费力又昂贵,且高度依赖于检测人员的经验,导致评估结果不一致且不可重复,特别是在大规模数据集和细小裂纹的情况下(Deng等人,2022年;Mohan和Poobal,2018年)。这些问题在工程化水泥基复合材料(ECC)中尤为突出,因为这里分布密集、细长且对比度低的微裂纹显著增加了可靠检测的难度。
为了克服手动检测的局限性,越来越多的关注集中在基于机器学习和计算机视觉的自动裂纹检测方法上,与手动方法相比,这些方法提供更高的效率、客观性和准确性(Wu等人,2025年)。近年来,深度学习进一步推动了裂纹检测和像素级分割的发展,在强监督环境下实现了高精度(Chen等人,2023年)。人工智能(AI)越来越多地应用于基于水泥的材料和混凝土结构的混合物设计、材料性能预测、可靠性评估以及智能监测,特别是在自动裂纹分割方面(Luo等人,2025年;Xu等人,2026a,2026b;Wang等人,2026a,2026b;Fan等人,2026年)。例如,Liu等人(2019年)是最早引入U-Net进行像素级混凝土裂纹检测的研究之一,达到了97.96%的准确率和79.95的F1分数,从而证明了编码器-解码器架构在裂纹识别中的有效性。Chen等人(2024a)提出了一种基于池化的Transformer模型——PoolingCrack,该模型在与代表性分割模型相比时,平均Dice分数提高了0.4%–6.8%,同时参数数量减少了36%–62%。Liu等人(2025年)通过结合改进的You Only Look Once X(YOLOX)和U-Net3+开发了一个两阶段裂纹检测框架,以增强裂纹定位和细粒度分割。Li等人(2024年)将迁移学习与深度可分离卷积相结合,开发了一个轻量级的裂纹检测网络,在保持竞争性检测性能的同时降低了模型复杂度。尽管这些方法显著提高了自动混凝土裂纹检测的性能,但大多数现有模型仍然主要针对普通混凝土表面上相对显眼的裂纹设计,并且通常需要大量的像素级标注进行训练。对于ECC中的微裂纹,由于它们分布密集、宽度狭窄、对比度低且容易受到表面纹理的影响,这些方法在识别细小裂纹、保持裂纹连续性和在复杂背景下的泛化能力方面仍然有限。
在实际工程应用中,裂纹识别不仅需要在静态图像中进行精确分割,还需要支持动态监测场景中的连续裂纹跟踪。与单帧图像相比,视频数据可以记录裂纹从初始到传播的时间演变过程,这有助于分析裂纹传播路径、形态变化和损伤发展。例如,Chen和Fu(2025年)提出了一种用于车载检测视频的连续路面裂纹实例分割方法,展示了从长图像序列中稳定提取裂纹的实际价值。这种方法确保了相邻帧之间裂纹识别的一致性,从而减少了由于光照变化、视角变化和图像噪声引起的帧间检测波动,提高了分割结果的稳定性和可靠性。同样,Pyo等人(2016年)使用高速相机图像研究了在不同加载率下超高性能混凝土中的裂纹传播速度,表明可以从图像序列中量化裂纹速度,并且裂纹速度与裂纹起始应变率密切相关,这突显了从时间角度分析裂纹行为的必要性。这些研究表明,基于视频的裂纹分析不仅有助于自动裂纹跟踪,还能够评估裂纹演变趋势,从而为长期结构健康监测、损伤演变分析和预防性维护决策提供更有价值的数据支持。然而,现有的基于视频的裂纹分割方法仍然面临重大挑战。一方面,裂纹在不同帧之间可能表现出复杂的时间变化,如路径扩展、宽度变化、分支形成和局部消失,这可能导致分割结果不连续或跟踪不稳定。另一方面,视频数据的逐帧像素级标注比静态图像的标注要昂贵得多,且公开可用的视频裂纹数据集仍然有限。因此,迫切需要一种统一的方法,能够在有限的标注条件下同时应用于基于图像和视频的裂纹分割,以提高裂纹识别的准确性、稳定性和时间一致性。
为了解决高标注成本、有限的泛化能力和基于图像和视频的裂纹分割不足的时间稳定性问题,视觉基础模型为减少对人工标注的依赖提供了一种新方法。以Segment Anything Model(SAM)和Segment Anything Model 2(SAM2)为代表的基于prompt的分割模型展示了强大的prompt引导分割能力和跨任务迁移潜力,使得即使在有限的标注条件下也能适应不同的下游任务(Kirillov等人,2023年;Ravi等人,2024年)。特别是SAM2引入了一种流式记忆机制,使得历史帧信息可以用于视频序列中的跨帧传播,从而为基于图像和视频的裂纹分割提供了统一的模型基础(Ravi等人,2024年)。近年来,人们探索了轻量级的迁移策略来提高SAM/SAM2对裂纹分割任务的适应性。例如,Ge等人(2024年)将Adapter和低秩适应(LoRA)模块引入SAM中,以提高模型的鲁棒性和跨数据集泛化能力。Rostami等人(2025年)提出了Segment Any Crack,该模型仅更新归一化参数,并在OmniCrack30k(Benz和Rodehorst,2024年)和多个零样本数据集上表现出稳定的性能。Guo等人(2024年)将LoRA与裂纹分割头相结合,实现了自动化裂纹分割。Chen等人(2024b)进一步证明了冻结-适应机制可以提高SAM2的任务特定泛化能力。这些研究表明,迁移学习和参数高效的微调可以缓解基础模型与裂纹分割任务之间的领域差异。然而,ECC微裂纹的特点是宽度小、对比度低、分布密集,并且容易受到表面纹理、阴影和边界模糊的影响。直接应用SAM2或仅依赖现有的适应策略可能会导致漏检、误报或裂纹连通性中断。因此,有效的ECC微裂纹分割不仅需要领域适应来提高模型的特征表示能力,还需要面向任务的prompt构建来引导SAM2准确聚焦于真实裂纹区域。
在这方面,prompt工程已成为提高SAM2裂纹分割性能的重要方法。高质量的prompt可以明确地向模型提供结构先验、空间位置和裂纹的前景-背景区分信息,从而减轻领域偏移和减少人工交互。现有研究尝试以不同的方式自动生成或优化prompt,以提高SAM/SAM2在复杂场景中的适应性。例如,Xing等人(2025年)使用支持集(即图像-掩码对)来指导SAM2自动生成伪掩码和prompt信息,从而减少对人工提供prompt的依赖并提高跨领域适应性。Wahd等人(2025年)提出了用于放射学的SAM2Rad,其中可学习的prompt预测网络替代了手动指定的点和框prompt,以缓解由于明显领域偏移导致的分割失败。Teng等人(2025年)使用分形维度矩阵构建了SAMprompt,使模型能够适应复杂环境中桥梁裂纹的形态变化。这些研究表明,结合结构先验与prompt设计有助于提高分割稳定性。然而,现有的prompt方法通常依赖于单一的prompt类型或单一的结构先验,难以同时提供全局裂纹分布、区域级空间约束和局部前景-背景区分信息。因此,仍需要更协同的prompt设计来提高SAM2在细小裂纹分割中的稳定性和可靠性。
总体而言,尽管深度学习显著提高了像素级裂纹分割的性能,但大多数方法仍然依赖于强监督,并且在领域偏移下泛化能力有限。这些挑战在ECC中尤为明显,因为密集的微裂纹会放大分割错误,并且在视频序列中由于时间不一致性和跟踪不稳定而进一步加剧。作为适用于图像和视频的prompt型基础模型,SAM2减少了对抗注解的依赖,并实现了跨帧传播;然而,其性能仍然高度依赖于prompt的质量。本研究的主要贡献在于将阈值掩码、自感知框(SP-Box)和基于欧几里得距离变换(EDT)的正面和负面点作为互补的全局、区域和局部先验结合在一起,以及渐进式的SAM2迁移和记忆传播。这个面向ECC的集成框架使得在测试过程中无需手动标注的掩码或手动指定的prompt即可实现自动图像和视频裂纹分割。
本文的其余部分组织如下。第2节描述了方法论,包括数据集准备、prompt构建、模型迁移、图像和视频分割程序以及评估指标。第3节展示并讨论了实验结果,包括图像分割、迁移学习效果、prompt比较、视频分割以及与主流深度学习方法的比较。第4节总结了主要发现并概述了未来的研究方向。

方法
如图1所示,为ECC裂纹分割建立了一个基于迁移学习的多prompt框架,适用于图像和视频。该框架将基于阈值的粗略掩码先验、自感知框(SP-Box)和基于欧几里得距离变换(EDT)的距离引导点prompt集成到迁移的SAM2模型中,以增强分割性能。同时,还开发了一个用于裂纹视频分割的流式逐帧处理流程。

基于图像的裂纹分割
图10展示了六张具有典型但具有挑战性的形态模式的代表性ECC裂纹图像,包括水平穿透裂纹、交叉或分支裂纹、多个几乎平行的细裂纹以及连续分布的多裂纹结构。同时,这些图像在裂纹宽度、连通性和分支复杂性方面存在明显差异,从而相对全面地反映了ECC裂纹的实际特征。

结论
本研究提出了一种针对ECC裂纹分割的多prompt迁移策略,特别适用于具有密集分布、细长和低对比度微裂纹的分割。该方法在不需要视频领域训练数据的情况下,实现了高精度的图像分割和时间一致的视频分割。通过集成多种prompt类型和渐进式的冻结-解冻方案,所提出的框架为CRediT中的ECC裂纹检测提供了高效和准确的解决方案。

作者贡献声明
Yanhui Chen:撰写——原始草稿,概念化。
Jingjie Wei:撰写——审阅与编辑。
Hengliang Liu:资源,形式分析。
Jinghao Huang:验证,资源。
Haojia Lv:验证,监督。
Ge Zhang:撰写——审阅与编辑,撰写——原始草稿,验证,方法论。
Shuai Teng:撰写——审阅与编辑,项目管理。
Jianbo Zang:形式分析,概念化。
Jiaxiang Lin:撰写——审阅与编辑,方法论。
Yongchang Guo:撰写——

资助
本工作得到了国家自然科学基金(项目编号12502215)和GDAST青年精英科学家资助计划(项目编号SKXRC2026207)的支持。

利益冲突声明
作者声明他们没有已知的可能影响本文研究工作的财务利益或个人关系。

Yanhui Chen | Jingjie Wei | Hengliang Liu | Jinghao Huang | Haojia Lv | Ge Zhang | Shuai Teng | Jianbo Zang | Jiaxiang Lin | Yongchang Guo
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号