综述:基于深度学习的数字图像相关方法的比较性综述与基准测试

《Optics and Lasers in Engineering》:A comparative review and benchmark for deep learning based digital image correlation method

【字体: 大 中 小 】 时间:2026年01月01日 来源:Optics and Lasers in Engineering 3.7

编辑推荐:

  DIC方法结合深度学习在变形测量中的应用综述与基准研究。首次系统梳理DL-DIC网络结构、损失函数、数据集及变形范围,构建开放基准数据集并开展对比实验,为研究者提供方法选型参考。

  
连波王|韩武
西北工业大学软件学院,中国西安710129

摘要

经过四十多年的发展,数字图像相关(DIC)方法的理论和应用已经得到了广泛的研究和发展。但在过去五年中,深度学习的引入为DIC领域带来了新的实现方案和发展机遇。基于深度学习的DIC(DL-DIC)方法不仅计算效率更高、操作更简便,还能测量更复杂的高频变形。为了帮助DIC研究人员快速掌握DL-DIC方法,本文首次对其进行了对比性综述。该综述不仅全面回顾了现有DL-DIC方法的网络结构、损失函数和数据集,还从可测量变形范围的角度对现有网络进行了分类,构建了不同变形范围的数据集,并对现有DL-DIC方法进行了对比实验。基于这些对比实验,我们提供了选择DL-DIC网络的建议,以避免研究人员和用户重复尝试。同时,我们将该综述中的数据集和所有DL-DIC网络代码开源,以促进DL-DIC领域的发展。

引言

数字图像相关(DIC)是一种非接触式光学测量方法,通过比较物体变形前后的图像来获取其表面的位移和变形信息。由于其非接触性、全场测量能力、简单的测量设备和流程以及广泛的适用性,DIC在材料科学[1,2]、结构健康监测[3]、土木工程[4]、生物医学[5,6]、地质测试[7]、航空航天[8]等领域得到了快速发展。
通常来说,DIC算法的实现包括两个步骤:初始值估计和亚像素优化[9]。初始值估计用于快速获得粗略的匹配位置作为亚像素优化的起点,通过迭代优化提高DIC的测量精度。常用的初始值估计方法包括空间域搜索法[10]、频域相关法[11,12]、嵌套粗细算法[10]、连续性传播策略[13]、遗传算法[14]等。亚像素优化方法包括粗细搜索算法[15,16]、迭代空间域互相关算法[17,18,19]、空间梯度法[20,21]、峰值搜索法[11,22]等。其中,前向加性牛顿-拉夫森(FA-NR)方法[17]采用迭代残差的思想,不断迭代并变形子区域,直到其与参考子区域的相关系数最高,大大提高了DIC的测量精度,成为亚像素匹配的最新技术(SOTA)。为了提高FA-NR方法的计算效率,潘等人[23]提出了逆组合高斯牛顿(IC-GN)方法,该方法变形参考子区域并与变形子区域进行匹配,并在变形子区域上累积变形增量,从而仅计算一次Hessian矩阵,显著提高了计算效率。
经过40多年的发展,尽管传统的DIC技术已经相当成熟,但在实际应用中仍存在许多问题。首先,子区域窗口的平滑效果使得传统DIC方法难以测量高频变形[24];其次,插值和迭代过程导致计算时间长、测量效率低[25];第三,测量结果依赖于参数的合理设置,如形状函数、子区域大小、迭代终止条件等,这些参数的选择较为困难[26]。
随着深度学习的快速发展,尤其是卷积神经网络在ImageNet竞赛中的显著成就,出现了许多深度学习模型,如ResNet[27]、U-Net[28]、Transformer[29]等,深度学习方法也为DIC测量提供了新的实现视角。早在2001年和2010年,Pitter[30]和Liu[31]就使用简单的全连接神经网络进行亚像素位移估计,但由于当时网络模型和计算能力的限制,神经网络方法在DIC领域并未受到太多关注。随着计算能力的提升和深度学习的发展,Boukhtache等人[25]首次将光流神经网络模型引入DIC,实现了亚像素位移场的端到端输出。此后,学者们将卷积神经网络(CNN)[32,33]、编码器-解码器结构[34,35]、U-Net结构[24,36]、Transformer[37,38]、光流模型[39,40]等深度学习模型引入DIC测量,极大地丰富和发展了基于深度学习的DIC(DL-DIC)方法。目前主流的DL-DIC方法是监督学习网络,其数据集需要位移场的真实值作为标签。由于获取位移场真实值的难度较大,一些学者提出了无监督[41,42]或半监督[43,44]的DL-DIC模型,这些模型利用预测的位移场对变形图像进行变形处理,然后与参考图像进行比较以获得无监督损失。随着DL-DIC的发展,DL-DIC方法的测量范围逐渐扩大,从最初的亚像素位移测量[25,32]到几个像素[34,35],再到几十个像素[39,44],现在可测量的范围已超过100像素[40,44]。总之,DL-DIC方法在网络结构、可测量变形范围和数据集方面取得了初步进展,DL-DIC方法的里程碑式发展过程如图1所示。
除了直接使用深度学习进行DIC变形估计外,还有研究将深度学习技术应用于初始值估计[45,46]和斑点图像预处理[47,48]。此外,也有研究将深度学习与立体DIC或数字体积相关(DVC)方法[49,50]相结合,但目前相关研究论文较少,源代码也未公开,因此这里不再单独介绍,而是与单目DIC一起进行综述。
截至2025年5月,Web of Science数据库中已发表了超过130篇关于深度学习和数字图像相关(关键词:深度学习、数字图像相关)的研究论文,表明DL-DIC方法正迅速成为一个有前景的研究方向。尽管已有许多关于DIC方法的综述论文[51,52],但这些综述主要集中在传统DIC方法上,缺乏对DL-DIC方法的系统性和综合性回顾。特别是在过去五年中,深度学习在DIC领域发展迅速,出现了大量新的DL-DIC方法,并在精度和效率方面取得了显著进步。然而,DL-DIC方法严重依赖数据集,同一DL-DIC网络在不同数据集上的表现可能不同,导致其声称的精度不可靠且无法复现。因此,本文旨在明确现有DL-DIC方法的发展轨迹和技术特点,并构建一个开源的、全面的基准数据集,以便公平客观地比较各种DL-DIC网络。需要说明的是,由于许多论文中“位移”和“变形”概念的混用,本文在必要时会使用“应变”来明确表示变形。本文的具体贡献如下:
由于DL-DIC方法严重依赖数据集,本文将提供一个全面的基准数据集作为DL-DIC方法的第一个基准;
  • 1.
    总结现有DL-DIC方法的发展历程,介绍并比较各种DL-DIC网络,为该领域的研究人员提供首份综述和入门指南;
  • 2.
    基于本文提出的基准数据集,对现有DL-DIC网络进行了对比实验,以验证它们在不同变形范围内的有效性,为DIC用户提供网络选择指导;
  • 3.
    通过对现有DL-DIC方法的对比分析,讨论了DL-DIC领域的未来发展方向。
本文的结构如下:第2节将全面描述深度学习在DIC领域的应用,并从现有DL-DIC网络结构、可测量变形范围、损失函数等方面详细概述深度学习在DIC领域的应用。第3节将介绍现有的DL-DIC数据集,并提出一个包含不同变形范围的基准数据集。第4节将对所有开源的DL-DIC网络进行对比实验。第5节将根据对现有DL-DIC方法的回顾指出未来的发展方向。最后,第6节总结整篇论文。

节选内容

深度学习在DIC中的应用

近年来,深度学习的引入为DIC技术的发展带来了重大突破[25,35]。为了系统地讨论当前的DL-DIC方法及其发展过程,以下内容将重点介绍DL-DIC的网络结构、可测量变形范围、损失函数以及深度学习在DIC领域的其他应用。

DL-DIC的数据集

数据集是DL-DIC方法有效性的基本保障,对其测量精度和泛化能力起着决定性作用。现有的DL-DIC网络在各自的数据集上表现良好,但目前尚无统一的基准数据集来比较不同的DL-DIC方法。因此,本节将回顾现有的数据集,并提出一个包含不同变形范围的基准数据集。

对比实验

为了指导DIC用户选择DL-DIC网络模型,本节基于第3.2节生成的基准数据集进行了对比实验。值得注意的是,尽管有许多优秀的DL-DIC网络,但由于缺乏开源或算法缺陷,它们无法进行比较。因此,本节比较的网络模型不能涵盖所有DL-DIC网络,但基本上包括了大多数经典和最新的(SOTA)模型。

未来研究方向

尽管DL-DIC方法近年来取得了显著进展,但在可解释性、鲁棒性、泛化能力和工程应用性方面仍有很大的提升空间。未来的研究可以朝以下方向推进:
  • •
    更先进的网络结构
  • 尽管DL-DIC方法起步较晚,但它具有后发优势,因此大多数DL-DIC网络结构都相对先进。然而,深度学习技术的发展仍在不断进步。

    结论

    随着深度学习技术的发展,提出了许多DL-DIC方法。本文首先概述了现有的DL-DIC方法,从网络结构、可测量变形范围、损失函数和数据集等方面进行了总结。随后,提出了一个包含不同变形范围的基准数据集,并对现有DL-DIC模型进行了对比实验。基于对比实验结果,我们提出了一些建议。

    CRediT作者贡献声明

    连波王:撰写——综述与编辑、初稿撰写、监督、资源协调、项目管理、调研、资金获取、数据分析、概念构思。韩武:初稿撰写、可视化处理、验证、软件开发、资源协调、方法论设计、调研、数据分析、数据整理。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号