数字图像相关(DIC)是一种非接触式光学测量方法,通过比较物体变形前后的图像来获取其表面的位移和变形信息。由于其非接触性、全场测量能力、简单的测量设备和流程以及广泛的适用性,DIC在材料科学[1,2]、结构健康监测[3]、土木工程[4]、生物医学[5,6]、地质测试[7]、航空航天[8]等领域得到了快速发展。
通常来说,DIC算法的实现包括两个步骤:初始值估计和亚像素优化[9]。初始值估计用于快速获得粗略的匹配位置作为亚像素优化的起点,通过迭代优化提高DIC的测量精度。常用的初始值估计方法包括空间域搜索法[10]、频域相关法[11,12]、嵌套粗细算法[10]、连续性传播策略[13]、遗传算法[14]等。亚像素优化方法包括粗细搜索算法[15,16]、迭代空间域互相关算法[17,18,19]、空间梯度法[20,21]、峰值搜索法[11,22]等。其中,前向加性牛顿-拉夫森(FA-NR)方法[17]采用迭代残差的思想,不断迭代并变形子区域,直到其与参考子区域的相关系数最高,大大提高了DIC的测量精度,成为亚像素匹配的最新技术(SOTA)。为了提高FA-NR方法的计算效率,潘等人[23]提出了逆组合高斯牛顿(IC-GN)方法,该方法变形参考子区域并与变形子区域进行匹配,并在变形子区域上累积变形增量,从而仅计算一次Hessian矩阵,显著提高了计算效率。
经过40多年的发展,尽管传统的DIC技术已经相当成熟,但在实际应用中仍存在许多问题。首先,子区域窗口的平滑效果使得传统DIC方法难以测量高频变形[24];其次,插值和迭代过程导致计算时间长、测量效率低[25];第三,测量结果依赖于参数的合理设置,如形状函数、子区域大小、迭代终止条件等,这些参数的选择较为困难[26]。
随着深度学习的快速发展,尤其是卷积神经网络在ImageNet竞赛中的显著成就,出现了许多深度学习模型,如ResNet[27]、U-Net[28]、Transformer[29]等,深度学习方法也为DIC测量提供了新的实现视角。早在2001年和2010年,Pitter[30]和Liu[31]就使用简单的全连接神经网络进行亚像素位移估计,但由于当时网络模型和计算能力的限制,神经网络方法在DIC领域并未受到太多关注。随着计算能力的提升和深度学习的发展,Boukhtache等人[25]首次将光流神经网络模型引入DIC,实现了亚像素位移场的端到端输出。此后,学者们将卷积神经网络(CNN)[32,33]、编码器-解码器结构[34,35]、U-Net结构[24,36]、Transformer[37,38]、光流模型[39,40]等深度学习模型引入DIC测量,极大地丰富和发展了基于深度学习的DIC(DL-DIC)方法。目前主流的DL-DIC方法是监督学习网络,其数据集需要位移场的真实值作为标签。由于获取位移场真实值的难度较大,一些学者提出了无监督[41,42]或半监督[43,44]的DL-DIC模型,这些模型利用预测的位移场对变形图像进行变形处理,然后与参考图像进行比较以获得无监督损失。随着DL-DIC的发展,DL-DIC方法的测量范围逐渐扩大,从最初的亚像素位移测量[25,32]到几个像素[34,35],再到几十个像素[39,44],现在可测量的范围已超过100像素[40,44]。总之,DL-DIC方法在网络结构、可测量变形范围和数据集方面取得了初步进展,DL-DIC方法的里程碑式发展过程如图1所示。
除了直接使用深度学习进行DIC变形估计外,还有研究将深度学习技术应用于初始值估计[45,46]和斑点图像预处理[47,48]。此外,也有研究将深度学习与立体DIC或数字体积相关(DVC)方法[49,50]相结合,但目前相关研究论文较少,源代码也未公开,因此这里不再单独介绍,而是与单目DIC一起进行综述。
截至2025年5月,Web of Science数据库中已发表了超过130篇关于深度学习和数字图像相关(关键词:深度学习、数字图像相关)的研究论文,表明DL-DIC方法正迅速成为一个有前景的研究方向。尽管已有许多关于DIC方法的综述论文[51,52],但这些综述主要集中在传统DIC方法上,缺乏对DL-DIC方法的系统性和综合性回顾。特别是在过去五年中,深度学习在DIC领域发展迅速,出现了大量新的DL-DIC方法,并在精度和效率方面取得了显著进步。然而,DL-DIC方法严重依赖数据集,同一DL-DIC网络在不同数据集上的表现可能不同,导致其声称的精度不可靠且无法复现。因此,本文旨在明确现有DL-DIC方法的发展轨迹和技术特点,并构建一个开源的、全面的基准数据集,以便公平客观地比较各种DL-DIC网络。需要说明的是,由于许多论文中“位移”和“变形”概念的混用,本文在必要时会使用“应变”来明确表示变形。本文的具体贡献如下:
由于DL-DIC方法严重依赖数据集,本文将提供一个全面的基准数据集作为DL-DIC方法的第一个基准;
- 1.
总结现有DL-DIC方法的发展历程,介绍并比较各种DL-DIC网络,为该领域的研究人员提供首份综述和入门指南;
- 2.
基于本文提出的基准数据集,对现有DL-DIC网络进行了对比实验,以验证它们在不同变形范围内的有效性,为DIC用户提供网络选择指导;
- 3.
通过对现有DL-DIC方法的对比分析,讨论了DL-DIC领域的未来发展方向。