《Buildings》:Vision-Based Displacement Measurement for Structural Health Monitoring: A Metrology-Oriented Review of Uncertainty Quantification
编辑推荐:
本文提出了一项以计量学为导向的综述,系统评述了面向土木结构健康监测(Structural Health Monitoring, SHM)的视觉位移与变形测量方法,重点关注现场鲁棒性与不确定度量化(Uncertainty Quantification, UQ)。
本文提出了一项以计量学为导向的综述,系统评述了面向土木结构健康监测(Structural Health Monitoring, SHM)的视觉位移与变形测量方法,重点关注现场鲁棒性与不确定度量化(Uncertainty Quantification, UQ)。综述聚焦于将视觉信息转换为定量物理测量的图像与视频方法,例如位移、应变或派生动态指标。相关文献按照测量链的主要阶段进行组织,即图像形成、像平面运动估计以及向度量运动的几何转换。在该框架内,测量流程被解释为三级几何映射,即标量尺度因子模型、基于平面单应性(homography)的模型以及基于完整雅可比矩阵(Jacobian)的模型。综述综合了主要方法族,包括基于标记与无标记跟踪、基于特征的跟踪、光流(optical flow)、数字图像相关(Digital Image Correlation, DIC)、基于相位的运动放大、基于边缘的估计器、固定相机与移动相机构型、具有自运动补偿的无人机(Unmanned Aerial Vehicle, UAV)采集、视觉-传感器混合融合以及深度学习增强流程。随后,文章沿处理链给出了不确定度来源的结构化分类,涵盖相机几何与标定、成像噪声与模糊、量化、时序与同步、环境扰动、光学湍流与热霾、平台运动、算法失效模式以及参考传感器不确定度。论文还比较了多种UQ实践,包括与GUM一致的解析传播、蒙特卡洛(Monte Carlo)方法、DIC专用误差预算、自助法(bootstrap)与重采样策略,以及概率深度学习。该综述的主要贡献在于:通过在统一框架内显式关联测量模型、不确定度来源、UQ方法与现场验证证据,将基于计算机视觉的位移测量流程与计量学要求联系起来。文中进一步整理了一套实用的不确定度预算模板,以支持在不同流程与部署场景下进行可溯源报告。最后,论文总结了优先研究空白与未来方向,包括标准化基准与数据集、面向移动相机系统的可溯源UQ、多传感器融合中的端到端不确定度传播、长期漂移表征、光学湍流与恶劣天气建模、极远距离下经验证的亚像素极限、概率深度学习与计量学集成,以及标准化报告规范。
Introduction
论文首先指出,桥梁、高架桥和高层建筑等土木基础设施正日益依赖结构健康监测(Structural Health Monitoring, SHM)以支撑性能评估、全寿命周期资产管理与韧性设计。相较于线性可变差动变压器(LVDT)、位移传感器、加速度计及全球导航卫星系统(Global Navigation Satellite System, GNSS)等传统手段,视觉测量具有非接触、高空间密度与较低部署成本的优势。然而,在真实现场条件下将像平面信息稳定转换为毫米级、具计量可信度的位移与变形量仍然十分困难。作者强调,目前多数研究仍主要以均方根误差(RMSE)等经验指标评价性能,缺乏可溯源的测量模型、完整不确定度预算与标准化报告方式,这限制了视觉传感在安全关键型SHM决策中的应用。基于此,文章提出四个核心研究问题:视觉位移测量的主导测量模型与流程是什么;其不确定度来源如何建模、传播与报告;文献中采用了哪些UQ方法;现场鲁棒性和全尺度验证证据如何。论文的基本立场是,视觉SHM方法不仅是计算机视觉算法,而且必须被视为具有被测量、有效性条件、标定链和不确定度预算的测量系统。
Review Methodology and Selection Criteria
在综述方法上,研究人员采用目标导向的文献检索策略,围绕视觉位移/变形测量、土木SHM及不确定度处理展开,覆盖Scopus、Web of Science、IEEE Xplore、ScienceDirect、SpringerLink、MDPI、Google Scholar等主要数据库。时间窗口主要设定为2010—2026年,同时保留了一些奠基性的早期文献。纳入标准包括:基于图像/视频输出定量位移、变形、应变、模态或损伤相关指标;包含显式测量模型、标定过程、不确定度分析或参考传感器对比;具有实验室、全尺度或真实工况验证;属于本文关注的方法家族。排除对象主要为仅做定性检测、裂缝分类、语义分割而不直接服务于位移/变形测量和UQ的研究。所有文献最终被归入“投影-配准-映射”统一框架,并按照主导不确定度来源、UQ方法和验证证据类型进行归类。
2. Measurement Models and Pipelines
本节构建了统一测量模型框架,并据此梳理主要视觉位移测量流程。论文指出,不同方法虽然在相机配置、目标依赖、跟踪算法及平台固定/移动方式上存在差异,但都可归结为从图像形成到像域运动估计再到几何映射的共同测量链。分类上采用两个正交维度:一是场景是否采用人工标记,区分为基于标记与无标记流程;二是部署模式,区分为固定相机与移动相机(含无人机)模式。静态监测与动态监测不作为独立分类轴,而被视为影响主导不确定度、时间分辨率需求与验证策略的应用工况。在准静态监测中,几何映射、标定、长期漂移与相机稳定性更关键;在动态监测中,帧率、同步误差、运动模糊、滚动快门与平台振动等时变因素更重要。
2.1. Unified Measurement-Model Framework
研究人员提出,大多数视觉位移系统均可用两阶段模型表示:首先,三维结构点经相机模型投影到图像坐标;其次,图像坐标变化通过局部逆映射转换为物理位移或变形。文章进一步将几何映射统一为三个层级:Level 0为标量尺度因子模型,适用于小视场、已知运动方向、透视效应可忽略的情形;Level 1为基于平面单应性或仿射模型的局部映射,适用于感兴趣区域(ROI)近似平面但存在空间变尺度的情况;Level 2为基于完整雅可比矩阵(Jacobian)的局部线性化模型,适用于一般三维场景、显著透视或离面运动、宽ROI以及移动相机情形。作者强调,不同映射层级不仅对应不同几何假设,也决定了不确定度预算中主导项的构成:从尺度因子不确定度,扩展到单应性参数协方差,再到内参、畸变、位姿、参考三维几何及时序同步等全面因素。
2.2. Marker-Based Monocular Pipelines
基于标记的单目流程通过在结构选定位置布设高对比度人工标靶,并使用固定单目相机进行持续跟踪。其典型步骤包括相机安装与内参/畸变标定、目标检测与ROI定义、模板匹配与亚像素配准,以及基于尺度因子或单应性映射的像素-物理量转换。文章指出,该类方法由于几何关系较清晰、跟踪目标可控,是最容易构建可溯源不确定度预算的流程之一。文中列举了多点桥梁与建筑监测、斜拉人行桥毫米级位移测量、以及使用DeepTag的砌体缩尺模型三维跟踪案例,显示该方法既能支持位移时程恢复,也能开展模态识别。对于桥梁支座等需要六自由度(6-DOF)测量的对象,文章还讨论了结合AprilTags与相机自运动补偿的方案,表明在现场温度变化和长时间观测下,旋转和位移均可实现较低误差估计。
2.3. Markerless Feature Tracking and Optical Flow
无标记方法通过跟踪结构表面的自然纹理、边缘、螺栓等特征实现位移测量,避免了人工标记布设。稀疏特征跟踪通常采用角点或斑点检测,再利用Kanade–Lucas–Tomasi(KLT)等算法进行跟踪;稠密光流则为每个像素估计运动向量,从而支持全场位移恢复。论文指出,此类方法与基于标记方法共享相同的测量链,但在配准阶段改由稀疏或稠密运动估计实现,因此结果既可为点位移,也可为空间分布场。若ROI仍近似平面,Level 1映射通常足够;若存在明显离面运动、深度变化或相机位姿时变,则需采用Level 2模型。作者还提及深度学习辅助的裂缝识别与特征验证方法,虽不直接输出位移,但可用于确保跟踪点具有结构意义,增强长期监测一致性。
2.4. Digital Image Correlation and 3D Photogrammetric Pipelines
数字图像相关(Digital Image Correlation, DIC)将位移估计视为参考图像与变形图像之间的图像配准问题。二维DIC通常包括散斑制备、参考/变形图像采集、子区定义、通过互相关或最小二乘准则估计位移和变形梯度、以及采用Newton–Raphson或逆组合Gauss–Newton等方法实现亚像素插值。文章指出,DIC的优势在于其误差来源分析较为成熟,已建立与子区尺寸、散斑统计、插值方法和图像噪声相关的系统误差模型。立体DIC与摄影测量流程则进一步通过双目或多目相机重建三维位移与应变场。单目DIC多采用Level 0或Level 1映射,而立体/三维DIC本质上依赖完整三维重建,因此必须采用Level 2模型,并将标定与三角化不确定度一并传播。
2.5. Phase-Based Motion Magnification and Edge-Based Pipelines
基于相位的运动放大(Phase-Based Motion Magnification, PBMM)提供了不同于强度相关类方法的测量路线。该方法通过多尺度、多方向复可转向金字塔表征图像局部相位变化,并在目标频段内放大微小振动,再从相位信号或与其他跟踪方法结合恢复位移时程。作者认为,PBMM更适合被理解为一种运动提取与增强框架,尤其适用于小振幅振动识别、模态参数估计以及损伤前后对比。与之对应的边缘法则通过高精度亚像素边缘定位实现非接触位移检测,避免显式模板匹配,在梁边缘、桥面边界等目标上具有较高灵敏度和较好计算效率。
2.6. Moving-Camera and Ego-Motion-Compensated Pipelines
针对移动相机系统,包括桥面安装相机和无人机平台,文章指出观测像素位移同时包含结构运动与平台自运动,因而必须显式估计并补偿相机运动。对于名义固定但受振的安装方式,可借助背景静止特征通过单应性或位姿估计恢复相机扰动;对于无人机系统,则通常融合惯性测量单元(IMU)、GNSS/RTK和视觉信息推定相机姿态,再将视频跟踪结果映射到全局坐标系。此类场景下,相机位姿成为时变状态量,固定尺度或平面映射不再适用,因此通常需要Level 2模型。与之对应,不确定度重心也由传统的图像和标定项转向姿态估计、时序同步与残余补偿误差。
2.7. Hybrid Vision–Sensor Fusion Pipelines
混合视觉-传感器融合流程旨在弥补单一传感模态的不足。论文综述了将低成本相机、同步时钟、加速度计等组成无线视觉传感网络的研究,其中视觉提供高空间密度但低采样率的位移信息,加速度计提供高频响应,两者通过状态空间模型或Kalman滤波实现融合。该类系统可输出连续、低漂移的位移时程,并将同步误差、传感器噪声与过程模型一并纳入统一测量框架。作者认为,这种方法对桥梁在役监测、环境振动识别和基于现有监控摄像头的SHM具有较强应用潜力。
2.8. Deep-Learning-Based Pipelines
深度学习在视觉SHM中的角色主要表现为三类:图像增强预处理、深特征检测与跟踪、以及端到端位移回归。前两类方法分别用于提高有效空间分辨率、抑制热霾和光学湍流,或自动定义稳定ROI与结构相关特征;第三类方法则试图直接从图像序列推断位移时程或动力参数。文章特别强调,深度学习通常不是替代投影-配准-映射测量模型,而是在其中某个模块上进行增强,因此其输出不确定度必须与传统计量框架兼容。对于端到端模型,则应将其视为新的测量模型,并单独建立经参考传感器校准的可溯源不确定度表述。
3. Uncertainty Sources: A Comprehensive Taxonomy
本节建立了覆盖整个测量链的不确定度来源分类体系。首先是相机模型与标定不确定度,包括内参、畸变参数、外参位姿及尺度因子误差;在长距离和三维测量中,这些误差可直接放大位移估计偏差。其次是图像层与亚像素定位不确定度,包括传感器噪声、量化、模糊和插值误差,其下限在高质量实验条件下可达到亚像素量级,但在现场常受纹理贫乏与光照变化影响显著恶化。第三类是不确定的时间采样与滚动快门效应,涉及有限帧率、时钟抖动、曝光时间、运动模糊和逐行读取畸变,对动态监测尤其敏感。第四类为环境与运行工况扰动,包括光照、阴影、反射、雨雾雪、温度变化以及光学湍流和热霾,这些因素可造成表观图像抖动与特征畸变。第五类是相机平台运动与自运动补偿误差,特别在移动平台、受振支撑和无人机场景中占主导。第六类为算法与模型形式不确定度,包括特征漂移、局部极值收敛、遮挡、重复纹理误匹配,以及由于采用过于简化几何/动力学模型带来的系统失配。最后,参考传感器本身也具有不确定度,若在验证、校准或偏差修正中未显式计入,将导致对视觉系统性能的过度乐观估计。作者总结指出,不同部署场景下主导不确定度来源并不相同,因此实际预算必须面向具体工况进行优先级排序。
4. Uncertainty Quantification Methods
在UQ方法方面,论文综述了五类主要途径。第一类是与GUM一致的解析传播方法,通过建立显式测量模型、灵敏度系数与输入协方差矩阵,计算合成标准不确定度,优点是透明、可解释且计算代价低,适合几何结构简单、可微的流程。第二类是蒙特卡洛(Monte Carlo)传播,适用于强非线性、黑箱或复杂多源耦合流程,通过对标定参数、图像噪声、环境扰动和姿态状态进行随机采样并运行完整流程,得到输出分布。第三类是DIC专用误差预算,其在材料测试和摄影测量中发展成熟,可细致分解散斑、子区、插值、成像和三维重建误差,并为其他视觉测量方法提供类比模板。第四类是自助法与重采样方法,主要用于评估特征点选择、图像块采样和时间窗口变化带来的算法不确定性,特别适用于缺乏解析误差模型的特征跟踪与光流方法。第五类是概率深度学习,包括Monte Carlo dropout、深度集成和证据网络等,用于评估模型和数据不确定性。作者指出,深度模型的不确定度输出必须通过具有已知不确定度的物理参考测量进行后验校准,否则难以直接纳入计量级预算。整体而言,GUM方法适合作为基础框架,蒙特卡洛适于复杂流程离线分析,重采样适于算法鲁棒性评估,而概率深度学习更适合作为低置信条件识别的补充工具。
5. Metrology-Grade Uncertainty Budget Template
论文在前述测量模型和UQ方法基础上,提出了一个面向SHM视觉位移测量的计量级不确定度预算模板。该模板以固定单目、基于标记、测量桥梁某点竖向位移的典型场景为例,定义了被测量、测量模型、输入量集合及其Type A/Type B分类方式。文中将实际模型表示为尺度因子主项、几何修正项与残差项之和,并说明其与Level 2局部线性化雅可比模型的一致关系。模板中要求列出包括像素位移、尺度因子、相机内参、畸变参数、位姿、名义三维点位、时间同步和环境因子在内的输入量;随后通过灵敏度系数或有限差分计算合成标准不确定度,并在必要时采用蒙特卡洛流程获取非高斯输出分布和覆盖区间。作者进一步提出了推荐报告格式,要求同时说明被测量定义、显式测量模型、输入量及其不确定度、合成标准不确定度、扩展不确定度、覆盖因子以及参考传感器比较结果。为了说明模板的可操作性,文中还给出了两类文献锚定示例:一类是固定相机标记法下采用不确定度传播定律(LPU)的简单情形;另一类是热霾主导场景下采用蒙特卡洛仿真处理非线性环境扰动的情形。通过这两个例子,作者强调同一报告结构可适配不同流程,从而实现跨方法的可比性。
6. Discussion
讨论部分围绕测量流程、不确定度来源、UQ方法及现场鲁棒性进行了综合评述。首先,作者指出,几何更简单的流程如基于标记的单目方法和近距离DIC,更容易实现严格的不确定度建模;而随着无标记跟踪、移动平台和深度学习模块的引入,预算中算法项和环境项占比上升,溯源难度显著增加。其次,不同流程的主导不确定度具有鲜明场景依赖性:短距离固定相机实验中,亚像素定位与标定误差常占主导;长距离桥梁监测中,光照变化、热霾、光学湍流和可见度损失往往超过图像噪声;移动平台下,位姿估计、自运动补偿与同步误差通常成为限制因素。在UQ实践上,论文建议采用混合策略:以GUM框架处理标定和几何项,以蒙特卡洛和虚拟实验分析复杂环境与平台效应,以bootstrap等方法评估算法变异性。关于现场鲁棒性,文章总结了照明变化、恶劣天气、热霾、平台振动和长期漂移等一组反复出现的失效因素,并提出应将其从“运行说明”提升为可计算的不确定度预算项,例如通过记录背景抖动RMS、图像对比度统计、时钟同步信息等现场指标,使环境项、平台项和算法项具备实时估计的基础。此外,作者强调,位移时程的不确定度不应止步于位移本身,还应继续传播到固有频率、模态振型、阻尼比、模态曲率及损伤敏感指标等派生量中。最后,本节也说明了综述的局限性,包括其为目标性综述而非完全系统综述、文献报告指标异质性较强,以及移动相机、PBMM和深度学习等方向的计量验证尚不充分。
7. Open Research Gaps and Future Directions
论文归纳了八个优先研究空白。其一,缺乏覆盖真实现场条件、带有可溯源参考位移和环境元数据的标准化基准与公开数据集,阻碍了跨研究可比性。其二,移动相机和无人机系统仍缺少统一、可溯源的自运动补偿不确定度模型,尤其是位姿、标定和结构运动间相关性的传播。其三,长期漂移表征不足,现有研究多停留在小时至周级验证,而SHM更需要月到年尺度的稳定性评估与自校准机制。其四,光学湍流、热霾及恶劣天气仍主要停留在算法缓解层面,尚未充分嵌入物理可解释的测量模型和预算框架。其五,极远距离条件下亚像素定位性能边界缺乏系统实验验证,难以形成可靠的设计曲线和选型规则。其六,多传感器融合虽愈发常见,但仍缺少跨传感器相关性一致传播及面向决策的统一概率框架。其七,概率深度学习与计量学集成仍处于起步阶段,网络输出的不确定度需要以可溯源参考进行严格校准。其八,视觉位移测量缺乏统一的最小报告要求、推荐操作规程与潜在认证路径。作者认为,只有同时解决科学方法与工程实施两个层面的不足,视觉位移测量才能真正成为面向决策的SHM基础能力。
8. Conclusions
结论部分指出,视觉位移与变形测量已从实验室概念验证逐步发展为能够服务土木基础设施SHM的成熟技术。本文通过统一的“投影-配准-映射”框架,将基于标记模板匹配、无标记特征跟踪、光流、DIC、相位运动放大、移动相机自运动补偿、视觉-惯性融合及深度学习增强方法纳入同一测量学视角下加以解释。研究表明,在受控条件下,几何和标定项是主要限制因素;在现场部署中,环境扰动、平台运动、时间采样效应与算法失效更可能成为瓶颈。与GUM一致的解析传播仍是实现计量级UQ的基础,蒙特卡洛、DIC误差预算、重采样和概率深度学习则为复杂流程提供补充。文中提出的不确定度预算模板为视觉位移测量的可溯源报告提供了实用起点。总体上,论文的核心贡献在于推动该领域从“算法性能展示”转向“测量系统资格认定”,并为未来实现标准化、鲁棒且可决策支撑的视觉SHM系统提供了理论框架与实践路径。