基于线段匹配的交点追踪技术,用于从被遮挡的监控视频中自动监测结构地震响应

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》:Intersection tracking based on line segment matching for automated structural seismic response monitoring from occluded surveillance videos

【字体: 大 中 小 】 时间:2026年01月04日 来源:MECHANICAL SYSTEMS AND SIGNAL PROCESSING 8.9

编辑推荐:

  基于DNA序列对齐原理的线段匹配方法与少数样本迁移学习相结合,有效解决了地震监测视频中随机遮挡导致的跟踪失效问题,实现了高精度结构响应数据提取,适用于低光照和低分辨率场景。

  
张成|文卫平|翟长海|郭佳|胡杰|王兴华
教育部结构动态行为与控制重点实验室,哈尔滨工业大学,哈尔滨 150090,中国

摘要

为了解决地震引发物体运动在监控视频中导致的随机遮挡问题,本研究提出了一种基于线段匹配的新型交叉点跟踪方法。该方法采用少量样本迁移学习(TL)来适应高精度的线段检测和描述符提取,特别是在训练数据有限的特定监控环境中。该方法受到DNA碱基对独特排序的启发,通过分析描述符的序列信息实现了结构线段的稳健匹配。这些匹配线段的交点作为持久跟踪点,有效克服了遮挡引起的跟踪失败。实验表明,该方法显著优于主流方法。即使线段遮挡率达到40%,决定系数(R2)值仍保持在0.91。此外,该方法在光线较暗的场景和低分辨率条件下也能保持高精度。这种方法可以自动高效地将监控视频转换为可量化的结构地震响应数据,为基于监控摄像头的地震分析提供了有力支持。

引言

地震作为全球性自然灾害,对人类生命和建筑物的结构完整性构成严重威胁[1]、[2]、[3]。地震发生后,快速准确地评估结构健康状况对于确保公共安全和指导应急响应至关重要。为此,实时监测结构地震响应至关重要,层间位移是评估性能水平的主要指标[4]、[5]。然而,现有的传统监测技术,无论是基于接触式的[6]还是非接触式的传感器[7],都受到高部署成本和有限覆盖范围的根本限制。因此,迫切需要开发一种低成本且可扩展的监测解决方案,而基于视觉的传感技术的进步为此提供了可行的途径。
近年来,先进光学传感器和计算机视觉算法的深度融合[8]极大地推动了基于视觉的结构健康监测(SHM)技术的发展。沈等人[9]通过语义分割和深度估计算法实现了旋转盘的三维振动位移测量。焦等人[10]提出了一种基于平面校正的结构位移提取方法,提高了位移监测的准确性。Bottalico等人[11]开发了一种利用结构固有特征的三维计算机视觉测量立体点跟踪算法,并验证了其适用性。朱等人[12]提出了一种基于CNN和Transformer融合的背景分割模型,增强了桥梁视觉监测系统的稳定性。张等人[13]提出了一种基于视觉响应重建和强化学习的进化算法,用于子结构状态评估。然而,这些研究的共同局限性在于它们依赖于专门安装的外部固定工业相机。
目前,城市中部署了数百万台监控摄像头,这些摄像头代表了庞大但未充分利用的数据来源。将这些摄像头转化为地震传感器具有无与伦比的经济和社会价值。以往基于视觉的结构地震响应分析研究依赖于理想的监控视频,假设没有遮挡或噪声。例如,Harvey等人[14]提出了一种单摄像头方法,通过跟踪目标点来识别层间位移并将其转换为物理位移。Hsu等人[15]利用消费级摄像头进行了地震后的安全评估,获得了准确的位移测量和在钢结构建筑上验证的损伤估计。Nguyen等人[16]提出了一种结合传统跟踪器和基于Transformer的模型的新型结构位移测量方法,具有ROI区域更新功能。Zhang等人[17]开发了一种基于点特征匹配的跟踪方法,旨在快速准确地提取地震期间的层间位移。Hosseinzadeh等人[18]提出了一种基于视觉的模态识别技术,从多层视频中重建三维地震响应并提取了可接受的模态信息。Wen等人[19]提出了一种单摄像头方法,用于结构和设备的地震响应监测,结合了计算机视觉和图像处理以及语义分割网络。
然而,在现实世界场景中,地震监控视频通常面临低分辨率、光线昏暗的问题,最严重的是由于非结构物体的移动导致监控区域内随机且频繁的遮挡。虽然有一些研究人员进行了初步探索,但他们的方法存在局限性。张等人[20]提出了一个基于自适应线描述符层次过滤算法的框架,用于从模糊视频中提取结构地震响应。然而,在遮挡条件下该算法会失效。侯等人[21]开发了一种改进的核化相关滤波算法,用于从低分辨率、噪声较大的视频中提取层间相对位移,但没有考虑遮挡问题。后来,侯等人[22]提出了一种抗遮挡位移估计框架,使用相关滤波器、动态目标建模和基于块的亚像素匹配,尽管需要针对特定场景进行参数调整。因此,该领域迫切需要一种本质上能够抵抗严重遮挡、计算效率高且无需复杂参数调整的通用方法。
本文提出了一种新型交叉点跟踪方法,该方法利用基于迁移学习(TL)[23]和DNA启发原理的稳健线段匹配技术,以实现结构地震响应的获取。主要贡献包括:
  • (1)
    提出了一种受DNA序列对齐启发的抗遮挡跟踪方法,该方法引入了“部分到整体”的线段匹配原则,即使在物理特征点被遮挡的情况下也能实现跟踪点的稳健重建。
  • (2)
    为特定领域应用开发了一种少量样本迁移学习策略。该策略采用基于单应性的数据增强来微调深度网络,以在监控场景中实现准确的线段匹配,有效解决了训练数据有限的挑战。
  • (3)
    提出了一个从遮挡视频中自动提取结构地震响应的完整方法论框架。该框架将事件前的准备与事件后的处理分离,确保一旦获得地震视频就能快速准确地获取数据。
  • 本文的结构如下:第2节简要回顾相关文献;第3节详细介绍了所提出的方法;第4节通过Blender模拟实验和振动台测试验证了该方法;第5节使用真实地震视频进一步验证了该方法;第6节总结了全文的结论。

    章节摘录

    背景

    本节提供了所提出框架的技术和理论背景。首先介绍了支撑该方法抗遮挡能力的DNA启发的“部分到整体”匹配原则。随后,论证了选择迁移学习(TL)作为特定领域适应的必要策略的合理性。最后,回顾了相关的视觉位移测量技术。

    方法论

    本节详细介绍了一个创新框架,用于生成持久交叉点以克服基于视觉的地震监测中的遮挡问题(见图2的工作流程)。该框架将监测范式从跟踪易受遮挡影响的物理特征点转变为匹配稳健的结构线段。该方法采用迁移学习策略,使用通过单应性变换生成的增强“孪生数据集”来微调预训练的SOLD2模型,从而提高

    实验

    本节通过Blender模拟实验和振动台测试,全面验证了所提出方法在监测室内地震场景中的稳健性和计算准确性。此外,还对所提出的方法与主流视觉方法进行了比较分析。

    实际应用

    本节通过将所提出的方法应用于从监控摄像头获得的实际地震事件记录来验证其有效性。所选视频数据虽然没有明显的遮挡事件,但存在其他实际挑战,尤其是环境光线较差和亮度变化迅速的问题。因此,这个案例研究对该方法适应变化环境条件的能力进行了关键评估,并证实了

    结论

    本研究提出了一种抗遮挡的基于视觉的地震监测创新方法,克服了依赖物理特征点的传统视觉跟踪技术的局限性。相反,该方法关注结构稳定且分布广泛的线段。通过系统实验和对真实世界监控视频的分析,本研究得出了以下关键结论:
  • (1)
    受DNA序列对齐启发的“部分到整体”匹配原则
  • CRediT作者贡献声明

    张成:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,监督,软件,方法论,数据管理。文卫平:监督,资源获取,调查,资金获取,正式分析。翟长海:资源获取,资金获取,概念化。郭佳:监督,方法论,调查,数据管理。胡杰:撰写 – 审稿与编辑,验证,数据管理。王兴华:软件,数据管理。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

    致谢

    本研究得到了国家自然科学基金(编号52222811、52494963和52178469)和中央高校基本科研业务费(编号HIT.BRET.2022010)的支持。对这些支持表示衷心的感谢。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号