《AUTOMATION IN CONSTRUCTION》:Hardware–software co-designed vision system for ROV-based underwater bridge-pier inspection
编辑推荐:
•提出了AquaDet-KD,一种软硬件协同设计的ROV(遥控水下航行器)感知框架。•通过像素级标注和数据增强,构建了包含6000张图像的训练数据集。•物理引导的合成方法降低了从陆地到水下场景的域偏移。•蒸馏模型在仅含620万参数的情况下达到了0.763 mAP和0.743
- •
提出了AquaDet-KD,一种软硬件协同设计的ROV(遥控水下航行器)感知框架。
- •
通过像素级标注和数据增强,构建了包含6000张图像的训练数据集。
- •
物理引导的合成方法降低了从陆地到水下场景的域偏移。
- •
蒸馏模型在仅含620万参数的情况下达到了0.763 mAP和0.743 mIoU。
- •
在RK3588上进行实际海岸ROV部署时,实现了26.1 FPS的帧率和7.2 W的功耗。
引言
水下桥墩是跨水交通基础设施中的关键承重构件。其状况可能因急性机械荷载和基础冲刷而退化,这需要损伤敏感的监测以及对土—结构边界条件的逼真模拟[1],[2]。长期海洋暴露进一步加速了钢筋腐蚀,缩短了钢筋混凝土结构的使用寿命[3],[4]。在材料尺度上,砂浆—岩石界面的断裂和潮汐区混凝土中的氯离子渗透为渐进性退化提供了互补性指标[5],[6]。多域特征融合也在异质检测条件下扩展了数据驱动的异常识别能力[7]。这些研究表明,水下检测必须在结构性损坏演变为使用性能退化或结构安全风险之前,识别出相互作用的力学、水力和耐久性相关损伤。
机器人平台为可重复的水下数据采集提供了基础,且无需潜水员持续暴露。集成的传感、通信和控制支持在动态水环境中的持续观测和长期导航[8],[9],而轻量级障碍物检测则提高了在资源受限的无人水上载具上操作的可行性[10]。然而,由于波长依赖性衰减、后向散射、浑浊度和低光照会降低图像对比度并模糊缺陷边界,可靠的视觉感知仍然困难[11],[12]。触觉成像和相控阵超声学习为混凝土外部和内部损伤提供了互补信息[13],[14],但它们无法替代大面积光学检测。因此,现有综述强调需要将传感输出与结构健康解读相结合[15]。软体机器人平台可以改善复杂近海环境的可达性[16],ROV搭载的双目视觉可支持裂缝测量[17];尽管如此,悬浮颗粒、生物附着和平台运动仍然降低了基于图像的微小缺陷感知的可靠性。
轻量级网络设计是实现嵌入式部署的一条途径。硬件感知架构搜索、反向残差和线性瓶颈已为移动视觉模型建立了高效的构建模块[18],[19]。然而,ROV检测、水下图像增强、缺陷检测、轻量级建模和知识蒸馏通常被作为独立组件开发。图像增强并不能保证缺陷级检测或分割,高容量模型仍然难以部署在嵌入式ROV平台上,而直接压缩可能削弱对细微裂缝和小型腐蚀区域的响应。因此,水下桥墩检测需要一个感知框架,能够共同解决环境干扰、缺陷级精度和边缘计算效率问题。
本研究提出了AquaDet-KD,一种面向ROV水下桥墩检测的软硬件协同设计感知框架。ROV平台由我们团队独立开发,而本文重点讨论部署在机载RK3588处理器上的视觉感知模块。AquaDet-KD集成了物理引导的域自适应预训练、面向水下的聚合注意力模块、基于MobileNetV2的紧凑学生模型以及多阶段知识蒸馏,以在边缘计算约束下提升实时缺陷检测与分割性能。
主要贡献有三方面:(1) 开发了面向RK3588边缘部署的紧凑型跨任务检测—分割架构;(2) 设计了场景自适应的多阶段蒸馏策略,在抑制水体干扰的同时传递结构缺陷线索;(3) 通过受控实验、零样本海岸测试和真实ROV部署对框架进行了验证,实现了7.2 W功耗下的26.1 FPS。
章节摘要
相关工作
本节回顾了直接推动AquaDet-KD研究的四个研究方向:水下机器人检测、水下视觉自适应、结构缺陷感知和轻量级知识迁移。每个方向均从其对嵌入式ROV上实时桥墩检测的具体贡献和剩余局限性进行评估。
ROV检测系统与硬件平台
本节描述了为AquaDet-KD提供数据并支持其野外部署的物理检测平台。第3.1节介绍了ROV、传感、通信和机载处理组件,第3.2节评估了海洋作业期间的运动稳定性,因为不稳定的采集会直接影响下游图像质量。
AquaDet-KD方法
本节介绍了AquaDet-KD如何协调教师网络、轻量级学生模型和多阶段知识迁移以实现水下缺陷检测与分割。首先定义了整体系统架构,然后论证了教师和学生模型的设计,最后指定了特征级、注意力级和输出级的蒸馏目标。
实验设置与数据集构建
本节建立了用于测试所提框架的数据和评估协议。介绍了基于试件的数据集构建和增强、域自适应预训练数据、通用训练环境,以及用于评估精度、紧凑性和部署效率的指标。
结果与讨论
本节从优化行为到面向现场的性能对AquaDet-KD进行了评估。分析依次通过收敛性和超参数敏感性、受控消融实验、与蒸馏和轻量级基线的对比,以及定性和嵌入式部署评估展开。
工程案例应用
本节在受控数据集之外评估了完整的检测工作流程。首先描述了海岸ROV部署和操作员界面输出,然后报告了在独立采样的现场图像上进行的定量零样本离线评估。
结论
本文提出了AquaDet-KD,一种面向水下桥墩自动化状况评估的软硬件协同设计ROV检测框架。该框架通过整合域自适应预训练、自定义的AggAtt增强教师网络、基于MobileNetV2的轻量级学生模型和多阶段知识蒸馏,解决了水下光学退化条件下边缘计算效率与损伤感知之间的权衡问题。主要结论如下
CRediT作者贡献声明
张文(Biwen Zhang):撰写—初稿、可视化、方法学、调查研究、概念构思。姜京君(Jingjun Jiang):撰写—审阅与编辑、方法学、形式化分析。高秀晶(Xiujing Gao):可视化、验证、资金获取。曾苏(Su Zeng):可视化、数据整理。林 fanc?o(Fanchao Lin):撰写—审阅与编辑、调查研究。黄宏武(Hongwu Huang):撰写—审阅与编辑、指导、项目管理、资金获取。
资金资助
本研究由福建省科学技术厅通过重大专项计划(项目编号:2023HZ025003)资助,水下图像增强与目标识别技术开发项目(项目编号:GY-Z23271)资助,国家自然科学基金(项目编号:62501156)资助,以及福建省自然科学基金(项目编号:2024J08217)资助。
利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所报告的工作。
Buwen Zhang | Jingjun Jiang | Xiujing Gao | Su Zeng | Fanchao Lin | Hongwu Huang