ISC-感知:面向新型交错钢连接的机器人装配混合视觉数据集

《Buildings》:ISC-Perception: A Hybrid Vision Dataset for Robotic Assembly with Novel Intermeshed Steel Connections

【字体: 大 中 小 】 时间:2026年08月27日 来源:Buildings 3.4

编辑推荐:

  智能与可持续建造越来越依赖于自动化,然而机器人钢结构装配仍缺乏针对定制连接系统的任务专用感知数据。交错钢连接(Intermeshed Steel Connection,ISC)是一种新型钢连接系统,可以减少螺栓工作量并支持更快、更可重复使用的装配,但面向ISC

  
智能与可持续建造越来越依赖于自动化,然而机器人钢结构装配仍缺乏针对定制连接系统的任务专用感知数据。交错钢连接(Intermeshed Steel Connection,ISC)是一种新型钢连接系统,可以减少螺栓工作量并支持更快、更可重复使用的装配,但面向ISC感知的机器人装配的可靠感知能力仍发展不足。目前尚不存在公开的ISC构件图像语料库,而采集真实现场图像受到进入权限、安全性、隐私以及ISC实际部署有限的制约。本文介绍了ISC-Perception,一个用于新型交错钢连接的近场机器人装配的混合视觉数据集。该数据集结合了来自SolidWorks Visualize的照片级逼真CAD渲染、在Unity中自动标注的合成场景,以及有限的一组经过整理的ISC和人员真实图像。以一个规范化的10,000张图像Unity流水线示例计算,所提出的流水线将估计人力投入从手工标注的166.7小时减少至30.5小时,而完整训练与验证集包含15,928张图像。基于混合数据集训练的检测器优于仅使用合成图像或仅使用照片级逼真图像的方案,在完整测试集上达到mAP@0.50为0.756。一项近似等规模比较表明,在所评估的训练条件下,性能提升与混合构成相关,而非单纯由数据集规模决定。在1,200帧多视角台式机器人装配实验中,检测器达到mAP@0.50/mAP@[0.50:0.95]分别为0.943/0.823。这些结果表明,对于真实图像稀缺的新兴建造机器人应用,ISC-Perception提供了一条实用的数据生成途径,并支持智能建造中机器人钢结构装配感知模块的开发。
**论文解读:ISC-Perception——面向新型交错钢连接机器人装配的混合视觉数据集**

**一、研究背景与问题提出**

智能与可持续建造的发展日益依赖于施工现场作业的自动化。尽管机器人操作已在工厂制造中广泛应用,但由于建筑工地具有非结构化、露天暴露、空间受限及严格安全要求等特点,其在建造领域的部署仍十分有限。钢结构框架安装被认为是自动化的理想候选场景:塔吊往往主导关键路径、结构构件笨重且难以操控,螺栓连接作业需要熟练工人在高空操作。能够识别、抓取、对准并装配钢构件的机器人系统有望减少塔吊占用时间、提升工人安全并缓解熟练劳动力短缺问题。

在传统钢结构建造中,梁柱通常在工厂预制后运至现场装配。该过程包括构件识别与起吊、运输至安装位置、与既有结构对准以及螺栓或焊接固定等关键步骤。螺栓连接因其安装便捷、连接速度快、质量控制好且检验要求低而在现场施工中更受青睐,但大量螺栓的使用也为机器人在现场部署带来额外挑战。针对此问题,研究者提出了交错钢连接(Intermeshed Steel Connection,ISC)系统。该系统通过精密切割的公母卡舌引导构件对准,仅需少量定位螺栓即可固定节点,显著减少了传统弯矩或剪力拼接所需的螺栓数量。ISC可采用高密度等离子切割、水射流切割和激光切割等先进制造技术生产,具有缩短周期时间、支持直接重复使用、减少材料浪费和温室气体排放等优势,与面向制造与装配的设计(Design-for-Manufacture-and-Assembly,DfMA)理念及循环建造趋势相契合。

然而,ISC的视觉识别面临独特挑战。相较于传统螺栓连接中螺栓头、螺母、孔型和板边界提供的离散且规则排列的视觉线索,ISC识别更依赖于其精密切割交错卡舌和连接板的精细几何及空间关系。这些重复特征可能产生视觉相似的局部轮廓,且随着构件对准和交错而逐渐被遮挡,导致同一构件的外观随视角和装配状态变化。此外,镀锌表面的反射特性产生随角度变化的镜面高光,可能降低局部边缘对比度并掩盖检测所需的几何特征。这些特性促使研究者采用涵盖多样视角、装配状态、光照条件以及合成、照片级逼真与真实图像互补的数据生成策略。

机器人ISC装配对近场感知提出明确需求:机器人需要在其工作单元内定位ISC连接板和构件端部,提供适用于抓取规划与对接的下游检测结果,并监测人员存在以确保安全。然而,现有通用建造数据集(如MOCS和SODA)主要代表工人、设备、车辆及一般场地物体,既不含ISC几何特征,也未捕捉机器人钢结构装配所需的特定室内外装配单元环境。通用计算机视觉数据集(如COCO)同样缺乏与ISC构件相关的类别、视角、遮挡和材料外观。因此,针对ISC的机器人装配感知面临根本性的数据缺口,亟需构建任务专用的视觉数据集。

**二、研究内容与结论概述**

针对上述数据缺口,研究人员开发了ISC-Perception——一个面向新型交错钢连接机器人装配的混合视觉数据集。该数据集整合了三种互补的图像模态:SolidWorks Visualize生成的照片级逼真CAD渲染、Unity仿真环境中自动标注的合成图像,以及有限的经过整理的真实ISC构件和人员图像。数据集涵盖三个目标类别:ISC构件、ISC连接板和人员,设计面向近场机器人装配感知而非一般堆场库存或全场地监控。

研究人员使用YOLOv8算法在三种不同构成的数据集上训练目标检测模型:仅含Unity自定义随机化器合成图像的Dataset 1;由SolidWorks Visualize照片级逼真图像与Roboflow人员图像组成的Dataset 2;以及整合全部来源的混合Dataset 3。在完整测试集(3,087张图像)评估中,混合数据集模型取得了最优性能,mAP@0.50为0.756,mAP@[0.50:0.95]为0.664。近似等规模比较实验表明,在训练集规模几乎相同的条件下,混合构成仍带来显著性能优势(mAP@0.50较纯合成数据提升23.6%,较纯照片级逼真数据提升171%),证实性能提升源于混合构成而非单纯的数据规模效应。在1,200帧多视角台式机器人装配实验中,检测器达到mAP@0.50为0.943、mAP@[0.50:0.95]为0.823的优异性能。此外,规范化的10,000张图像Unity流水线估计可将人力投入从手工标注的166.7小时降至30.5小时,减少81.7%。

该研究的核心意义在于:为真实图像稀缺的新兴建造机器人应用提供了一条实用的数据生成途径,验证了混合数据策略在训练计算机视觉模型方面的有效性,并为智能建造中机器人钢结构装配感知模块的开发奠定了基础。论文发表于《Buildings》。

**三、关键技术方法**

研究人员采用了三种互补的图像生成与采集途径构建混合数据集。第一,利用SolidWorks Visualize进行照片级逼真渲染:基于CAD软件构建ISC构件三维模型,导入渲染软件后在9种背景、3种模型纹理(1种金属纹理和2种铁锈纹理)、0–360°旋转角度和变化光照条件下生成高质量渲染图像,随后在Roboflow平台进行手动标注和数据增强。第二,基于Unity Perception包生成自动标注合成图像:将CAD模型导入Unity后构建室内和室外两个装配仿真场景,室内场景以50张随机施工图像作为墙面纹理并每秒更换,室外场景包含树木、建筑物等环境元素;自定义随机化器以5°增量旋转ISC构件并随机旋转和平移背景物体,确保数据多样性;标注由Unity Perception包自动生成。第三,真实图像来源包括:先前ISC研究项目视频中提取并筛选的16帧经增强处理得到的82张训练验证图像、使用小型ISC构件和连接板手动拍摄并标注的207张测试图像,以及来自Roboflow Universe公共数据集的235张人员图像(经预处理后扩充至1,728张)。

**四、研究结果**

**4.1 数据规模与构成**

ISC-Perception完整语料库包含19,015张图像,其中训练和验证集15,928张,留出测试集3,087张。训练验证集由Unity自定义随机化器生成的13,399张图像、SolidWorks Visualize生成的3,599张图像、82张真实ISC图像以及1,728张Roboflow人员图像构成。留出测试集包含2,748张Unity图像、48张SolidWorks Visualize图像、84张Roboflow人员图像和207张独立采集并手动标注的真实ISC图像,真实ISC图像约占测试集的6.7%。测试图像经手动筛选以覆盖多样化场景,确保评估的稳健性。训练验证集与测试集采用不同的Unity场景生成,测试集图像未参与任何模型开发决策。

**4.2 混合数据集模型的检测性能**

在完整留出测试集上,混合数据集(Dataset 3)训练的模型取得了最优综合性能:box精度为0.846,召回率为0.666,整体mAP@0.50为0.756,mAP@[0.50:0.95]为0.664。在类别层面,ISC构件检测的mAP@[0.50:0.95]为0.664,人员检测表现最佳(mAP@[0.50:0.95]为0.804,召回率0.777),而ISC连接板检测相对较低(mAP@[0.50:0.95]为0.523),反映其在多样化真实环境中检测的复杂性。相比之下,仅使用自定义随机化器合成数据的Dataset 1模型精度为0.818、召回率0.521,整体mAP@0.50为0.659;仅使用SolidWorks Visualize与Roboflow数据的Dataset 2模型性能最弱,精度仅0.404、召回率0.321,整体mAP@0.50为0.386。

**4.3 近似等规模对照实验**

为排除数据集规模的影响,研究人员进行了受控的近似等规模比较。Dataset 1使用5,194张采样子集,Dataset 2使用完整5,195张训练集,Dataset 3使用5,195张采样子集,测试集固定为3,087张。在训练集规模几乎相同的条件下,混合构成仍取得mAP@0.50为0.675、mAP@[0.50:0.95]为0.549,超过Dataset 1(0.546/0.430)和Dataset 2(0.249/0.206),精度(0.830对比0.776/0.649)和召回率(0.625对比0.505/0.146)均更高。相对于Dataset 1,mAP@0.50提升0.129(+23.6%),mAP@[0.50:0.95]提升0.119(+27.7%);相对于Dataset 2,分别提升0.426和0.343(+171%/+166%)。该结果明确表明性能提升与混合构成相关而非数据集规模单独作用。

**4.4 混淆矩阵与性能曲线**

混淆矩阵分析显示,混合数据集模型正确识别了大部分ISC构件和人员实例:成功检测7,530个连接板实例,而232个连接板实例被误分类为ISC构件,6,768个实例被漏检为背景。该模型还正确检测了14,214个ISC构件实例和195个人类实例。相比之下,SolidWorks Visualize与Roboflow数据集训练的模型性能最差,仅正确检测1,833个连接板、2,449个ISC构件和163个人类实例。F1-置信度曲线显示整体F1分数在置信度阈值0.377时达到0.74,精度在所有类别上保持较高水平,但ISC连接板检测的召回率存在明显下降,表明模型在具有挑战性的场景中有时会漏检这些构件。

**4.5 台式机器人装配实验验证**

为评估模型在真实条件下的稳健性,研究人员将检测模型集成到机器人装配框架的视觉模块中。实验设置采用多相机系统,同步视图提供多角度视角以最小化遮挡并增强检测稳健性。台式布局模拟真实ISC装配单元:构件固定在工作台上,连接板放置在机器人可达工作空间内,操作员在场景中移动。从2分钟60fps的双同步侧视角视频中,每隔10帧进行时间子采样以减少相关性,经筛选后最终1,200帧由人工标注。检测器在该基准测试中达到mAP@0.50为0.943、mAP@[0.50:0.95]为0.823,精度和召回率分别为0.933和0.943。失败案例主要源于前视相机的眩光导致偶尔漏检连接板,ISC镀锌表面的镜面高光可抑制局部边缘对比度或掩盖精细交错几何,改善对挑战性光照和外观变化的鲁棒性留待未来工作。

**五、讨论与结论**

讨论部分指出,实验设计主要考察训练数据构成对检测性能的影响,在两种比较设置中(全尺寸YOLOv8s和近等规模YOLOv8n)混合数据集均取得最优性能,表明性能提升与混合构成相关。但现有证据未确定该优势幅度在不同检测器架构下保持不变,需要基于区域或基于Transformer的检测器进行跨架构复制以检验数据排序的稳定性。混合训练语料中的82张真实ISC图像占比虽小但有意纳入,使检测器接触物理装配环境的采集特征,但实验将Dataset 3作为整体训练语料评估,未隔离这82张图像的独立数值贡献,需要匹配的源移除消融实验来量化其边际贡献。在207张真实ISC测试图像上的单独评估显示合成到真实的域差距仍然存在,该子集性能(mAP@0.50为0.505)低于混合源完整测试集结果,反映可用真实图像的采集和装配条件范围有限。Roboflow人员图像拓宽了人员外观、姿态、尺度和背景的变化范围,但并非在ISC装配环境中采集,未涵盖所有施工特定个人防护装备、任务相关姿态和构件引起的遮挡,结果不应被解释为完整工业安全监测系统的验证。

结论部分总结指出:该研究展示了一种为钢结构装配现场ISC构件检测生成混合数据集的程序化方法。由于从钢结构装配现场采集真实图像困难且不安全,研究人员创建了合成和照片级逼真图像以弥补真实图像的不足。Unity 3D合成图像提供自动标注,而SolidWorks Visualize照片级逼真图像需要手动标注。实验结果表明,混合数据集训练的模型在完整测试集上优于仅使用合成数据或仅使用照片级逼真数据的模型,在ISC连接板、ISC构件和人员全部类别上均展现更优的精度和召回率。该混合数据集生成方法虽然并非完全自动化,但为真实图像采集极为困难且目标对象三维模型可用的场景提供了一套可行的数据生成程序。该方法具有可扩展性,可进一步适应其他机器人应用,特别是在核设施、隧道或远程工作空间等人员进入受限的挑战性环境中。研究结果强化了在真实工业环境中使用数据集进行稳健目标检测的重要性,为建造和装配行业自动化复杂任务提供了基础。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号