多模态数字智能助手(M-DIA)支持手工装配中的人–AI协作:协同增效还是认知摩擦?——一项受控实验研究

《COMPUTERS IN INDUSTRY》:Teaming or friction? Human–AI collaboration with a Multimodal Digital Intelligent Assistant in assembly manufacturing

【字体: 大 中 小 】 时间:2026年10月22日 来源:COMPUTERS IN INDUSTRY 10.0

编辑推荐:

  该研究评估一种面向以人为本手工装配的人工智能(AI)助手;采用受控实验评估绩效、工作负荷、可用性与行为;该AI助手提高装配质量但增加总流程时间;该AI助手降低操作员感知认知负荷;操作员能够检测并拒绝错误的AI输出,从而避免过度依赖。

  
该研究评估一种面向以人为本手工装配的人工智能(AI)助手;采用受控实验评估绩效、工作负荷、可用性与行为;该AI助手提高装配质量但增加总流程时间;该AI助手降低操作员感知认知负荷;操作员能够检测并拒绝错误的AI输出,从而避免过度依赖。
研究背景与问题:在工业5.0(Industry 5.0)与操作员5.0(Operator 5.0)愿景下,操作员被视为系统绩效的主动贡献者。数字智能助手(DIA)和生成式人工智能(GenAI)为制造现场提供自适应支持,但现有研究多聚焦系统架构、模型性能或可行性演示,缺少在真实任务执行中对多模态数字智能助手(M-DIA)支持手工装配的以人为本多维评估;语音、视觉与多模态交互配置的比较亦不足,操作员行为、认知负荷、可用性和交互策略的实证仍稀缺。为此,研究人员开展探索性混合方法试点研究,分析M-DIA及交互通道对装配流程绩效、感知认知负荷、系统可用性与体验以及操作员行为的影响,并在操作员5.0框架下识别描述性趋势、交互模式和行为动态。研究意义在于为未来工业验证和人本GenAI辅助系统设计提供初步实证依据。
关键技术方法:基于S?rensen et al.提出的创新实验方法框架,开展受控实验室实验。样本为60名受试者,主要来自Sapienza University of Rome计算机、控制与管理工程系的管理工程硕士生、博士生和研究人员,随机分为4组,每组15人,分别对应语音与摄像交互、仅语音、仅摄像、纸质装配手册4种条件。受试者完成两个装配作业;采用NASA任务负荷指数(NASA TLX)、系统可用性量表(SUS)、语音系统主观评估(SASSI)及视频观察和M-DIA日志收集数据。M-DIA基于LangChain,集成语音识别与合成、OpenCV图像采集、Chroma向量库和GPT-4o多模态大语言模型,采用描述性混合方法分析。
研究结果:
4.1 装配流程绩效:4.1.1 时间绩效——通过比较平均流程时间及排除M-DIA技术时间后的时间,发现M-DIA条件总流程时间较长,排除技术时间后组间差距缩小;多模态条件差异更明显,第二作业较第一作业时间下降。结论是时间代价主要来自交互相关技术开销而非增值装配活动。4.1.2 质量绩效——通过统计最终装配错误及M-DIA错误与人为错误,发现两个作业中对照组总错误数均高于所有M-DIA组,第二作业错误总体下降。结论是M-DIA提高装配质量、降低残余错误。
4.2 认知负荷:通过NASA TLX评估,发现对照组多数维度感知负荷高于实验组;语音相关组挫败维度更高;仅摄像组总体最有利,心理需求、努力和时间需求较低且未出现挫败升高。结论是M-DIA总体降低感知认知负荷,但语音交互增加挫败。
4.3 系统可用性与体验:4.3.1 SUS——通过SUS发现三组总体显示频繁使用倾向和较高易用性、易学性;部分语音和多模态参与者报告更高复杂性和繁琐感,多模态组部分参与者认为需更多预备学习。结论是可用性总体积极但存在局部摩擦。4.3.2 SASSI——通过SASSI发现各维度总体积极,系统响应准确性、喜爱度、可居住性和认知需求均值较高;多模态组速度评分较低;所有组烦恼维度最低。结论是体验总体积极,但速度感知和烦恼存在通道差异。4.3.3 交互次数与交互策略——通过交互日志和视频分析,发现第一至第二作业交互次数下降;摄像组交互次数最少,多模态和语音组更多;多模态组最常用单物品摄像展示,多物品策略在第二作业增加,视觉通道使用多于语音。结论是操作员随时间调整交互策略并偏好视觉通道。
4.4 人类行为:4.4.1 操作员注意(过度依赖)——通过统计M-DIA错误是否被跟随,发现多数错误被检测且未跟随;多模态和摄像组M-DIA错误数较高,但未跟随比例高;第二作业M-DIA错误总数下降且未跟随比例仍高。结论是未出现盲目信任,操作员保持批判性过滤。4.4.2 核验活动——通过回溯次数分析,发现组间无清晰差异,M-DIA条件与手动组相当。结论是数字辅助未显著改变核验频率。4.4.3 组织策略——通过视频编码组织策略,发现“任务中不组织盒子”在所有组占优;手动组更常用“填充前组织所有盒子”,M-DIA组较少预先组织、更偏执行驱动。结论是按需辅助可能降低预先规划需求。
讨论部分总结:讨论指出M-DIA存在质量与效率权衡:总时间增加主要源于交互开销,质量改善在高错误关键或纠错成本高场景可补偿较长执行时间;时间增加和错误减少主要与M-DIA存在相关,交互模态主要影响体验。M-DIA总体降低认知负荷,但语音交互因表达努力增加挫败;感知时间需求与客观时长不完全一致。可用性总体积极,语音条件复杂性和烦恼更高,多模态存在初始学习需求,视觉通道更受偏好。操作员并非盲目依赖,而是作为关键过滤器评估和拒绝错误输出,体现校准化信任;核验行为稳定,组织策略更偏执行驱动。部署需改进响应性、细粒度日志、安全保障、操作员培训以及隐私与数据治理。
研究结论翻译:本研究分析了M-DIA对人工工业装配任务的影响,考虑流程绩效、认知负荷、可用性和操作员行为。研究结果提供初步证据表明,使用M-DIA提高装配质量,相对手动基线减少最终产品残余错误。同时,M-DIA支持条件因交互相关延迟而表现出更长总流程时间;当排除此类M-DIA技术时间后,实验组的增值执行时间与对照条件可比,表明主要时间成本由交互开销而非任务执行本身引入。从以人为本视角看,M-DIA总体降低感知认知负荷,而在涉及语音交互的条件下观察到更高挫败水平。可用性与体验评估确认系统在各交互模态下被认为可用且可学习,并存在与表达努力和初始学习相关的模态差异。行为分析进一步表明,操作员未表现出对系统的过度依赖,而是在评估系统输出并相应调整交互策略方面保持批判角色,符合操作员5.0视角。然而,本研究受探索性、受控实验室环境、模拟装配过程以及主要由学生和研究人员组成的参与者群体等局限。因此,所呈现结果应视为支持未来大规模工业研究的初步见解,而非可直接推广的工业结论。未来工作应将评估扩展到真实制造环境,纳入专业操作员和典型车间条件如变化照明与噪声;进一步研究还可探索所提方法与可穿戴技术如智能眼镜的集成,以支持更无缝、免手的人–AI交互。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号