TI-PREGO:一种基于思维链和情境学习的在线错误检测方法,适用于以自我为中心的程序性视频

《Computer Vision and Image Understanding》:TI-PREGO: Chain of Thought and In-Context Learning for online mistake detection in PRocedural EGOcentric videos

【字体: 大 中 小 】 时间:2025年12月30日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  在线检测egocentric视频中流程错误的双分支架构研究。摘要:提出融合步骤识别与预期模块的双分支架构,利用LLM预测下一步动作,通过当前动作与预期动作的偏差检测错误。贡献包括新数据集、LLM性能对比、优化提示方法及改进帧聚合策略。

  
莱昂纳多·普利尼(Leonardo Plini)|卢卡·斯科法诺(Luca Scofano)|埃多阿多·德·马泰伊斯(Edoardo De Matteis)|吉多·玛丽亚·达梅利·迪梅伦杜尼奥(Guido Maria D’Amely di Melendugno)|亚历山德罗·弗拉博雷亚(Alessandro Flaborea)|安德烈亚·桑基埃蒂(Andrea Sanchietti)|乔瓦尼·玛丽亚·法里内拉(Giovanni Maria Farinella)|法比奥·加拉索(Fabio Galasso)|安东尼诺·富纳里(Antonino Furnari)
意大利罗马大学(Sapienza University of Rome)

摘要

从以自我为中心的视频中识别程序错误是一项关键且具有挑战性的任务,适用于包括制造业、医疗保健和基于技能的培训在内的多个领域。这类错误的本质是开放集的,因为可能会出现未预见或新颖的错误,因此需要依赖不依赖于先前失败案例的强大检测系统。目前,还没有任何现有技术能够在在线环境中可靠地检测开放集的程序错误。我们提出了一种双分支架构来解决这个问题:识别分支从以自我为中心的视频中获取输入帧,预测当前的动作,并将帧级结果汇总为动作令牌;而预测分支则利用大型语言模型(LLMs)的强大模式匹配能力,根据先前预测的动作来预测动作令牌。错误被检测为当前识别的动作与预测模块预测的动作之间的不匹配。
在两个新的程序数据集上的广泛实验展示了利用双分支架构进行错误检测的挑战和机会,证明了我们提出方法的有效性。

引言

最近,检测视频中的程序错误受到了广泛关注,因为它有潜力提高多个领域的安全性和效率。人类每天在不同的环境中进行程序性活动,例如日常活动(如做饭)、爱好(如修理自行车)以及专业环境(如操作复杂机械)。监控程序性活动对于确保预期结果和安全操作至关重要,特别是在高风险环境中,如工业工作流程。可穿戴设备从用户的角度观察场景,并具备通过增强现实提供反馈的能力,可以用来评估程序错误(例如,在打开水壶之前忘记加水),并提供实时反馈。这种即时反馈允许及时纠正错误,从而加快技能发展、提高技能获取速度,并在手术和工业工作流程等高风险领域创造更安全的学习环境。
先进的错误检测模型对于确保程序应用的准确性、安全性和效率至关重要。这一需求导致了越来越多的数据集(Jang等人,2019年;Sener等人,2022年;Wang等人,2023年;Ghoddoosian等人,2023年;Ding等人,2023年;Tang等人,2019年;Ben-Shabat等人,2021年;Schoonbeek等人,2024年;Zhukov等人,2019年;Elhamifar和Naing,2019年;Miech等人,2019年;Ragusa等人,2024年)以及旨在推进程序学习(Lu和Elhamifar,2022年;Ghoddoosian等人,2023年;Wang等人,2021a;Zhong等人,2023年;Jang等人,2019年;Tang等人,2019年;Seminara等人,2024年)和错误检测模型(Wang等人,2023年;Ding等人,2023年;Schoonbeek等人,2024年)的出现。然而,现有的错误检测方法差异很大。一些方法侧重于动作检测,识别特定错误,如遗漏步骤、顺序错误(Narasimhan等人,2023年)或错误排序(Seminara等人,2024年),而其他模型则完全绕过动作检测,直接监控组装对象的变化以确保程序准确性(Chen等人,2020年;Candido de Oliveira等人,2023年)。这些提出方法及其目标的不同突显了需要更全面的评估框架和标准化基准来评估和比较不同错误检测策略的有效性,以及需要更全面的模型,能够检测任何偏离正确工作流程的情况。
理想的程序错误检测(PMD)模型应具备两个关键能力:对多种错误类型的鲁棒性以及提供在线、及时反馈的能力。关于鲁棒性,一个可靠的PMD系统应该能够识别结构化程序中可能出现的任何错误,无论其类型如何。为了遵循这一原则,在本文中,我们将错误检测视为一个一类分类(OCC)问题,模型被训练来学习程序中正确的步骤序列,然后能够识别任何偏离正确工作流程的情况。在OCC框架内,训练期间,PMD模型仅接触“正常”程序(Flaborea等人,2023年;Zaheer等人,2022年),以学习正确的工作流程,即完成任务所需的步骤序列。相反,在推理过程中,学习到的模型应能检测到任何偏离学习到的工作流程的情况,并将其视为错误。此外,值得注意的是,OCC框架只需要二元标签(正确 vs. 错误),这比细粒度标签(如错误类型)更容易收集,尤其是在标记程序数据集的视频时。其次,模型应能够足够快速地提供在线4反馈,以便用户能够及时纠正错误,减少错误行为的强化,并降低危险情况的风险。即时反馈的要求定义了在线设置,并对PMD模型施加了严格的因果约束,因为它们只能利用过去和现在的信息来做出决策。相比之下,以前的方法(Ghoddoosian等人,2023年;Ding等人,2023年;Wang等人,2023年;Lee等人,2024年)采用离线框架,分析使用的是完整的预录程序。这允许使用双向模型,利用过去和未来的上下文,实现事后分析(如性能评估)的高准确性,但不适合实时干预。因此,我们认为处理方法必须转向主动错误预测,模型预测序列中的下一个正确步骤,以及时标记偏差。除了这两个关键能力外,PMD系统还应利用以自我为中心的视角处理程序视频,通过反映自然的人类感知来提高模型的适用性,并允许在可穿戴设备上无缝部署。
为了满足这些要求,我们提出了一种双分支方法,用于顺序检测程序视频中的错误,结合步骤识别和预测,并将错误识别为预测动作和观察动作之间的不匹配。第一个分支是步骤识别模块,它在线处理输入视频并分类当前执行的动作。第二个分支是步骤预测模块,根据步骤识别模块识别的步骤预测下一个要执行的步骤。我们将预测分支实现为大型语言模型(LLM),利用多种提示方案来查询它并检索下一个要执行的动作。当识别动作和预测动作之间存在差异时,模型会将该步骤标记为错误,从而突出操作员执行的动作与预期步骤之间的不一致性。
我们的贡献包括:(1)一个用于在线错误检测的新基准,涵盖两个数据集(Assembly101-O和Epic Tent-O);(2)探索和评估多个LLM在步骤预测任务中的表现,以选择最适合我们预测模块的候选者;(3)尝试各种提示技术,包括自动思维链(Auto-CoT),这提高了整体性能,在Assembly101-O和Epic Tent-O上取得了最先进的结果;(4)研究不同的预测聚合技术,以提高错误检测的鲁棒性和连续性。广泛的实验展示了双分支架构和基于LLM的步骤预测在开放集错误检测中的挑战和机会。
本文扩展了我们之前的会议工作PREGO(Flaborea等人,2024年),通过改进关键组件和方法来提高程序错误检测(见图1)。与我们的原始研究不同,该研究主要报告了传统的精确度和召回率指标,在这项工作中,我们采用了平衡精确度(Wang等人,2021b)来缓解以自我为中心的错误检测中固有的极端类别不平衡问题。平衡精确度通过正样本与负样本的比例来调整假阳性,确保将错误标记的惩罚与正确识别错误的奖励放在同一尺度上。具体来说,我们对多个LLM作为步骤预测器进行了全面评估,提高了Assembly101-O和Epic Tent-O上的最先进结果(Flaborea等人,2024年)。我们比较了多种LLM,如Llama-2(Touvron等人,2023年)、Llama-3(Dubey等人,2024年)、Gemma(Mesnard等人,2024年)和Mistral(Jiang等人,2023年),使用低秩适应(LoRA)进行微调,并尝试了包括零样本、少样本和自动思维链(Auto-CoT,Zhang等人,2022年)在内的提示方法。
此外,我们重新审视了识别器的逐帧预测机制,旨在减少其预测中的不一致性和噪声。为此,我们超越了固定长度窗口聚合,探索了减少噪声和提高预测准确性的替代策略。

相关研究

本节回顾了当前与在线检测程序错误相关的方法的基础。首先,我们调查了现有模型,并在关键设计维度上进行了比较(第2.1节)。然后,我们分析了最相关的程序视频数据集(第2.2节),检查了步骤识别(第2.3节)和预测(第2.4节)方法。最后,我们讨论了大型语言模型的最新进展如何实现符号推理(第2.5节)。这些组件共同定义了

方法论

所提出的系统采用了一个双分支框架,将程序步骤的识别与预测建模相结合,如图2所示。在以下部分中,我们将详细阐述问题形式化(第3.1节),介绍步骤识别(第3.2节)和步骤预测(第3.3节),最后说明错误检测过程(第3.4节)。

实验

本节描述了基准数据集、采用的评估指标和主要实验结果。我们介绍了Assembly101-O和Epic-tent-O,它们是对原始数据集(Sener等人,2022年;Jang等人,2019年)的改进版本,详细说明了在线基准测试所选的标记标准、适应开放集程序错误的训练和测试分割的新配置。我们在第4.2节定义了我们提出的在线指标。最后,我们介绍了主要实验结果

消融研究

在以下小节中,我们研究了将大型语言模型作为步骤预测器的应用。第5.1小节涵盖了我们的模型选择过程、不同提示方法(如零样本、少样本和自动思维链(ACoT)的详细分析,以及微调和速度分析的效果。这些实验共同展示了使用LLM进行动作预测的优势和挑战,并强调了准确性和推理之间的权衡

结论

本文探讨了在线检测以自我为中心的视频中的程序错误的挑战性任务,重点关注结合了动作识别和预测的双分支架构。通过在动作预测分支中利用大型语言模型(LLMs),我们使用了上下文学习和自动思维链来展示它们基于先前动作预测未来步骤的能力。我们的实验全面分析了各种提示方案和帧聚合

CRediT作者贡献声明

莱昂纳多·普利尼(Leonardo Plini):写作 – 审稿与编辑,撰写原始草稿,可视化,软件,方法论,调查,形式分析,数据整理,概念化。卢卡·斯科法诺(Luca Scofano):写作 – 审稿与编辑,撰写原始草稿,软件,方法论,调查,数据整理,概念化。埃多阿多·德·马泰伊斯(Edoardo De Matteis):撰写原始草稿,验证,软件,方法论,数据整理,概念化。吉多·玛丽亚·达梅利·迪梅伦杜尼奥(Guido Maria D’Amely di Melendugno):写作 – 审稿与编辑,写作

关于写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时,作者使用了大型语言模型来协助文本的制定。使用这些工具后,作者仔细审查并编辑了内容,并对最终发布的文章负全责。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

这项工作是在莱昂纳多·普利尼就读于罗马大学(Sapienza University of Rome)举办的意大利国家人工智能博士项目期间完成的。我们感谢DsTech S.r.l.和PNRR MUR项目PE0000013未来人工智能研究(FAIR)(CUP: B53C22003980006 和 CUP: E63C22001940006)对罗马大学和卡塔尼亚大学的部分资助。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号