Colosseum V2:用于评估视觉-语言-动作模型泛化能力的基准测试
《IEEE Reliability Magazine》:Colosseum V2: Benchmarking Generalization for Vision-Language-Action Models
【字体:
大
中
小
】
时间:2026年10月22日
来源:IEEE Reliability Magazine
编辑推荐:
摘要: 视觉-语言-行动(VLA)模型在机器人操控任务中展现出良好的泛化能力,这一进展得益于大规模视觉和语言预训练的进步。然而,这种进步可能会产生误导。尽管VLA模型具备零样本感知和语言处理能力,但在任务分布发生变化时,它们的整体表现往往会下降,这表明这些系统在将高级理解转化为
摘要:
视觉-语言-行动(VLA)模型在机器人操控任务中展现出良好的泛化能力,这一进展得益于大规模视觉和语言预训练的进步。然而,这种进步可能会产生误导。尽管VLA模型具备零样本感知和语言处理能力,但在任务分布发生变化时,它们的整体表现往往会下降,这表明这些系统在将高级理解转化为可靠行为方面存在不足。为了系统地研究这一差距,我们推出了Colosseum V2,这是一个用于评估VLA模型在多种条件下泛化能力的大规模模拟基准测试平台。该基准测试包含28个任务,涵盖了13个任务类别和两种机器人形态,涉及广泛的操控基本操作和长时序行为。Colosseum V2基于ManiSkill模拟器构建,支持快速、基于GPU并行化的评估,并能够进行大规模的领域内和领域外测试。我们评估了包括Action Chunking Transformers(ACT)在内的多种先进方法,揭示了它们在基础性能和泛化能力方面的局限性。同时,模拟结果与真实世界数据之间的强相关性也证明了该基准测试的有效性。通过在一个统一的基准测试框架内标准化任务、评估指标和协议,Colosseum V2实现了可重复、公平的比较,降低了评估成本,并加速了通用机器人策略的研发进程。
引言
视觉语言模型(VLMs),如ChatGPT [1]和SAM 2 [2],在处理多样化的视觉场景和语言指令时展现了出色的泛化能力。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号