RoboSurg-VQA:从公共手术分割数据中构建的闭集视觉问答基准
《Machine Learning and Knowledge Extraction》:RoboSurg-VQA: A Multimodal Visual Question Answering Benchmark Derived from Surgical Segmentation Data
【字体:
大
中
小
】
时间:2026年09月29日
来源:Machine Learning and Knowledge Extraction 8.4
编辑推荐:
摘要:公共手术分割数据集包含超越其像素标注的手术视野信息。RoboSurg-VQA 将这些信息组织为一个闭集视觉问答(VQA)基准,同时保留了每个答案的来源。该数据集包含来自29条 EndoVis 2017/2018 源序列和11个任务单元的5632帧图像,答案来源于源元数据
摘要:公共手术分割数据集包含超越其像素标注的手术视野信息。RoboSurg-VQA 将这些信息组织为一个闭集视觉问答(VQA)基准,同时保留了每个答案的来源。该数据集包含来自29条 EndoVis 2017/2018 源序列和11个任务单元的5632帧图像,答案来源于源元数据、掩码测量值或机器生成的候选标签。两位独立工作的研究团队成员在盲测的250帧审计中检查了七种视觉属性,分歧由第三位审查员解决。我们训练了一个共享模型,使用冻结的 BiomedCLIP 编码器和13个答案词汇表,以检验图像和问题输入的贡献。在留出序列上,针对掩码衍生标签和候选标签,该模型在七个任务上的固定标签 Macro-F1 平均得分为0.540。答案频率和仅限任务的纯图像预测得分分别为0.391和0.400。在使用未见过的改写时,得分为0.528。在来自留出序列的40个审计帧上,出血、图像质量和眩光的平均 Macro-F1 为0.535(以人工参考为标准),而答案频率得分为0.450,提升0.085,主要由出血属性驱动。审计发现了特定于属性的标签错误,其中眩光的审查员分歧最大。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号