RoboSurg-VQA:从公共手术分割数据中构建的闭集视觉问答基准

《Machine Learning and Knowledge Extraction》:RoboSurg-VQA: A Multimodal Visual Question Answering Benchmark Derived from Surgical Segmentation Data

【字体: 大 中 小 】 时间:2026年09月29日 来源:Machine Learning and Knowledge Extraction 8.4

编辑推荐:

   摘要:公共手术分割数据集包含超越其像素标注的手术视野信息。RoboSurg-VQA 将这些信息组织为一个闭集视觉问答(VQA)基准,同时保留了每个答案的来源。该数据集包含来自29条 EndoVis 2017/2018 源序列和11个任务单元的5632帧图像,答案来源于源元数据

  摘要:公共手术分割数据集包含超越其像素标注的手术视野信息。RoboSurg-VQA 将这些信息组织为一个闭集视觉问答(VQA)基准,同时保留了每个答案的来源。该数据集包含来自29条 EndoVis 2017/2018 源序列和11个任务单元的5632帧图像,答案来源于源元数据、掩码测量值或机器生成的候选标签。两位独立工作的研究团队成员在盲测的250帧审计中检查了七种视觉属性,分歧由第三位审查员解决。我们训练了一个共享模型,使用冻结的 BiomedCLIP 编码器和13个答案词汇表,以检验图像和问题输入的贡献。在留出序列上,针对掩码衍生标签和候选标签,该模型在七个任务上的固定标签 Macro-F1 平均得分为0.540。答案频率和仅限任务的纯图像预测得分分别为0.391和0.400。在使用未见过的改写时,得分为0.528。在来自留出序列的40个审计帧上,出血、图像质量和眩光的平均 Macro-F1 为0.535(以人工参考为标准),而答案频率得分为0.450,提升0.085,主要由出血属性驱动。审计发现了特定于属性的标签错误,其中眩光的审查员分歧最大。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号