AstroMMBench:面向天文图像理解的多模态大语言模型评估基准
《Universe》:AstroMMBench: A Benchmark for Evaluating Multimodal Large Language Model Capabilities in Astronomy
【字体:
大
中
小
】
时间:2026年10月01日
来源:Universe 2.5
编辑推荐:
摘要
天文学图像解读不仅需要视觉感知能力,还要求熟悉领域特定的表征方式、观测惯例以及天体物理推理。尽管近期多模态大语言模型(MLLMs)展现出强大的通用视觉-语言能力,但其在专业天文图像方面的表现尚未得到充分评估。为弥补这一空白,我们提出了AstroMMBench,一个专
摘要
天文学图像解读不仅需要视觉感知能力,还要求熟悉领域特定的表征方式、观测惯例以及天体物理推理。尽管近期多模态大语言模型(MLLMs)展现出强大的通用视觉-语言能力,但其在专业天文图像方面的表现尚未得到充分评估。为弥补这一空白,我们提出了AstroMMBench,一个专门用于评估多模态大语言模型在天文图像相关选择题上表现的天文学基准测试。AstroMMBench包含592道经专家筛选的多选题,覆盖六大天体物理子领域:星系天体物理、宇宙学与河外天体物理、地球与行星天体物理、高能天体物理现象、天体物理仪器与方法、以及太阳与恒星天体物理。这些题目由天文图像及关联文本通过自动化流程生成,随后经过多阶段筛选和专家评审,以评估科学准确性、图文一致性及答案唯一性。我们使用AstroMMBench评估了25个选定的多模态大语言模型,包括22个开源模型和3个闭源模型。结果显示,不同模型之间以及不同天体物理子领域之间的性能差异显著。Ovis2-34B取得了最高的总体准确率估计值71.3%,其性能与ChatGPT-4o和Doubao-1.5-vision-pro等强闭源模型相当。子领域层面分析表明,宇宙学领域的平均准确率估计值最低,而高能天体物理领域则表现出显著的模型间变异性,而非整体偏低的表现。在592道基准题目上仅使用题目(无图像)的结果为:Qwen2.5-VL-7B为27.53%,InternVL3-38B为24.83%;相比之下,提供图像时的准确率分别为58.11%和68.24%。这些描述性比较表明视觉输入在这两个模型中贡献显著。AstroMMBench为比较模型在图像相关天文问题上的表现提供了一个结构化且可扩展的资源。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号