《Image and Vision Computing》:MAAP-VL: Modality-aware adaptive probing for reliability diagnosis of vision-language models
编辑推荐:
•MAAP-VL 实现了对仅通过 API 提供的黑盒视觉语言模型(VLM)的免训练可靠性诊断。•自适应探测机制采集任务特定的文本、视觉和跨模态证据。•证据卡片诊断输出失败原因、有依据的解释以及纠正措施。•在 15 个 VLM 上的评估证明了广泛的跨模型适用性。引言视觉语言模型
- •
MAAP-VL 实现了对仅通过 API 提供的黑盒视觉语言模型(VLM)的免训练可靠性诊断。
- •
自适应探测机制采集任务特定的文本、视觉和跨模态证据。
- •
证据卡片诊断输出失败原因、有依据的解释以及纠正措施。
- •
在 15 个 VLM 上的评估证明了广泛的跨模型适用性。
引言
视觉语言模型(VLMs)[1]、[2]、[3] 正越来越多地作为多模态智能的通用接口被使用,支持视觉问答、文档理解、基于证据的推理以及交互式多模态辅助。然而,在实际部署中,信任必须针对每一个单独预测建立,而非从平均基准性能推断得出。一个流畅的回答仍然可能是错误的、缺乏视觉支撑的,或者源自不可接受的输入。因此,一个实用的可靠性层应该为目标预测回答四个问题:它可靠吗?如果不,什么出了问题,有什么证据支持该诊断,以及下游系统下一步应该怎么做?
现有的可靠性技术仅解决了这一需求的部分问题。幻觉检测关注与视觉证据相冲突的输出 [4]、[5]、[6],而置信度估计和不确定性量化则通过口头置信度、内部概率或响应分散度提供标量风险信号 [7]、[8]、[9]、[10]。许多此类方法还假设能够访问模型内部信号,例如 token 对数概率或隐藏状态,这限制了它们对仅通过 API 提供的 VLM 的适用性。知识边界和拒绝方法则检查当模型的知识或感知证据不足时,是否应该给出回答 [11]、[12]、[13]、[14]、[15]、[16]。尽管这些方法可以指示预测风险,但它们很少能提供关于潜在失败的结构性诊断,同时附带支持证据和适当的干预措施。这一区别在实践中很重要,因为不同的失败需要不同的应对方式:不稳定的预测可能受益于对目标模型的重新查询,知识缺失可能需要证据检索,视觉证据薄弱可能需要改善视觉输入,而未解决的高风险案例可能值得放弃或进行人工审查。此类感知失败的诊断可以为下游智能路由提供可操作的信号,并且还可以通过针对特定失败的反馈来支持模型自我改进,如图 1 所示。
实际访问限制使得这种结构化诊断尤为具有挑战性。许多已部署的 VLM 仅通过 API 访问,不暴露对数概率、token 概率、隐藏状态或训练数据。这排除了如图 2 所示的一大类白盒和基于训练的可靠性方法,使黑盒方法只能通过可观察的模型响应来推断可靠性。口头置信度在困难实例上往往校准不佳 [7],而基于采样的不确定性方法最初主要是为文本生成开发的 [9]、[10]。最近的 VLM 方法进一步通过文本或视觉扰动来估计不确定性 [17]、[18]。然而,这些方法主要衡量响应置信度或一致性,这对于细粒度诊断来说是不够的:模型可能始终如一地重复一个看似合理的答案,即使该答案缺乏视觉支撑、绑定到错误的实体,或针对从根本上无法回答的输入而生成的。
因此,关键挑战不仅在于确定一个预测是否有风险,还在于获取能够区分不同失败机制的证据。在黑盒访问条件下,此类证据无法直接从模型内部状态获得,而必须通过精心设计的行为探测来获取。重要的是,一个探测的诊断价值取决于当前任务及其证据需求。例如,OCR 和计数错误与视觉感知密切相关,空间和指代问题依赖于正确的文本-图像绑定,而知识密集型问题需要区分视觉接地失败与知识缺失或推理错误。这表明,有效的黑盒诊断不应依赖于一组固定的不确定性信号,而应根据每个输入的特性自适应地获取互补的文本、视觉和跨模态证据。
受此观察启发,我们将黑盒可靠性诊断定义为任务自适应的多模态证据获取过程,在该过程中,诊断者确定哪些证据与当前实例相关,并在有限的查询预算下选择性地获取信息量丰富的观测数据。基于此定义,我们提出了MAAP-VL,一个针对仅通过 API 提供的黑盒 VLM 的免训练预测级可靠性诊断框架。MAAP-VL 遵循证据先于决策的流水线。任务画像扫描模块首先从任务类型、可回答性和样本特定证据需求方面对输入进行刻画。模态感知的可靠性探测库提供互补的文本、视觉和跨模态探测,而自适应探测编排策略在目标模型查询预算内选择适用且信息量丰富的探测。所得观测数据被整合为结构化的证据卡片,记录任务画像、证据得分和响应轨迹。最后,证据卡片引导的诊断模块对结构化证据进行解释,以预测可靠性标签,对于不可靠的预测,则给出主要失败原因、有证据支撑的解释和推荐的纠正措施。推荐的措施指定了诊断建议的优先下一步干预,而其具体执行则留给下游部署系统。我们在一项为预测级 VLM 可靠性诊断而构建的模型条件基准上对 MAAP-VL 进行了验证。
主要贡献总结如下:
- •
我们将仅通过 API 提供的黑盒 VLM 的预测级可靠性诊断表述为一个结构化任务,该任务联合确定预测的可靠性,并在预测不可靠时,识别其失败原因、提供有证据支撑的解释并推荐纠正措施。
- •
我们提出了一个免训练的模态感知自适应探测流水线,结合任务画像扫描、互补的文本、视觉和跨模态探测以及预算感知的探测编排,在无需访问模型内部状态的情况下获取实例特定的可靠性证据。
- •
我们提出了一种证据卡片引导的诊断策略,该策略将异构的探测观测数据组织为结构化接口,并能够使现成的多模态诊断者在不进行任务特定训练的情况下执行细粒度的可靠性推理。
- •
我们构建了一个模型条件的可靠性基准套件,并在三个主要目标 VLM 上进行了广泛评估,同时在 15 个 VLM 上进行了更广泛的跨目标评估。MAAP-VL 在主要目标上取得了 78.1% 准确率、73.4% F1、68.6% 原因 F1 得分(CFS)、76.4% 措施可接受度得分(AAS)和 7.9 解释质量得分(EQS),同时比 VL-Uncertainty 减少了 45.0% 的额外目标 VLM 查询。
章节摘要
不确定性估计与置信度校准
不确定性估计与置信度校准旨在识别不应被信任的预测。经典方法使用置信度分数、集成或贝叶斯近似来量化预测不确定性 [19]、[20]。对于语言模型,口头置信度方法以自然语言形式引出不确定性 [7]、[21]、[22],而白盒或灰盒方法利用 token 概率、语义相关性、声明或内部表征 [8]、[23]、[24]、[25]、[26]。黑盒
任务定义
给定一个图像-问题对 ,一个仅通过 API 提供的目标 VLM ,以及一个已有预测 ,预测级可靠性诊断旨在确定 在可用多模态证据和任务约束下是否值得信任。诊断方法可以查询 并观察其输出,但无法访问其训练数据、隐藏状态、对数概率或 token 概率。与答案生成不同,目标是评估一个已有预测,并在其不可靠时
可靠性诊断基准构建
共享图像-问题池。 现有的 VLM 基准主要评估答案正确性,而我们的任务评估目标模型产生的特定预测的可靠性。我们首先从 A-OKVQA [45]、ScienceQA-IMG [46]、TextVQA [47]、MMMU [48] 和 HallusionBench [5] 中收集了 2K 个共享的图像-问题样本池。该池涵盖五种任务类型:感知型 VQA、富文本/OCR 理解、计数与数量推理、空间与指代接地以及
结论
本文介绍了 MAAP-VL,一个针对仅通过 API 提供的黑盒 VLM 的免训练预测级可靠性诊断框架。MAAP-VL 超越了二分类可靠性检测,能够识别失败原因、产生有证据支撑的解释并推荐纠正措施。该框架结合了任务画像扫描、模态感知自适应探测和证据卡片引导的诊断。其自适应编排根据目标 VLM 的查询预算调整探测覆盖面和深度,而文本
CRediT 作者贡献声明
Xin Wang:撰写——初稿,软件,方法论,概念化。Yue Zhan:验证,正式分析,数据整理。Zhaoxiang Liu:资源,项目管理,方法论,概念化。Kai Wang:资源,项目管理。Shiguo Lian:监督,项目管理,经费获取。Junping Du:监督,项目管理。
利益冲突声明
作者声明他们不存在已知的竞争性经济利益或个人关系,这些利益或关系可能会影响本文报告的工作。
Xin Wang|Yue Zhan|Zhaoxiang Liu|Kai Wang|Shiguo Lian|Junping Du