《Information》:Mitigating Hallucination in Long Referring Expressions via Training-Free, Anchor-Preserved Visual Grounding
编辑推荐:
长指代表达在视觉定位中产生两个相互关联的幻觉来源。检测器可能选择仅匹配指令一部分的对象,而结构化视觉-语言模型(Vision-Language Model,VLM)分支可能幻觉出目标头或属性-对象绑定。研究人员提出DeRecG,一个免训练、锚点保留的框架,用于
长指代表达在视觉定位中产生两个相互关联的幻觉来源。检测器可能选择仅匹配指令一部分的对象,而结构化视觉-语言模型(Vision-Language Model,VLM)分支可能幻觉出目标头或属性-对象绑定。研究人员提出DeRecG,一个免训练、锚点保留的框架,用于解决这两个来源。冻结的Grounding DINO检测器提供锚点,冻结的Qwen2-VL模型分解表达式以进行候选验证。置信约束分歧仲裁(Confidence-Constrained Disagreement Arbitration,CCDA)仅在候选通过头有效性、分数下限、分数余量和空间分歧门控时才替换锚点。词汇-视觉候选扩展(Lexical–Visual Candidate Expansion,LVCE)在仲裁之前修复解析器引起的头错误。在六个RefCOCO家族划分(46,842个表达式)中,LVCE+CCDA将交并比(Intersection over Union,IoU)阈值为0.5时的加权准确率从53.40%提升到55.00%,加权平均IoU从53.28%提升到54.66%。在相同的冻结阈值下,Ref-L4验证集上13,420个长表达式的准确率从31.02%提升到34.73%,平均IoU从33.43%提升到36.72%;646个锚点错误被纠正,148个被诱导(??<10?74),在短短语Flickr30k Entities定位上没有退化。完整流程不需要训练,使用6.10 GiB峰值分配的GPU内存,在RTX 5090 D上处理速度为1.15图像/秒。
**一、研究背景与问题**
视觉定位(Visual Grounding),亦称指代表达理解(Referring Expression Comprehension,REC),是将自然语言描述对应到图像中特定对象的任务,是连接语言语义与视觉区域的基础视觉-语言能力,支撑具身交互、辅助感知、图像编辑和人机协作等下游应用。当指代表达较短时,该任务相对简单;但当指令较长时,模型必须在选择包围框之前将目标对象与多个属性、关系和干扰物排除约束绑定在一起,这种长指令场景正是幻觉高发之处:检测器可能选择一个视觉上合理但违反后续子句的对象,而基于视觉-语言模型(VLM)的解析器可能幻觉出错误的头对象或将属性错误地绑定为目标对象。现有范式可分为两阶段方法、单阶段transformer检测器以及开放词汇检测器和VLM的零样本组合,但这些模型仍将整个表达式压缩为一次决策。一种自然思路是将长指令分解为结构化约束图以验证候选框,然而分解本身并不能消除幻觉,只是将风险转移到另一模块。实验证实,无约束的结构化替换在表达式很长的RefCOCOg和Ref-L4上有益,但会在RefCOCO和RefCOCO+上造成大幅性能下降。因此关键问题并非单纯增加推理步骤,而是防止幻觉的结构化候选覆盖强检测器锚点,除非有充分证据表明候选确实解决了长表达式的歧义。
**二、研究方法**
研究人员提出DeRecG框架,采用冻结的Grounding DINO Swin-T开放词汇检测器生成锚点框与候选区域,冻结的Qwen2-VL-2B-Instruct模型将表达式解析为目标、属性与关系查询。核心技术方法包括:置信约束分歧仲裁(CCDA),通过头有效性、绝对分数下限、相对锚点分数余量和空间分歧四个门控条件决定是否覆盖锚点;词汇-视觉候选扩展(LVCE),通过词典基元头修复和属性-头短语查询扩展修复解析器诱导的头错误。评估数据集包括RefCOCO、RefCOCO+、RefCOCOg共六个划分(46,842个表达式),以及外部验证集Ref-L4(13,420个长表达式)和Flickr30k Entities(14,566个短短语样本)。
**三、研究结果**
3.1 实验设置:采用六个RefCOCO家族划分作为主评估,Ref-L4和Flickr30k Entities作为外部泛化测试,阈值在RefCOCO验证集上选定后冻结。
3.2 六个划分的主要结果:LVCE+CCDA在每个划分上均优于Grounding DINO锚点,RefCOCOg上增益最大,加权准确率从53.40%提升至55.00%,加权平均IoU从53.28%提升至54.66%。
3.3 聚合分析:CCDA是主要贡献者,单独使用使加权准确率从53.40%升至54.78%;LVCE单独为54.40%;两者组合达到最优55.00%。无约束的NoRect原始分支在RefCOCOg上较强但在RefCOCO和RefCOCO+上大幅下降,确认无约束结构替换不稳定。
3.4 组件增量:CCDA在六个划分上均为正增益,在RefCOCO+和RefCOCOg上尤为显著;LVCE也在每个划分上产生正增益,但边际增益较小(0.04至0.21个百分点),说明它是辅助模块而非主要贡献。
3.5 查询扩展和旧版矫正的消融:移除查询扩展后RefCOCO验证集准确率从51.85%降至51.44%;原始DeRecG循环矫正仅达46.50%,低于锚点约2个百分点,验证了迭代矫正不如单次保守仲裁。
3.6 分层分析和覆盖行为:方法在短表达式、长表达式、无关系表达式和含关系表达式上均优于锚点,长表达式增益最大(从39.37%升至41.71%)。RefCOCO验证集上95.0%样本保留锚点,CCDA覆盖1.6%,LVCE覆盖3.4%,净胜237次对111次。
3.7 直接幻觉转换与统计不确定性:每个完整划分上纠正的锚点错误数均大于诱导错误数,精确McNemar检验拒绝相等不一致率(??<0.05)。RefCOCO验证集上237次纠正对111次诱导,不一致病例纠正精确率为68.1%,净准确率增益1.16个百分点,配对95%置信区间为[0.83, 1.50]个百分点。
3.8 阈值敏感性:单次变动六个仲裁阈值共252种配置,没有测试值在任何划分上低于锚点,默认配置并非唯一最优,呈现宽阔的平台区,支持使用固定配置而非逐划分调参。
3.9 效率与准确率-成本权衡:在RTX 5090 D上,Grounding DINO单独需99.1毫秒/图像,完整方法需867.7毫秒/图像(1.15 FPS),延迟倍数为8.76×,峰值内存6.10 GiB,其中分解是主要开销(557.4毫秒)。
3.10 外部验证:冻结阈值下,Ref-L4验证集Acc@0.5从31.02%升至34.73%(+3.71个百分点),平均IoU从33.43%升至36.72%(+3.29个百分点),纠正646个锚点错误并诱导148个,不一致病例纠正精确率81.36%。Flickr30k Entities上,Acc@0.5从69.00%变为69.06%(+0.06个百分点,??=0.397),无显著变化也无退化;而无约束的原始分支显著低于锚点,表明约束门控阻止了有害替换。
3.11 定性分析:展示了四种仲裁结果案例——锚点保留、CCDA覆盖成功、LVCE覆盖成功和残余失败,与定量分层分析一致。
3.12 结果总结:全部46,842个表达式中,完整方法使加权准确率提升1.60个百分点,加权平均IoU提升1.38个百分点,总计1384次纠正对634次诱导。方法在长表达式上产生显著增益,在短短语上安全无退化,但伴随8.76×延迟代价。
**四、讨论与结论**
讨论指出三个核心发现:CCDA是承重性幻觉控制组件,约束选择比候选扩展本身更重要;LVCE的边际增益虽小但稳定,定位于辅助模块;原始循环矫正和无约束分支的负面结果表明,更多结构化和更多推理步骤并不会自动减少幻觉,缺少的是决定何时信任推理的保守决策规则。Ref-L4原始分支的高分表明固定门控在外部分布偏移下以牺牲候选召回换取覆盖精确率。实际收益包括免训练、默认保留强检测器输出以及每项预测可审计的选择来源,但1.15 FPS的吞吐量不适用于高帧率闭环控制。局限性包括依赖检测器候选质量、VLM属性判断可靠性、几何关系验证器假设轴对齐布局、LVCE依赖英文词典,以及固定阈值非完全无验证依赖。未来方向包括多语言检索、表达式自适应门控、缓存分解、批量验证和蒸馏解析器。结论如下:研究人员提出DeRecG,一种免训练、锚点保留的框架,用于缓解长指代表达定位中的幻觉。该框架将Grounding DINO视为强但可错的锚点,利用Qwen2-VL解析表达式为目标、属性和关系信息进行结构化验证。核心模块CCDA仅当结构化候选通过头有效性、分数、余量和空间分歧检查时才允许覆盖锚点;辅助模块LVCE在仲裁前修复解析器诱导的头幻觉并扩展检测器查询。跨六个RefCOCO家族划分和46,842个表达式,LVCE+CCDA将加权准确率从53.40%提升至55.00%,加权平均IoU从53.28%提升至54.66%,在每个划分上均获得正增益。在相同冻结阈值下,Ref-L4验证集Acc@0.5从31.02%提升至34.73%,平均IoU从33.43%提升至36.72%,纠正646个锚点错误并诱导148个。消融表明CCDA是主要贡献者,LVCE是有用的辅助召回模块。RefCOCOg和Ref-L4同时界定了固定保守仲裁的边界:对于超长描述,原始结构化预测可能更强,当前门控以候选召回换取覆盖精确率。结合8.76×延迟倍数,这一边界促使未来研究无标签的表达式自适应门控和更快的验证机制。该工作将置信约束、锚点保留仲裁定位为在无需训练或微调的情况下减少长指令视觉定位幻觉的实用途径。