基于场景感知的向量化内存多智能体框架,结合跨模态差异化量化技术,用于辅助视障人士
《Expert Systems with Applications》:Scene-Aware Vectorized Memory Multi-Agent Framework with Cross-Modal Differentiated Quantization VLMs for Visually Impaired Assistance
【字体:
大
中
小
】
时间:2025年12月06日
来源:Expert Systems with Applications 9.4
编辑推荐:
王祥祥|王轩宇|罗一佳|余永斌|范曼平|张静涛|任立勇中国电子科技大学信息与软件工程学院,四川省成都市摘要视障者在环境感知方面面临巨大挑战。传统的辅助技术往往缺乏适应性智能,侧重于单个组件而非集成系统。虽然视觉语言模型为更丰富的集成理解提供了希望,但其部署却因庞大的计算需求而受到
王祥祥|王轩宇|罗一佳|余永斌|范曼平|张静涛|任立勇中国电子科技大学信息与软件工程学院,四川省成都市摘要视障者在环境感知方面面临巨大挑战。传统的辅助技术往往缺乏适应性智能,侧重于单个组件而非集成系统。虽然视觉语言模型为更丰富的集成理解提供了希望,但其部署却因庞大的计算需求而受到限制,需要数十GB的内存。为解决计算效率与集成设计方面的不足,本研究提出了双重技术创新框架:针对视觉语言模型的跨模态差异化量化框架,以及场景感知的向量化内存多智能体系统。该量化框架通过差异化策略将内存使用从38GB降至11.3GB。多智能体系统则利用向量化内存及感知-记忆-推理工作流,提供当前视野之外的环境信息,从初始语音输出到完成仅需2.83 - 3.52秒的延迟。实验表明,经过量化的190亿参数模型在MMBench上的性能仅下降2.05%,在OCR-VQA任务中的准确率仍为63.7%(原始值为64.9%),其表现优于具有同等内存容量的较小模型。这项研究提升了计算效率与辅助技术水平,为场景感知、文本识别和导航提供了全面支持。引言据世界卫生组织2023年的估计,全球至少有22亿人属于视障群体,他们在环境感知和导航方面面临诸多困难。传统辅助技术通常只能提供有限的情境理解能力,且缺乏应对复杂动态环境所需的适应性智能。尽管视障辅助技术所必需的关键组件——物体检测、文本检测和文本转语音合成技术已经存在,但以往的研究多集中于单个组件,而非整体整合。要推动这些技术的发展,就需要能够满足用户全方位需求的集成解决方案,即提供全面的场景理解能力。目前最先进的视觉语言模型为这种集成理解提供了可能,但其实际应用却因巨大的计算资源需求而受限。参数超过数十亿的模型需要多块高端GPU才能进行推理,且内存需求高达数十GB。这样的计算负担使得它们在那些计算资源有限的现实场景中难以应用,比如用于辅助技术的便携设备上。训练后量化技术为解决大型语言模型中的计算瓶颈带来了希望,它能够在无需大规模重新训练的情况下实现模型压缩。诸如GPTQ之类的方法已展现出优异的效果。不过,将这些技术应用于多模态架构时会遇到独特挑战。最近的一些先进方法开始着手解决视觉语言模型各组件的不同敏感性问题。例如,VLMQ方法发现了令牌在模态上的差异(即文本令牌数量有限,而视觉令牌则过多且重复),并提出了基于改进的赫斯矩阵的重要性感知目标函数。同样,MBQ方法也发现了语言令牌与视觉令牌之间存在显著的敏感性差异,进而提出了一种在校准过程中纳入这些差异性的方法。虽然这些先进方法能够正确识别并在令牌层面开始解决差异问题,但它们的重点仍然主要在于数据层面(令牌)的调整。据作者所知,架构组件本身存在的根本敏感性差异——即视觉编码器与跨模态处理模块具有不同的计算模式和需求——至今仍未得到充分研究。除了模型压缩之外,还迫切需要有效的部署框架,将视觉语言模型的功能转化为对用户有实际意义的成果。多智能体系统为分解复杂的感知和推理任务提供了一种有前景的方法。近期的辅助系统开始利用视觉语言模型来实现特定任务。例如,Zhang等人2025年开发的VLM-Drone系统采用了基于云端的视觉语言模型与专用硬件(配备TOF激光摄像头模块的无人机)相结合的层次结构,用于室内导航和路标解读。另一款专用系统NaviSense由Sridhar等人2025年开发,它通过将视觉语言模型与激光雷达和增强现实技术结合在移动设备上,实现开放世界环境中的物体检索,并提供实时的音声触觉引导。在户外领域,还有其他研究利用像VideoLLaMA3这样的时空视觉语言模型来处理视频,从而生成城市导航指令。虽然这些新兴解决方案展示了视觉语言模型的潜力,但它们往往:其一,依赖无人机或激光雷达传感器等专用硬件来实现空间感知;其二,仅为单一特定任务而设计(如物体检索或基于路标的导航)。至关重要的是,它们的功能仅限于即时感知,只能处理当前的视野范围。据作者所知,目前还存在两个主要缺陷:其一,缺乏灵活的、能感知场景的工作流,无法自主地在不同任务之间切换(如文本阅读、导航、描述等);其二,由于缺乏整合历史场景知识的机制,无法克服单视角的局限性。目前的智能体框架往往过于通用,或者需要手动切换任务,这会给用户带来不必要的认知负担。为解决这两个问题,本文提出了一种专为视觉语言模型设计的新型模块化量化框架,该框架有助于在资源受限的环境中实现有效部署,同时还搭配了一种针对视障用户需求设计的基于流程的场景感知多智能体辅助框架。该智能体架构采用了感知-记忆-决策的流程,能够持续处理视觉信息,分析场景变化,并通过自然语言交互提供符合情境的辅助功能。本研究的主要贡献如下:(1)提出了一种创新的跨模态差异化量化框架,通过为视觉编码器及跨模态处理模块设计特定的量化策略,解决了视觉语言模型中不同架构组件对量化处理的不同敏感性问题。(2)设计了一种场景感知的向量化内存多智能体框架,该框架通过向量相似性检索实现跨视角理解,能够整合历史场景知识,提供当前视野之外的环境信息,从而克服了单视角带来的辅助限制。(3)开发了高效的反量化与存储优化技术,包括位压缩格式和专门的计算内核。这些创新措施在降低内存需求的同时保持了推理速度,使得大型视觉语言模型能够在消费级GPU上高效运行。(4)构建了一个基于流程的多智能体协作系统,具备低延迟的语音流传输功能,通过专门的智能体为场景分类、文本识别、障碍物检测和环境描述提供全面的视觉辅助功能。跨模态差异化量化框架解决了视觉语言模型的计算效率问题,而场景感知的向量化内存多智能体系统则提升了视障用户的辅助体验。这些技术创新针对消费级硬件的实时性能以及精确的环境理解能力进行了优化。差异化量化策略为结构不同的视觉编码器与跨模态处理模块应用了不同的处理方法,在保持模型性能的同时大幅降低了内存需求。向量化内存系统则通过基于相似性的检索机制积累场景知识,弥补了即时感知的不足,能够提供当前视野之外的环境信息理解能力。这两种技术共同构建了一个计算效率高且能适应不同情境的视觉辅助系统,既可在资源受限的环境中实现有效部署,又能为视障用户提供全面的环境感知支持。本文的其余部分结构如下:第2节介绍相关研究,包括视觉语言模型、训练后量化方法、用于人工智能应用的多智能体系统以及检索增强生成技术。第3节详细阐述所提出的方法,包括相关基础、跨模态差异化量化框架以及多智能体辅助框架。第4节通过实验评估所提方法的有效性,包括在MMBench和OCR-VQA数据集上的性能对比,以及多智能体辅助框架的实际应用测试,如检索增强生成实验。第5节探讨研究结果的意义、该方法的优缺点以及研究的局限性。最后,第6节对本文进行总结,阐述其主要贡献。片段内容视觉语言模型视觉语言模型通过整合视觉与语言信息来实现多模态信息的理解与生成。近年来,视觉语言模型架构已从独立训练的组件发展为基于大型语言模型的框架。现代视觉语言模型可归纳为三种主要的架构风格。例如InstructBLIP、MiniGPT-4以及用于多模态乳腺癌预测的Vo等相关模型。初步内容本研究提出了一套全面的解决方案,既包括基于GPTQ方法的视觉语言模型量化策略,也包括专为视障人士设计的多智能体部署框架。该方案能够在保证视觉语言模型具备执行复杂辅助任务能力的同时,将其有效压缩,以便在计算资源受限的环境中部署。视觉语言模型通常由视觉编码器?V、语言编码器?L以及多模态融合模块?M组成。数据集模型评估完全使用Duan等人2024年开发的VLMEvalKit工具,在两个标准的多模态评测数据集上进行:MMBench和OCR-VQA。这些数据集用于测试系统在不同视觉理解场景下的性能。MMBench是一个旨在评估视觉语言模型能力的系统性评测工具,其中包含3217道选择题,涵盖了包括物体识别在内的20个细致的能力维度。讨论部分对本研究的结果以及框架的架构进行了全面分析。首先,我们展示了主要的实验结果,详细介绍了在模型优化和应用性能方面的成果。随后,我们分析了促成这些成果的关键方法优势,以及当前框架存在的固有局限性和方法学考量。最后,我们总结了这项研究带来的更广泛的启示。结论本研究成功解决了视觉语言模型在辅助技术应用中的技术和实践难题。所提出的模块化量化框架将一个190亿参数的模型内存占用从38GB降至11.3GB,且对性能的影响极小,在MMBench上的准确率仅下降2.05%,在OCR-VQA任务中的准确率仍为63.7%。场景感知的向量化内存多智能体系统则为视障人士提供了全面的辅助支持。作者贡献说明王祥祥:撰写——审阅与编辑,资金获取。王轩宇:数据整理,撰写——初稿。罗一佳:可视化处理,研究工作。余永斌:撰写——审阅与编辑,资金获取。范曼平:软件开发,验证工作。张静涛:研究工作。任立勇:概念构思,方法设计,软件开发。利益冲突声明尊敬的编辑们,本文为全新作品,全文或其任何部分均未在其他地方发表或被接受。本文也不会提交给其他任何期刊。所有作者都已审阅手稿并同意将其投稿至贵刊。作者们未报告任何潜在的利益冲突。致以诚挚的问候!余永斌
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号