面向高校多源异构信息集成的多模态智能体检索增强生成框架研究

《Big Data and Cognitive Computing》:A Study on a Multimodal Agentic RAG Framework for Integrating Multi-Source Heterogeneous Information in Higher Education Institutions

【字体: 大 中 小 】 时间:2026年08月28日 来源:Big Data and Cognitive Computing 5.3

编辑推荐:

  在高等教育数字化转型背景下,校园信息分散于独立平台,导致访问碎片化与检索障碍。为应对上述挑战,研究人员提出一种多模态智能体检索增强生成(Agentic RAG)框架,通过统一自然语言交互门户集成多源异构高校信息。相较于基础RAG架构,该框架引入三项改进:(1)

  
在高等教育数字化转型背景下,校园信息分散于独立平台,导致访问碎片化与检索障碍。为应对上述挑战,研究人员提出一种多模态智能体检索增强生成(Agentic RAG)框架,通过统一自然语言交互门户集成多源异构高校信息。相较于基础RAG架构,该框架引入三项改进:(1)利用视觉-语言模型(VLM)将非结构化视觉内容转化为可索引的文本证据;(2)联合BM25稀疏检索、稠密向量检索与实时在线检索,分别支撑关键词匹配、语义检索与时效信息获取;(3)基于智能体的动态路由依据查询意图与证据充分性自适应调度检索工具,减少冗余调用。实验表明,所提框架在答案准确率、事实一致性、证据覆盖率与综合得分上均优于通用大语言模型、传统单路RAG及Self-RAG、Adaptive-RAG、VisRAG等先进方法。消融研究进一步验证各核心模块贡献。该框架为高校统一信息检索与自然语言交互提供低侵入式解决方案。
研究背景方面,高校核心业务向数字化、平台化演进,但因组织协同障碍、技术架构差异与数据治理不足,各部门系统访问点独立、数据格式异构、查询规则发散,形成信息孤岛与服务碎片化。用户并非缺乏信息,而是难以通过单一入口快速准确获取所需内容,跨平台切换成本高、认知负担重。现有方案多以统一平台替换原有系统,建设成本高、周期长;保留既有架构、在检索服务层聚合多源信息更为可行。问卷调研显示66%师生每周访问超5个平台,79%偏好自然语言问答,印证一站式智能检索需求。基于此,研究人员开展面向高校场景的多模态Agentic RAG框架研究,旨在以低侵入方式实现统一检索与可追溯问答。
关键技术方法上,研究人员依托北京交通大学威海校区60名志愿者回溯上报的630条真实校园查询构建标准化测试集,并按复杂度、题型、输入模态三维标注;另在USTC与TUT各补160条同法采集查询做跨校验证。模型栈固定为Qwen3-Max生成、Text-Embedding-v4文本嵌入、Multimodal-Embedding-v1视觉嵌入、Qwen-VL-Plus视觉解析,于Dify v0.12.0工作流中落地;评测采用DeepSeek-V4-Pro与Kimi K2.6双模型LLM-as-a-Judge,以答案准确率(AA)、事实一致性(FC)、证据覆盖率(EC)加权综合得分(权重0.5/0.3/0.2)量化。
研究结果部分,第三章提出系统架构与三模块改进。多模态语义文本化与知识库构建中,VLM仅对海报、截图、扫描PDF等必需视觉理解材料做结构化文本转换,保留原始文件作溯源证据,并打来源平台、部门、日期、有效期等元数据,构建稠密向量与BM25双索引。混合检索策略融合BM25精确实体匹配、稠密向量语义召回、实时在线检索补外部时效信息,三线证据汇入统一上下文。智能体动态检索路由将三工具封装为可调度单元,依据查询特征(数字、日期、地点、时效词、附件)与证据充分性阈值θ迭代选工具,算法1给出意图驱动的多轮去冗流程,平均时延而非单查询最优为其优化目标。
第四章实验结果显示,端到端对比中框架综合得分3.88,显著高于通用LLM(Baseline A,Δ=1.111)、单路RAG(B,+0.38)、Self-RAG(C)、Adaptive-RAG(D)与VisRAG(E,+0.16,EC高5.27%)。跨校验证在BJTU-Weihai、USTC、TUT三校复合分3.88/3.87/3.91,性能稳定。消融实验中,去VLM使EC从78.78%降至65.83%(p<0.01),462条多模态题约35%呈“有VLM则EC=100%、无则0”的二元依赖;去BM25致FC跌至2.87、EC 47.88%,去向量致AA跌至3.03、EC 52.86%,证二者功能互补;动态路由相较固定流水线平均响应19.91s→15.78s(降20.74%),AA微降0.047(效应量小),以有限质量代价换效率。错误分析指出5.6%低分题源于查询自身时序歧义、缺用户上下文或条件不足,非架构缺陷。
讨论部分,研究人员指出VisRAG在AA/FC相近但因全页视觉编码存存储与GPU开销,本框架按需VLM文本化复用索引更适资源受限大规模校景;MMA-RAG双嵌入亦增维护成本。真实查询缺失上下文问题需未来引身份感知与多轮澄清。结论翻译如下:综合端到端基线对比、跨校验证与三项消融可知,所提多模态Agentic RAG在高校多源异构场景下整体占优;跨校性能稳定;VLM语义文本化是把视觉孤岛转为可索引证据的关键;BM25、稠密向量与实时在线三者互补覆盖关键词敏感、语义开放与时效外源需求;智能体动态路由以微小AA损失换约20%时延下降,实现质量-效率权衡。该框架为高校统一检索与自然语言交互提供低中断部署路径,论文发表于《Big Data and Cognitive Computing》。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号