基于大语言模型驱动的零样本多模态智能体框架用于智能电网无人机视觉检测

《Energies》:A Zero-Shot Multimodal Agent Framework for Power Line Inspection via Large Language Models

【字体: 大 中 小 】 时间:2026年10月21日 来源:Energies 3.9

编辑推荐:

   摘要

  

摘要

随着无人机(UAVs)在智能电网中的广泛部署,基于深度学习的视觉检测技术取得了显著进展。然而,传统的目标检测范式严重依赖大量高质量标注数据集,面临着泛化能力差和因长尾缺陷样本极度稀缺所导致的"数据饥渴"困境。为克服这些瓶颈,本文提出了一种由大语言模型(LLM)驱动的零样本多模态智能体框架。该架构采用集中式星型拓扑,严格将物理视觉感知与高层业务认知解耦,以大语言模型作为认知中枢,以视觉语言模型(VLM)作为感知工具。关键的是,该系统引入了检索增强生成(RAG)机制,动态将视觉发现与权威电网规范进行对齐,支持基于规则引用的报告生成。实验结果表明,在未经过任何领域特定微调的情况下,所提出的框架在测试配置下降低了误报率,检测F1分数达到82.52%。在重复三次的通用报告对比中,该框架的参考条款覆盖率准确率为65.30%,而直接调用Qwen-VL-Max(提供相同视觉先验和规则)的覆盖率仅为43.84%。该框架将视觉检测扩展为与所提供工业规则关联的结构化、人类可读报告;其评级准确性和可重复性仍取决于视觉观测及后续工具执行。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号