基于大语言模型结构化执行图及专家规则约束的语音引导无人机控制系统

《Engineering Applications of Artificial Intelligence》:Speech-guided unmanned aerial vehicle control system based on large language model-structured execution graphs with expert rule constraints

【字体: 大 中 小 】 时间:2026年09月29日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   摘要随着无人机(UAVs)的应用扩展到工业和安全关键应用,对能够减少对预定义命令集或手动界面依赖的直观语音驱动控制系统的需求日益增加。然而,自然语言指令通常表现出歧义、逻辑不一致和缺乏结构化表示,这限制了它们在无人机操作中的直接适用性。本研究开发了一个语音引导的无人机控制系统

  

摘要

随着无人机(UAVs)的应用扩展到工业和安全关键应用,对能够减少对预定义命令集或手动界面依赖的直观语音驱动控制系统的需求日益增加。然而,自然语言指令通常表现出歧义、逻辑不一致和缺乏结构化表示,这限制了它们在无人机操作中的直接适用性。本研究开发了一个语音引导的无人机控制系统,在该系统中,大语言模型(LLMs)将自然语言指令转换为带类型的执行图,并在物理执行之前由显式专家知识对其进行约束。这种神经符号设计将概率性的语言解释与确定性的执行授权分离开来,同时保留上下文提示以灵活理解命令而无需参数微调。该系统通过命令理解、图结构化、验证、稳健性测试、用户交互和室内物理执行进行了评估。其命令理解准确性达到 95.4%,整体图结构化准确性达到 89.6%,优于低于 76.0% 的非大语言模型基线。专家规则验证器在 2100 个故障图中检测到了所有预定义的违规类型,并且在 1000 个有效图上的误拒率为 0.0%。飞行员和室内物理测试在验证后的命令中实现了 88.3% 的用户任务成功率和 93.8% 的物理执行成功率。这些结果表明了一个实用且可解释的框架,用于任务级无人机命令解释和任务规划,并由专用的低层飞行控制处理反应性稳定化。

引言

无人机(UAVs)越来越多地被应用于监控、农业、灾难响应和航拍成像等领域 (Caballero-Martin et al., 2024)。虽然自主飞行研究取得了显著进展,但对更直观控制范式的需求也在增长,这导致对用于无人机操作的语音和自然语言处理(NLP)技术越来越感兴趣 (Yapicio?lu et al., 2021; Contreras et al., 2020; Javaid et al., 2024)。预定义命令集要求用户记忆固定语法,这限制了非专家的可用性 (Caballero-Martin et al., 2024; Contreras et al., 2020; Javaid et al., 2024)。相比之下,语音驱动的自然语言界面能够实现更灵活和直观的交互,允许操作员使用日常语言发出命令,而无需先前的技术知识 (Contreras et al., 2020; Park and Geng, 2023)。
尽管有其好处,基于自然语言的无人机控制由于语言歧义而面临挑战,其中相似的短语可能根据上下文暗示不同的动作 (Zhao et al., 2024)。当发出逻辑不一致的命令(如“降落,然后向前移动”)时,也可能出现执行顺序错误。此外,冲突命令(如同时指示向前移动和向后移动)需要仔细解决,以防止无人机出现意外行为 (Tellex et al., 2011; Saeed et al., 2022)。
大语言模型(LLMs)表现出强大的自然语言理解能力,并能将多样的用户表达转换为结构化表示 (Chalvatzaki et al., 2023; Liang et al., 2023)。然而,它们的输出在物理无人机系统中并不固有地安全或可执行。LLM 生成的命令可能包括不支持的动作、格式错误的图结构、缺失的前提条件、错误的执行顺序或幻觉动作。因此,当 LLMs 用于物理控制时,它们的输出必须被视为需要显式验证才能执行的候选命令结构,而不是直接执行器级控制信号。
为了解决这个问题,本研究提出了一个语音引导的无人机控制框架,将自然语言命令解释制定为安全约束的执行图生成和验证问题。该框架使用 LLM 从语音衍生的自然语言命令构建带类型的执行图。在生成的图中,飞行动作表示为节点,而顺序、并行和混合执行依赖关系表示为边。然后使用源自无人机控制基元、飞行状态转换约束、动作冲突关系和执行类型一致性规则的专家规则对每个图进行验证。有效的图映射到无人机控制 API,而不安全、模糊或结构无效的图被拒绝、修复或路由到澄清环节,以便在物理执行之前进行处理。
所提出的方法与直接的语言到动作控制不同,它在自然语言理解和无人机执行之间引入了一个显式的图级安全层。这种设计使系统能够在将任何命令调度到无人机平台之前,验证命令合法性、图无环性、飞行状态可行性、执行类型一致性和相互冲突的动作。在该层内,语言模型作为概率语义提议者,显式专家知识定义了可接受的动作、符号飞行状态转换、动作冲突和验证谓词,而确定性符号安全屏蔽提供执行授权。它还支持实际的缓解机制,包括验证器引导的图修复、数据辅助的辅助图风险验证以及云推理失败时的后备处理。
本研究的主要贡献总结如下。首先,我们将语音引导的无人机控制制定为具有显式时间、并行、冲突和符号飞行状态语义的知识接地带类型执行图生成。其次,我们将专家知识形式化为在编码规则集上具有健全执行授权的确定性符号安全屏蔽。第三,我们使用非大语言模型基线、统计测试、归一化图编辑距离、规则激活分析、消融和压力测试来评估图质量和验证行为。第四,我们通过有界修复、后备模拟、试点用户交互和室内物理执行来验证部署行为。

章节片段

相关工作

与此研究相关的先前研究可分为四个流:基于学习的无人机和机器人控制、基于语音的命令界面、基于大语言模型的具身规划以及安全关键控制的运行时候安全保证。表 1 总结了无人机控制、机器人控制、语音命令识别和基于学习的轨迹或路径规划的代表性研究。这些研究提供了技术背景

提出的方法

本文描述的框架整合了一个大语言模型(LLM)和一个领域特定规则集,将语音衍生的自然语言命令转换为用于无人机姿态控制的安全、结构化指令。所提出的安全约束语音引导无人机控制框架的整体架构如图 1 所示。如图 2 所示,系统首先接收用户语音并将其转录为文本,然后将其传递给 LLM。LLM 解释用户的

实验结果

所提出的基于 LLM 的无人机命令生成和执行系统已实施,通过结构和验证自然语言命令来启用语音驱动的无人机控制。如图 6 所示,系统由三个关键组件组成:语音输入、运行 LLM 进行命令处理的服务器以及用于执行的无人机控制器。口头命令被转录,结构化为无人机控制图,验证,然后执行以确保准确性和安全性。
为了评估系统

结论

本研究提出了一个可验证的神经符号框架,用于语音引导的无人机任务级控制。其核心贡献是分离了语义提议、显式专家知识和执行授权:一个语言模型生成一个候选执行图, 将图锚定在标准动作、符号飞行状态转换、接地要求和动作冲突关系上,而一个确定性符号安全屏蔽授权物理

CRediT 作者贡献声明

Seok-Hun Choi: 概念化,方法学,软件,验证,形式分析,调查,数据整理,可视化,写作 – 原稿,写作 – 审稿与编辑。Zeen-Chul Kim: 概念化,方法学,验证,调查,写作 – 审稿与编辑。Seok-Jun Buu: 概念化,方法学,监督,项目管理,资金获取,写作 – 审稿与编辑。

利益冲突声明

作者声明他们没有任何已知的竞争财务利益或个人关系可能影响本报告中所述的工作。

致谢

本工作得到了由韩国政府 (MSIT)资助的信息与通信技术规划与评估研究所(IITP)的资助 (IITP-2026-RS-2026-25617480, AI Star 奖学金支持计划),以及由中小企业部 (MSS, 韩国)资助的技术发展计划 (RS-2025-02220156)。
Seok-Hun Choi|Zeen-Chul Kim|Seok-Jun Buu
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号