自主执行中的漏洞:大语言模型驱动的智能体与多智能体系统的安全威胁与防御综述
《Knowledge-Based Systems》:Vulnerabilities in autonomous execution: A survey of security threats and defenses in LLM-driven agentic and multi-agent systems
【字体:
大
中
小
】
时间:2026年09月30日
来源:Knowledge-Based Systems 8.0
编辑推荐:
# 摘要
大型语言模型(LLMs)不再局限于生成文本。配备工具并被组织成多智能体系统后,它们现在可以在有限的人工监督下对世界采取行动。这种从生成到自主执行的转变改变了安全格局。对聊天机器人的提示注入最多只能得到一句尴尬的句子,而对使用工具的代理的同一注入可能导致数据库被窃取
# 摘要
大型语言模型(LLMs)不再局限于生成文本。配备工具并被组织成多智能体系统后,它们现在可以在有限的人工监督下对世界采取行动。这种从生成到自主执行的转变改变了安全格局。对聊天机器人的提示注入最多只能得到一句尴尬的句子,而对使用工具的代理的同一注入可能导致数据库被窃取、欺诈交易或中毒消息在智能体间传播。漏洞类别并不新鲜,但破坏范围却大得多。
本文综述了2023年至2026年初基于LLM的代理和多智能体系统的安全性,遵循预先指定的、基于PRISMA的评审协议,我们完整报告了该协议,以便语料库可以被复现和扩展。我们贡献了一个威胁分类法,按入口点、传播路径和目标资产对攻击进行分类,并明确陈述了这三个维度之间的条件依赖关系。利用该分类法,我们组织了四个威胁家族——间接提示注入、恶意工具使用、智能体间感染和记忆投毒——将44篇攻击论文整合为统一比较,并标注了报告的攻击成功率、配对任务效用和同行评审状态。我们审查了跨五个类别的防御格局(检测、结构隔离、执行隔离、信息流控制和对齐侧强化),根据操作定义的覆盖标准将防御映射到威胁,评估每个家族的自适应攻击抵抗力、部署成本和残余风险,以暴露覆盖差距。两个发现反复出现。第一,文献中没有任何纯提示层面的防御被报告能抵御自适应攻击者;有效的安全需要约束模型周围的系统被允许做什么,而不是依赖模型的鲁棒性。第二,多智能体传播——使代理沦陷比单模型沦陷在质量上更差的机制——是我们汇编的语料库中防御最薄弱的部分,几乎没有已部署的框架在协作智能体之间执行信任边界。我们以一个研究议程和一个代理框架的最简安全报告标准作为结论。
# 引言
在大型语言模型的大多数短暂历史中,其安全问题都受到输出通道的限制。一个模型如果可以被说服写一封钓鱼邮件,它只是产生了一个字符串;还需要人类来决定是否发送它。一个泄露了系统提示词的模型只是泄露了一段文字。攻击是真实的,披露也是尴尬的,但损害是间接的——每一步都有人在决定是否对文本采取行动。
这种中介正在被移除。自2023年以来,应用LLM研究中的主导架构模式是代理:一个被放置在循环中的模型,它观察环境、推理目标,并调用改变外部状态的工具[1], [2], [3], [4]。这些工具不限于沙盒。生产级代理读取和发送邮件、查询和写入生产数据库、执行shell命令、打开pull请求、浏览任意网站和转移资金。模型上下文协议[5]和类似接口使得将LLM连接到任意第三方服务变成了一项配置练习而非工程任务。而且,这些代理越来越多地不再孤立:AutoGen[6]、MetaGPT[7]和ChatDev[8]等框架将多个代理组合成系统,其中一个代理的输出成为下一个代理的输入——受信任的输入。
每项进展既是能力上的胜利,也是安全上的损失,而这些损失以安全文献缓慢刻画的方式复合。本综述正是关于这种复合效应。
LLM的根本脆弱性在于它不能、架构上也不可能可靠地区分指令和数据。模型看到的每个输入——开发者的系统提示、用户的请求、检索的文档、API响应、来自另一个代理的消息——都以单个上下文窗口中的标记形式到达,没有权限位来区分它们。Greshake等人[9]将后果命名为间接提示注入:如果攻击者控制了模型最终将读取的任何内容,攻击者就可以注入指令,模型将以合法主体的权限执行这些指令。我们将此攻击的技术发展及其使其危险的"致命三角"组合推迟到第2节背景:代理系统的解剖学和信任边界,以及第5节间接提示注入:承重的攻击,在那里可以针对明确的架构模型而非抽象地进行处理。
对本综述论证重要的是后果的变化。在聊天机器人中,间接提示注入是一个内容问题;在代理中它是一个权限问题,因为模型的权限不再是修辞性的——它是代理可以调用的所有工具的并集。没有执行漏洞利用,没有内存被破坏,没有CVE适用。系统完全按照设计执行,但代表的是错误的人。
多智能体组合将此从代理级别属性提升为系统性属性。当代理A将输出传递给代理B时,B通常将该输出视为受信任的——它来自系统内部——而注入了的、已攻陷A的有效载荷现在位于B的上下文中。Cohen等人[10]证明有效载荷可以变为自我复制,通过GenAI驱动的应用群体零点击传播;Lee和Tiwari[11]展示了单智能体系统内的相同效应;Gu等人[12]展示了通过一百万多模态代理群体的指数级扩散。这是质的突破:一个在单模型中产生一个坏输出的漏洞在多智能体系统中产生一场流行病。
三个论点促使在此时整合这一文献。
**文献已达到临界质量但未达到一致性。** 该领域约三年历史。2023年只有几篇论文[9], [13], [14], [15]。到2025年有数十篇攻击论文,至少五种不同的防御范式,以及不断增长的基准集合[16], [17], [18], [19], [20]。所缺少的是一套共享的威胁模型。论文在攻击者控制什么、什么算成功的攻击、以及防御者是否可以修改模型、脚手架或仅修改提示等方面意见不一致。两篇报告"攻击成功率"的论文经常测量的是不可比较的量。
**失败是架构性的,该领域才刚刚承认这一点。** 一个一致的规律,记录在第8节,是提示层面的防御失败了。分隔符、指令提醒、spotlighting[21]、困惑度过滤器[22]和检测分类器都降低了针对其设计攻击的攻击成功率,然后被自适应攻击者击败[17], [23]。经受住审查的防御——CaMeL[24]、IsolateGPT[25]、信息流控制方法[26], [27]——共享一个共同动作:它们停止试图使模型变得可信,转而构建一个系统,其中模型的不可信性被包含。这是最小权限原则[28]和对confused deputy[29]的答案,被重新发现——但LLM社区花了两年时间才到达这里,其对框架设计的含义尚未系统化。
**部署因此受阻。** 企业采用代理的障碍不是能力,而是无法陈述可辩护的安全态势。标准机构以分类法[30], [31], [32], [33]作为回应,但这些是从业者检查清单而非研究综合;它们列举风险却不将其映射到经验文献上哪些攻击实际有效、哪些防御实际有效。
已有几篇关于LLM和代理安全的综述出现,重要的是精确陈述本文增加了什么,而非泛泛地宣称新颖性。表1沿五个轴将本综述与最密切相关的先前工作进行比较:范围是否限制为具有行动通道的系统、评审协议是否可复现地报告、威胁组织是否是多维度而非扁平列表、防御是否在所述标准下映射到威胁、以及评估方法论本身是否被批判性地评估。
先前工作分为三组。可信度综述[34], [35]覆盖模型的对齐、公平性、鲁棒性和隐私,仅附带性地涉及代理性;其分析单位是模型而非部署系统。LLM攻击综述[36], [37]全面组织越狱和提示攻击但止于输出通道:以有害字符串结束的攻击是终结事件,而对我们来说它是前提条件。代理安全综述[38], [39], [40], [41], [42]是最接近的比较者,结构上是枚举式的:它们列出风险类别,将每个类别与代表性论文关联,并列出对策。它们作为地形地图有价值,我们已将其作为滚雪球法的种子。
我们的贡献与枚举正交,基于表1隔离的四个要点。(i) 可复现协议。我们报告了搜索字符串、数据库、日期界限、纳入标准、筛选计数和质量评价量表(第3节);我们比较的代理安全综述中没有一篇报告了足以重建其语料库的协议。(ii) 为防御选择而非描述设计的分类法。现有分类通常是一维的——按攻击技术[36]、系统组件[39]或生命周期阶段[40]。我们的三个维度被选择是因为每个对应一个不同的防御干预点(第4节),因此分类法回答"哪种防御可能阻止此攻击?"而非仅"这是什么类型的攻击?"。(iii) 证据分级的威胁-防御映射。我们不仅列出风险对策;我们按支持证据的强度对映射的每个单元格进行分级,区分包容性论证、经验性降低和启发式对齐,并单独评估自适应攻击抵抗力、部署成本和残余风险(第8节,表4,表5)。(iv) 对测量的批判。我们论证没有配对效用的攻击成功率是不可解释的,记录了配对缺失的频率(表3),并将批判转化为具体的报告标准(第11.7节)。据我们所知,没有先前的代理安全综述进行此分析。
我们还做了一个比较者未做的范围决定:我们故意排除模型级别的安全话题——内容审核、偏见、幻觉、对齐本身——除非它们与行动通道有关。这缩小了覆盖面且是一个局限(第3.6节),但它使得所纳入材料的处理是系统性的而非百科式的。
在范围声明之前的一个术语注记,因为原始提交的审稿人合理地问论文是关于哪一方面。我们使用"代理性"指LLM系统对环境行动的一般属性,无论是否有其他代理存在,使用"多智能体"指几个此类系统组合在一起的特殊情况。标题现在同时命名两者因为语料库确实如此:44篇攻击论文在表2中按目标标注,其中9篇专门针对多智能体系统(第7节),其余35篇涉及单代理。这不是范围漂移。每个多智能体攻击实例在接受端代理也是一个单代理沦陷(约束(D2),第4.2节:在同伴代理处的入口E?4蕴含智能体到智能体的路径P?3,但有效载荷仍必须击败该代理自身的指令/数据边界才能在那里生效)。因此单代理材料是多智能体传播所构建的机制,而非为覆盖面而捆绑的独立主题,第4.4节明确陈述了这种组合。
我们综述基于LLM的系统的安全性:这些系统中模型输出在没有人工批准每一步的情况下连接到改变外部状态的工具。这个范围决定是将本综述与更广泛的LLM安全和越狱文献区分开来的关键。越狱[43], [44], [45]仅在它们是代理目的的达成手段时才在范围内——当打破拒绝训练是让攻击者武器化工具的步骤时——我们并不试图综述对齐或内容审核本身。
反过来,我们也纳入了一些完全不涉及越狱的攻击,因为在智能体场景下,攻击者往往并不需要越狱:一个被注入的字符串指示去发送电子邮件附件的智能体,并没有被要求做任何其安全训练所认定为有害的事情。我们的贡献如下:
1. **一套可复现的综述流程(第3节)**:完整的检索字符串、数据库、日期范围、三阶段筛选及报告数量、质量评估量规,以及对语料库按同行评审状态进行显式分层,使得随着文献的增长,该语料库可以被审计和重新运行。
2. **一个三维威胁分类法(入口点 × 传播路径 × 目标资产)**,在同一个框架内容纳单智能体和多智能体攻击(第4节,图3),并附有一个对这些维度间依赖结构的显式分析:它们并非相互独立,我们刻画了可接受的组合以及它们之间存在的条件约束(第4.2节)。
3. **对44篇攻击论文的综合比较(表2)**,记录了威胁类别、注入向量、假设的攻击者能力、目标和评估设置,以及一个配套的证据表(表3),记录了报告的攻击成功率、配对良性任务效用、评估的模型规模、工具集和评估环境——未报告的数量明确标注为"未报告",这本身就是综述的发现之一。
4. **一张防御对威胁的覆盖图(表4)**,涵盖五个防御族,采用操作性定义的、基于证据分级的覆盖标准(第8.1节),以及一项关于实际有效性、对抗性攻击抵抗力、部署成本和残余风险的比较评估(表5),以定位该领域的盲区。
5. **对智能体安全评估的批判性审视(第9节)**,包括这样一个论点:在没有配对效用测量的情况下报告的攻击成功率是不可解释的,因为最平凡的防御——断开工具连接——可以拿到完美的分数。
6. **一个研究议程和一套最低安全报告标准(第10–11节)**,面向提出新智能体框架的作者,包括具体的基准规范、可复现性协议,以及将该综述作为活态文档进行维护的流程。
本综述围绕五个研究问题展开:
- **RQ0.** 关于工具使用和多智能体LLM系统安全性的文献有哪些?通过什么可复现的协议可以界定其范围?(第3节)
- **RQ1.** 工具使用智能体的攻击面是什么?在多智能体组合下它如何变化?(第2节 背景:智能体系统的解剖结构与信任边界,第4节 智能体威胁分类法)
- **RQ2.** 哪些攻击已被证明可以对智能体系统生效?在什么威胁模型下?具有什么实证成功率?(第5–7节)
- **RQ3.** 提出了哪些防御?它们实际保证了什么?部署成本如何?哪些能经受住自适应攻击?(第8节)
- **RQ4.** 智能体安全是如何测量的?这些测量是否具有可比性?(第9节)
本文其余部分组织如下。第2节确定智能体系统的架构模型并推导其信任边界。第3节陈述综述方法论。第4节呈现分类法及其依赖结构。第5、6、7节综述攻击。第8节综述防御并呈现覆盖图。第9节考察评估实践。第10节"开放问题"和第11节"研究议程"讨论开放问题和研究议程;第12节总结全文。
## 章节摘要
### 背景:智能体系统的解剖结构与信任边界
要推理攻击面,我们需要一个对目标系统的模型。本节确定这样一个模型,并识别信任被授予的位置以及信任被违反的位置。
### 综述方法论
本节陈述语料库的组装协议,使综述可以被审计、复现和扩展。我们遵循PRISMA 2020结构进行报告,但针对计算机科学的出版物进行了改编:我们报告信息源、完整的检索字符串、日期范围、纳入和排除标准、各阶段的筛选流程及数量、质量评估量规,以及对综述本身效度的威胁。该协议在……之前就已固定。
### 智能体威胁分类法
从业者分类法将威胁枚举为扁平列表[30],[31]。这对合规有用,但对防御选择无用,因为它没有提供推理结构来判断哪个防御可能阻止哪个攻击。我们提出一个三维分类法作为替代。各维度的选择使得每个维度都对应一个防御可以插入的位置。
### 间接提示注入:承重性攻击
提示注入是整个智能体威胁景观的根源漏洞,而间接提示注入——对抗性指令通过模型检索的数据而非用户自己的消息到达模型——是对于智能体最为重要的形式。本节简要综述直接注入,深入讨论间接注入作为核心威胁,并覆盖越狱被用作智能体行为使能步骤的特殊情况。
### 恶意工具使用和过度代理性
如果提示注入是攻击者获取以智能体之声发言的途径,那么工具使用就是这种声音所能实现的事情。本节综述来自行动通道的特有威胁:跨工具的权限组合、对抗性工具生态系统、混淆代理配置,以及单个工具调用无法揭示的有害行为的涌现。
### 多智能体威胁:传播、泄漏和投毒
前两节的威胁适用于单个智能体。本节涵盖智能体组合时出现的新内容:智能体间的传递性信任(第2节中的边界3)将局部妥协转化为系统性问题,并增加了失败模式——传播、智能体间泄漏、投毒的协作、持续性污染——这些在单智能体中没有对应物。我们认为这是整个威胁景观中最危险也最缺乏防御的部分。
### 防御
我们将防御文献分为五个族,按其作用的分类法维度排序,且不出所料地,也按它们经受自适应攻击的能力排序。本节的组织性主张,贯穿全文予以支持,即:随着防御从在入口点过滤内容转向约束周围系统中的权限,鲁棒性增加——从试图让模型安全转向让模型的不安全无害化。
### 智能体安全如何测量
防御文献的可信度取决于验证它的那些评估。本节综述用于测量智能体安全的基准、它们报告的指标,以及目前使跨论文比较不合理的根本问题。
### 开放问题
我们归纳前述各节暴露出的交叉性问题。每个问题都表述为对文献目前无法做到之事的论断。
- **P1:** 没有统一的威胁模型,因此结果无法组合。各论文对攻击者控制什么、什么算作成功、防御者可以修改什么存在分歧(第9节)。后果是该领域无法聚合:无法从"防御D将ASR降低了80%"和"攻击A取得了60%的ASR"中得出任何关于D的结论。
### 研究议程
我们将开放问题转化为方向,按我们判断的期望价值排序。
### 结论
LLM智能体的安全问题不是一个新漏洞类别;它是一个老问题——无法将指令与数据分离,以及由此导致的混淆代理——被两项进展赋予了大得多的爆炸半径:模型连接到真实工具,以及模型组合成相互信任彼此输出的系统。一次针对聊天机器人的注入产生一个糟糕的句子,针对工具使用智能体的注入产生一个以用户权限执行的未授权操作,而……
### 关于生成式AI和AI辅助技术在写作过程中的使用声明
在本工作准备过程中,作者使用了Claude Opus 5和Claude Fable 5.1(Anthropic)以改善手稿的语言和可读性并协助LaTeX格式编排。使用此工具后,作者根据需要对内容进行了审阅和编辑,并对出版物的内容承担全部责任。
### 利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系,这些可能会影响本论文中报告的工作。
**Vincenzo Sammartino**
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号