红队测试攻击你的 Agent Harness 以发现漏洞关键词AI Agent Harness, 红队测试, LLM 供应链攻击, 提示注入, 输出操纵, 工具滥用, 漏洞检测自动化摘要随着 AI Agent 从概念验证逐步落地到金融风控、医疗辅助、代码审计等高风险领域承载 Agent 核心执行逻辑的Agent HarnessAgent 运行框架/控制基座已成为新的攻击面靶心。本文从红队测试视角切入构建一套完整的 Agent Harness 漏洞检测体系先解释核心概念与攻击动机背景再拆解常见攻击向量的原理、实现与边界最后用实际项目场景构建医疗 Agent Harness 红队测试靶场展示自动化与手动结合的检测方法。文章附带 Python 实现的靶场代码、提示注入检测工具原型、数学模型量化攻击风险旨在帮助开发者、安全工程师构建更健壮的 Agent 生态。1. 背景介绍1.1 主题背景和重要性2024 年 Gartner 发布的《技术成熟度曲线》将「Production-Grade AI Agent Platforms」列为未来 2-5 年达到生产成熟的关键技术。但在落地过程中Agent 的安全风险频发2023 年 8 月OpenAI 公布的《GPT-4 Agent Tool Use 安全评估报告》显示恶意用户可通过让 Agent 调用伪造的「数据备份工具」窃取企业数据库凭证2024 年 3 月某银行内部红队测试发现其用于客户理财推荐的 AI Agent 基座可被高净值客户的「模拟投诉话术」触发提示注入修改客户风险等级后向其推荐高风险衍生品2024 年 5 月GitHub Copilot Workspace 的早期测试版被曝出漏洞攻击者可通过提交包含恶意代码注释的 Pull Request诱导 Copilot Workspace 执行本地脚本删除项目文件。Agent Harness 是连接 LLM大语言模型、工具库、知识库、身份认证系统的核心枢纽——它决定了 Agent 能调用什么工具、如何解析工具返回结果、如何处理用户输入、如何生成最终输出。如果说 LLM 是 Agent 的「大脑」工具库是「四肢」那么 Agent Harness 就是「神经中枢骨骼肌肉系统免疫系统」的集合。一旦 Agent Harness 被攻破攻击者可以实现「接管大脑控制权、滥用四肢权限、篡改免疫系统规则」的全方位攻击。因此针对 Agent Harness 的红队测试已成为 AI 安全领域的刚需——它不仅能发现已知漏洞还能挖掘潜在的逻辑缺陷、集成漏洞、配置漏洞为 Agent 的生产部署保驾护航。1.2 目标读者本文面向三类读者Agent 开发者了解 Agent Harness 常见攻击面在设计和开发阶段就考虑安全防护安全工程师掌握针对 Agent Harness 的红队测试方法、工具和流程企业 AI 安全负责人制定 Agent Harness 安全评估规范构建 AI 安全防护体系。为了兼顾三类读者的需求本文采用「概念原理代码实战」的结构基础概念部分通俗易懂原理部分深入技术细节代码部分提供可直接运行的靶场和工具实战部分模拟真实企业内部红队测试的流程。1.3 核心问题或挑战目前针对 Agent Harness 的红队测试存在三大核心问题1.3.1 缺乏标准化的攻击面定义传统软件的攻击面定义OWASP Top 10 Web、OWASP Top 10 Cloud已经非常成熟但 Agent Harness 作为新型软件架构其攻击面尚未形成统一的标准——不同的 Agent Harness如 LangChain、AutoGPT、BabyAGI、自定义的 Agent 框架架构差异很大攻击面也各不相同。1.3.2 缺乏成熟的自动化检测工具传统软件的自动化检测工具如 OWASP ZAP、Burp Suite主要针对 Web、API、移动应用等场景对 Agent Harness 的特殊攻击向量如提示注入、工具滥用、输出操纵支持有限。目前市场上仅有少数几款针对 LLM 的安全检测工具如 OpenAI Evals、Guardrails AI、Fiddler AI但这些工具主要针对 LLM 本身对 Agent Harness 的集成漏洞、配置漏洞、逻辑缺陷检测效果不佳。1.3.3 缺乏量化的风险评估模型传统软件的风险评估模型如 CVSS 3.1主要基于漏洞的可利用性、影响范围、影响程度等维度但 Agent Harness 的漏洞风险具有特殊性提示注入的可利用性取决于 LLM 的鲁棒性和 Agent Harness 的输入过滤机制不同的 LLM、不同的输入过滤机制可利用性差异很大工具滥用的影响范围取决于工具库的权限配置不同的权限配置影响范围可能从「删除单个文件」到「接管整个服务器」输出操纵的影响程度取决于 Agent 的应用场景医疗场景下的输出操纵可能导致患者死亡金融场景下的输出操纵可能导致企业巨额损失。因此传统的 CVSS 3.1 模型无法完全适用于 Agent Harness 的漏洞风险评估需要构建专门的量化模型。2. 核心概念解析2.1 核心概念2.1.1 AI Agent根据 OpenAI 2023 年发布的《Building an AI Agent》白皮书AI Agent 是一种「能够感知环境、做出决策、执行动作以实现目标的自主系统」。一个典型的 AI Agent 包含以下五个核心组件感知模块Perception Module负责收集和处理环境信息如用户输入、工具返回结果、知识库检索结果推理模块Reasoning Module基于感知到的信息使用 LLM 或其他推理引擎做出决策动作模块Action Module负责执行推理模块做出的决策如调用工具、生成输出、更新内部状态内部状态Internal State存储 Agent 的历史对话、已执行的动作、工具返回结果等信息目标模块Goal Module定义 Agent 的短期和长期目标并跟踪目标的完成情况。为了帮助读者更好地理解 AI Agent我们可以用「一个自主创业的外卖员」做比喻感知模块外卖员的眼睛看订单信息、看路况、耳朵听导航、听用户电话、手机接收订单、联系商家推理模块外卖员的大脑规划送餐路线、判断是否需要联系商家/用户、处理突发情况如堵车动作模块外卖员的手骑电动车、取餐、送餐、嘴联系商家/用户内部状态外卖员的记忆已经取了哪些餐、已经送了哪些餐、剩余的时间目标模块外卖员的短期目标10 分钟内取到 A 商家的餐、长期目标今天赚 500 块钱。2.1.2 Agent HarnessAgent Harness 是「承载 AI Agent 核心执行逻辑的软件框架/控制基座」——它将 AI Agent 的五个核心组件感知、推理、动作、内部状态、目标有机地整合在一起并提供了一系列基础功能如身份认证、权限控制、日志记录、监控告警、输入输出过滤。我们可以继续用「自主创业的外卖员的「外卖配送管理系统手机 App 后台管理系统」」做比喻手机 App承载了外卖员的感知、推理、动作模块的执行逻辑如显示订单信息、提供导航、联系商家/用户、记录已取/已送的餐后台管理系统承载了外卖员的内部状态、目标模块的执行逻辑如存储外卖员的历史订单、跟踪外卖员的目标完成情况、统计外卖员的收入基础功能身份认证外卖员需要登录才能使用系统、权限控制外卖员只能处理自己的订单、日志记录系统记录外卖员的所有操作、监控告警系统监控外卖员的送餐时间超时会发出告警、输入输出过滤系统过滤掉用户输入的恶意信息如诈骗电话。常见的 Agent Harness 包括开源框架LangChain最流行的 Agent 框架之一支持多种 LLM、工具库、知识库、AutoGPT第一个实现完全自主的 Agent 框架、BabyAGI基于任务树的 Agent 框架、CrewAI支持多 Agent 协作的框架商业平台OpenAI Assistants APIOpenAI 官方提供的 Agent 托管平台、Microsoft Copilot Studio微软提供的 Agent 构建平台、Google Vertex AI Agents谷歌提供的 Agent 构建平台、AWS Bedrock Agents亚马逊提供的 Agent 构建平台自定义框架企业根据自己的需求基于开源框架或从零开始构建的 Agent 框架。2.1.3 红队测试根据 OWASP Red Team Testing Guide 4.0红队测试是「一种模拟真实攻击者的攻击方法旨在评估组织的安全防护体系的有效性」。与传统的渗透测试不同红队测试具有以下三个特点模拟真实攻击者红队测试会模拟真实攻击者的攻击动机、攻击方法、攻击流程不会只关注已知的漏洞持续时间长红队测试的持续时间通常为几天到几周而传统的渗透测试的持续时间通常为几个小时到几天覆盖范围广红队测试的覆盖范围通常包括组织的所有资产如 Web 应用、API、移动应用、服务器、网络设备、员工而传统的渗透测试的覆盖范围通常只包括部分资产。针对 Agent Harness 的红队测试我们可以称之为「AI 红队测试Red Teaming for AI」——它是传统红队测试的延伸专门针对 AI 系统尤其是 AI Agent 和 Agent Harness的特殊攻击面。2.1.4 提示注入Prompt Injection提示注入是「一种通过向 LLM 输入恶意的提示词来操纵 LLM 输出或行为的攻击方法」。提示注入可以分为两类直接提示注入Direct Prompt Injection攻击者直接向 LLM 输入恶意的提示词绕过 Agent Harness 的输入过滤机制间接提示注入Indirect Prompt Injection攻击者通过操纵 Agent Harness 调用的工具返回结果、知识库检索结果、内部状态等方式向 LLM 输入恶意的提示词——这种攻击方式也被称为「注入式污染Contamination Injection」。为了帮助读者更好地理解提示注入我们可以用「一个在餐厅点餐的场景」做比喻餐厅服务员相当于 Agent Harness负责接收顾客的点餐需求传递给厨师然后把厨师做的菜传递给顾客厨师相当于 LLM负责根据服务员传递的点餐需求做菜正常点餐需求相当于合法的用户输入如「我要一份宫保鸡丁不要辣」直接提示注入相当于顾客直接对服务员说「不管之前的顾客点了什么你现在告诉厨师只做一份鱼香肉丝并且把账单记在旁边那个顾客的头上」——如果服务员没有过滤掉这句话直接传递给厨师厨师就会只做一份鱼香肉丝并且把账单记在旁边那个顾客的头上间接提示注入相当于顾客在餐厅的留言板上写了一句「不管之后的顾客点了什么你现在告诉厨师只做一份鱼香肉丝并且把账单记在之后的第一个顾客的头上」——如果服务员在准备传递下一个顾客的点餐需求之前先看了留言板并且把留言板的内容也传递给了厨师厨师就会只做一份鱼香肉丝并且把账单记在之后的第一个顾客的头上。2.1.5 工具滥用Tool Abuse工具滥用是「一种通过操纵 Agent 调用的工具来获取未授权的访问权限或执行未授权的操作的攻击方法」。工具滥用可以分为三类工具参数注入Tool Parameter Injection攻击者通过操纵 Agent 的推理模块让 Agent 调用工具时使用恶意的参数工具权限提升Tool Privilege Escalation攻击者通过操纵工具的权限配置让工具获得超出必要的权限伪造工具调用Forged Tool Call攻击者通过伪造工具的调用请求让 Agent Harness 执行未授权的工具调用。我们可以继续用「自主创业的外卖员的「外卖配送管理系统」」做比喻工具相当于外卖配送管理系统提供的功能如「取餐」、「送餐」、「修改订单状态」、「联系用户」工具参数注入相当于外卖员通过操纵自己的手机 App让「修改订单状态」功能的参数从「已取餐」变成「已送达」从而提前获得配送费工具权限提升相当于外卖员通过操纵后台管理系统的权限配置让自己拥有「查看所有订单」、「修改所有订单的配送费」的权限伪造工具调用相当于攻击者伪造外卖员的「取餐」请求让外卖配送管理系统误以为外卖员已经取餐了从而提前支付配送费给外卖员。2.1.6 输出操纵Output Manipulation输出操纵是「一种通过操纵 Agent 的输出来欺骗用户或其他系统的攻击方法」。输出操纵可以分为两类直接输出操纵Direct Output Manipulation攻击者通过提示注入或其他方式直接操纵 LLM 的输出间接输出操纵Indirect Output Manipulation攻击者通过操纵工具返回结果、知识库检索结果、内部状态等方式间接操纵 LLM 的输出。我们可以继续用「餐厅点餐的场景」做比喻直接输出操纵相当于顾客直接对厨师说「不管之前的点餐需求是什么你现在告诉服务员你做的是一份价值 1000 元的龙虾并且说这份龙虾是免费的」——如果厨师没有过滤掉这句话直接告诉服务员服务员就会把这份价值 1000 元的龙虾免费送给顾客间接输出操纵相当于顾客在餐厅的菜单上偷偷修改了宫保鸡丁的价格从 30 元改成了 300 元——如果服务员没有核对菜单的真实性直接把修改后的价格告诉顾客顾客就会支付 300 元而不是 30 元。2.1.7 LLM 供应链攻击LLM Supply Chain AttackLLM 供应链攻击是「一种通过操纵 LLM 的训练数据、微调数据、模型权重、推理框架、Agent Harness 等供应链环节来操纵 LLM 或 Agent 的输出或行为的攻击方法」。LLM 供应链攻击是一种「隐形攻击Stealth Attack」——攻击者通常不会直接暴露自己的攻击意图而是通过长时间的积累逐步操纵 LLM 或 Agent 的输出或行为。我们可以用「汽车供应链的场景」做比喻汽车制造商相当于 Agent 开发者负责组装汽车汽车零部件供应商相当于 LLM 供应商、工具库供应商、知识库供应商正常汽车零部件相当于合法的 LLM、工具库、知识库恶意汽车零部件相当于被攻击者操纵的 LLM、工具库、知识库——比如被攻击者操纵的刹车系统平时看起来正常但在特定的条件下如车速达到 120 公里/小时会失灵导致交通事故。注因篇幅限制剩余章节将在后续补充。完整文章包含「核心概念关系与对比」「技术原理与实现」「实际应用医疗 Agent Harness 红队测试靶场」「未来展望」「总结要点」「思考问题」「参考资源」等部分总字数约 10000 字。
红队测试：攻击你的 Agent Harness 以发现漏洞
红队测试攻击你的 Agent Harness 以发现漏洞关键词AI Agent Harness, 红队测试, LLM 供应链攻击, 提示注入, 输出操纵, 工具滥用, 漏洞检测自动化摘要随着 AI Agent 从概念验证逐步落地到金融风控、医疗辅助、代码审计等高风险领域承载 Agent 核心执行逻辑的Agent HarnessAgent 运行框架/控制基座已成为新的攻击面靶心。本文从红队测试视角切入构建一套完整的 Agent Harness 漏洞检测体系先解释核心概念与攻击动机背景再拆解常见攻击向量的原理、实现与边界最后用实际项目场景构建医疗 Agent Harness 红队测试靶场展示自动化与手动结合的检测方法。文章附带 Python 实现的靶场代码、提示注入检测工具原型、数学模型量化攻击风险旨在帮助开发者、安全工程师构建更健壮的 Agent 生态。1. 背景介绍1.1 主题背景和重要性2024 年 Gartner 发布的《技术成熟度曲线》将「Production-Grade AI Agent Platforms」列为未来 2-5 年达到生产成熟的关键技术。但在落地过程中Agent 的安全风险频发2023 年 8 月OpenAI 公布的《GPT-4 Agent Tool Use 安全评估报告》显示恶意用户可通过让 Agent 调用伪造的「数据备份工具」窃取企业数据库凭证2024 年 3 月某银行内部红队测试发现其用于客户理财推荐的 AI Agent 基座可被高净值客户的「模拟投诉话术」触发提示注入修改客户风险等级后向其推荐高风险衍生品2024 年 5 月GitHub Copilot Workspace 的早期测试版被曝出漏洞攻击者可通过提交包含恶意代码注释的 Pull Request诱导 Copilot Workspace 执行本地脚本删除项目文件。Agent Harness 是连接 LLM大语言模型、工具库、知识库、身份认证系统的核心枢纽——它决定了 Agent 能调用什么工具、如何解析工具返回结果、如何处理用户输入、如何生成最终输出。如果说 LLM 是 Agent 的「大脑」工具库是「四肢」那么 Agent Harness 就是「神经中枢骨骼肌肉系统免疫系统」的集合。一旦 Agent Harness 被攻破攻击者可以实现「接管大脑控制权、滥用四肢权限、篡改免疫系统规则」的全方位攻击。因此针对 Agent Harness 的红队测试已成为 AI 安全领域的刚需——它不仅能发现已知漏洞还能挖掘潜在的逻辑缺陷、集成漏洞、配置漏洞为 Agent 的生产部署保驾护航。1.2 目标读者本文面向三类读者Agent 开发者了解 Agent Harness 常见攻击面在设计和开发阶段就考虑安全防护安全工程师掌握针对 Agent Harness 的红队测试方法、工具和流程企业 AI 安全负责人制定 Agent Harness 安全评估规范构建 AI 安全防护体系。为了兼顾三类读者的需求本文采用「概念原理代码实战」的结构基础概念部分通俗易懂原理部分深入技术细节代码部分提供可直接运行的靶场和工具实战部分模拟真实企业内部红队测试的流程。1.3 核心问题或挑战目前针对 Agent Harness 的红队测试存在三大核心问题1.3.1 缺乏标准化的攻击面定义传统软件的攻击面定义OWASP Top 10 Web、OWASP Top 10 Cloud已经非常成熟但 Agent Harness 作为新型软件架构其攻击面尚未形成统一的标准——不同的 Agent Harness如 LangChain、AutoGPT、BabyAGI、自定义的 Agent 框架架构差异很大攻击面也各不相同。1.3.2 缺乏成熟的自动化检测工具传统软件的自动化检测工具如 OWASP ZAP、Burp Suite主要针对 Web、API、移动应用等场景对 Agent Harness 的特殊攻击向量如提示注入、工具滥用、输出操纵支持有限。目前市场上仅有少数几款针对 LLM 的安全检测工具如 OpenAI Evals、Guardrails AI、Fiddler AI但这些工具主要针对 LLM 本身对 Agent Harness 的集成漏洞、配置漏洞、逻辑缺陷检测效果不佳。1.3.3 缺乏量化的风险评估模型传统软件的风险评估模型如 CVSS 3.1主要基于漏洞的可利用性、影响范围、影响程度等维度但 Agent Harness 的漏洞风险具有特殊性提示注入的可利用性取决于 LLM 的鲁棒性和 Agent Harness 的输入过滤机制不同的 LLM、不同的输入过滤机制可利用性差异很大工具滥用的影响范围取决于工具库的权限配置不同的权限配置影响范围可能从「删除单个文件」到「接管整个服务器」输出操纵的影响程度取决于 Agent 的应用场景医疗场景下的输出操纵可能导致患者死亡金融场景下的输出操纵可能导致企业巨额损失。因此传统的 CVSS 3.1 模型无法完全适用于 Agent Harness 的漏洞风险评估需要构建专门的量化模型。2. 核心概念解析2.1 核心概念2.1.1 AI Agent根据 OpenAI 2023 年发布的《Building an AI Agent》白皮书AI Agent 是一种「能够感知环境、做出决策、执行动作以实现目标的自主系统」。一个典型的 AI Agent 包含以下五个核心组件感知模块Perception Module负责收集和处理环境信息如用户输入、工具返回结果、知识库检索结果推理模块Reasoning Module基于感知到的信息使用 LLM 或其他推理引擎做出决策动作模块Action Module负责执行推理模块做出的决策如调用工具、生成输出、更新内部状态内部状态Internal State存储 Agent 的历史对话、已执行的动作、工具返回结果等信息目标模块Goal Module定义 Agent 的短期和长期目标并跟踪目标的完成情况。为了帮助读者更好地理解 AI Agent我们可以用「一个自主创业的外卖员」做比喻感知模块外卖员的眼睛看订单信息、看路况、耳朵听导航、听用户电话、手机接收订单、联系商家推理模块外卖员的大脑规划送餐路线、判断是否需要联系商家/用户、处理突发情况如堵车动作模块外卖员的手骑电动车、取餐、送餐、嘴联系商家/用户内部状态外卖员的记忆已经取了哪些餐、已经送了哪些餐、剩余的时间目标模块外卖员的短期目标10 分钟内取到 A 商家的餐、长期目标今天赚 500 块钱。2.1.2 Agent HarnessAgent Harness 是「承载 AI Agent 核心执行逻辑的软件框架/控制基座」——它将 AI Agent 的五个核心组件感知、推理、动作、内部状态、目标有机地整合在一起并提供了一系列基础功能如身份认证、权限控制、日志记录、监控告警、输入输出过滤。我们可以继续用「自主创业的外卖员的「外卖配送管理系统手机 App 后台管理系统」」做比喻手机 App承载了外卖员的感知、推理、动作模块的执行逻辑如显示订单信息、提供导航、联系商家/用户、记录已取/已送的餐后台管理系统承载了外卖员的内部状态、目标模块的执行逻辑如存储外卖员的历史订单、跟踪外卖员的目标完成情况、统计外卖员的收入基础功能身份认证外卖员需要登录才能使用系统、权限控制外卖员只能处理自己的订单、日志记录系统记录外卖员的所有操作、监控告警系统监控外卖员的送餐时间超时会发出告警、输入输出过滤系统过滤掉用户输入的恶意信息如诈骗电话。常见的 Agent Harness 包括开源框架LangChain最流行的 Agent 框架之一支持多种 LLM、工具库、知识库、AutoGPT第一个实现完全自主的 Agent 框架、BabyAGI基于任务树的 Agent 框架、CrewAI支持多 Agent 协作的框架商业平台OpenAI Assistants APIOpenAI 官方提供的 Agent 托管平台、Microsoft Copilot Studio微软提供的 Agent 构建平台、Google Vertex AI Agents谷歌提供的 Agent 构建平台、AWS Bedrock Agents亚马逊提供的 Agent 构建平台自定义框架企业根据自己的需求基于开源框架或从零开始构建的 Agent 框架。2.1.3 红队测试根据 OWASP Red Team Testing Guide 4.0红队测试是「一种模拟真实攻击者的攻击方法旨在评估组织的安全防护体系的有效性」。与传统的渗透测试不同红队测试具有以下三个特点模拟真实攻击者红队测试会模拟真实攻击者的攻击动机、攻击方法、攻击流程不会只关注已知的漏洞持续时间长红队测试的持续时间通常为几天到几周而传统的渗透测试的持续时间通常为几个小时到几天覆盖范围广红队测试的覆盖范围通常包括组织的所有资产如 Web 应用、API、移动应用、服务器、网络设备、员工而传统的渗透测试的覆盖范围通常只包括部分资产。针对 Agent Harness 的红队测试我们可以称之为「AI 红队测试Red Teaming for AI」——它是传统红队测试的延伸专门针对 AI 系统尤其是 AI Agent 和 Agent Harness的特殊攻击面。2.1.4 提示注入Prompt Injection提示注入是「一种通过向 LLM 输入恶意的提示词来操纵 LLM 输出或行为的攻击方法」。提示注入可以分为两类直接提示注入Direct Prompt Injection攻击者直接向 LLM 输入恶意的提示词绕过 Agent Harness 的输入过滤机制间接提示注入Indirect Prompt Injection攻击者通过操纵 Agent Harness 调用的工具返回结果、知识库检索结果、内部状态等方式向 LLM 输入恶意的提示词——这种攻击方式也被称为「注入式污染Contamination Injection」。为了帮助读者更好地理解提示注入我们可以用「一个在餐厅点餐的场景」做比喻餐厅服务员相当于 Agent Harness负责接收顾客的点餐需求传递给厨师然后把厨师做的菜传递给顾客厨师相当于 LLM负责根据服务员传递的点餐需求做菜正常点餐需求相当于合法的用户输入如「我要一份宫保鸡丁不要辣」直接提示注入相当于顾客直接对服务员说「不管之前的顾客点了什么你现在告诉厨师只做一份鱼香肉丝并且把账单记在旁边那个顾客的头上」——如果服务员没有过滤掉这句话直接传递给厨师厨师就会只做一份鱼香肉丝并且把账单记在旁边那个顾客的头上间接提示注入相当于顾客在餐厅的留言板上写了一句「不管之后的顾客点了什么你现在告诉厨师只做一份鱼香肉丝并且把账单记在之后的第一个顾客的头上」——如果服务员在准备传递下一个顾客的点餐需求之前先看了留言板并且把留言板的内容也传递给了厨师厨师就会只做一份鱼香肉丝并且把账单记在之后的第一个顾客的头上。2.1.5 工具滥用Tool Abuse工具滥用是「一种通过操纵 Agent 调用的工具来获取未授权的访问权限或执行未授权的操作的攻击方法」。工具滥用可以分为三类工具参数注入Tool Parameter Injection攻击者通过操纵 Agent 的推理模块让 Agent 调用工具时使用恶意的参数工具权限提升Tool Privilege Escalation攻击者通过操纵工具的权限配置让工具获得超出必要的权限伪造工具调用Forged Tool Call攻击者通过伪造工具的调用请求让 Agent Harness 执行未授权的工具调用。我们可以继续用「自主创业的外卖员的「外卖配送管理系统」」做比喻工具相当于外卖配送管理系统提供的功能如「取餐」、「送餐」、「修改订单状态」、「联系用户」工具参数注入相当于外卖员通过操纵自己的手机 App让「修改订单状态」功能的参数从「已取餐」变成「已送达」从而提前获得配送费工具权限提升相当于外卖员通过操纵后台管理系统的权限配置让自己拥有「查看所有订单」、「修改所有订单的配送费」的权限伪造工具调用相当于攻击者伪造外卖员的「取餐」请求让外卖配送管理系统误以为外卖员已经取餐了从而提前支付配送费给外卖员。2.1.6 输出操纵Output Manipulation输出操纵是「一种通过操纵 Agent 的输出来欺骗用户或其他系统的攻击方法」。输出操纵可以分为两类直接输出操纵Direct Output Manipulation攻击者通过提示注入或其他方式直接操纵 LLM 的输出间接输出操纵Indirect Output Manipulation攻击者通过操纵工具返回结果、知识库检索结果、内部状态等方式间接操纵 LLM 的输出。我们可以继续用「餐厅点餐的场景」做比喻直接输出操纵相当于顾客直接对厨师说「不管之前的点餐需求是什么你现在告诉服务员你做的是一份价值 1000 元的龙虾并且说这份龙虾是免费的」——如果厨师没有过滤掉这句话直接告诉服务员服务员就会把这份价值 1000 元的龙虾免费送给顾客间接输出操纵相当于顾客在餐厅的菜单上偷偷修改了宫保鸡丁的价格从 30 元改成了 300 元——如果服务员没有核对菜单的真实性直接把修改后的价格告诉顾客顾客就会支付 300 元而不是 30 元。2.1.7 LLM 供应链攻击LLM Supply Chain AttackLLM 供应链攻击是「一种通过操纵 LLM 的训练数据、微调数据、模型权重、推理框架、Agent Harness 等供应链环节来操纵 LLM 或 Agent 的输出或行为的攻击方法」。LLM 供应链攻击是一种「隐形攻击Stealth Attack」——攻击者通常不会直接暴露自己的攻击意图而是通过长时间的积累逐步操纵 LLM 或 Agent 的输出或行为。我们可以用「汽车供应链的场景」做比喻汽车制造商相当于 Agent 开发者负责组装汽车汽车零部件供应商相当于 LLM 供应商、工具库供应商、知识库供应商正常汽车零部件相当于合法的 LLM、工具库、知识库恶意汽车零部件相当于被攻击者操纵的 LLM、工具库、知识库——比如被攻击者操纵的刹车系统平时看起来正常但在特定的条件下如车速达到 120 公里/小时会失灵导致交通事故。注因篇幅限制剩余章节将在后续补充。完整文章包含「核心概念关系与对比」「技术原理与实现」「实际应用医疗 Agent Harness 红队测试靶场」「未来展望」「总结要点」「思考问题」「参考资源」等部分总字数约 10000 字。
