微软开源 Rampart 和 Clarity：将 AI 安全检查提前到智能体开发周期！

微软开源两款新工具助力智能体开发安全为保障智能体开发全生命周期的安全微软开源了两款新工具图片来源为 Shutterstock。这两款名为 Rampart 和 Clarity 的工具于本周发布旨在将 AI 安全检查提前到智能体开发周期中是微软推动智能 AI 安全工程落地的重要举措。微软 AI 红队创始人 Ram Shankar Siva Kumar 在一篇安全博客文章中表示“我们开发这些工具是因为我们认为 AI 安全必须成为一门持续的工程学科而不是一个阶段性的检查点。我们觉得实现这一目标的最佳方式是将实用的开源工具交到开发者手中。”应对新风险两款工具应运而生随着 AI 智能体从聊天机器人式的助手演变为具有实际操作权限的系统微软发布了这两款工具。据微软称这些新型智能体带来了传统应用安全工作流程无法应对的风险包括提示注入、不安全的工具使用、权限提升和意外的自主行动等。目前Rampart 和 Clarity 均已作为开源项目在微软上线。Rampart实现 AI 红队持续测试微软将 Rampart 定位为两款工具中更具操作性的一个。该框架旨在帮助开发者将红队测试结果转化为可重复的测试以便在开发和部署流程中持续运行。Rampart 基于微软用于红队测试生成式 AI 系统的开源自动化框架 PyRIT 构建旨在让团队能够以结构化和自动化的方式对 AI 智能体执行对抗性和良性测试场景。其目标是超越一次性的安全审查将持续检查直接纳入 CI/CD 工作流程。Kumar 解释道“PyRIT 是为安全研究人员在系统构建完成后进行黑盒发现而优化的而 Rampart 则是为系统构建过程中的工程师设计的。”该框架能够在应用进入生产环境之前发现与跨提示注入、不安全的数据处理、不安全的工具执行以及其他智能体特定攻击路径相关的问题。此外Rampart 还能让组织将 AI 红队测试结果转化为可重复的自动化测试帮助工程师在智能体不断发展的过程中持续检查是否出现问题。Clarity聚焦 AI 智能体设计假设Rampart 侧重于对正在构建的系统进行测试而 Clarity 则将关注点提前到代码编写之前的工作流程。微软将 Clarity 描述为一种用于检查和验证 AI 智能体设计决策背后假设的工具。这可能包括评估智能体的预期行为、应具备的权限、与工具和外部系统的交互方式以及信任边界的位置等。Kumar 表示“Clarity 可以作为桌面应用程序、Web UI 运行也可以直接嵌入到编码智能体中。它引导工程师进行结构化对话涵盖问题澄清、解决方案探索、故障分析和决策跟踪等方面。”他补充说这些对话会以 Markdown 文件的形式写入存储库的 .clarity - protocol/ 目录中可以像源代码一样进行提交、在拉取请求中进行审查和比较。两款工具是广泛战略的一部分过去几个月里微软一直在构建一个开源的 “智能体治理” 和安全堆栈Rampart 和 Clarity 是这一广泛战略的一部分而非独立发布的工具。上个月微软推出了智能体治理工具包专注于日常控制、策略执行以及与 OWASP 标准对齐的 AI 智能体保护措施。关键词开发工具软件开发代码安全安全保障