一句话总结本文提出 MMSkills将可复用技能从文本提示扩展为”文本流程状态卡片多视角关键帧”。在 OSWorld 上Gemini 3 Flash 从 36.65% 提升到 47.97%Qwen3-VL-235B 从 21.34% 提升到 39.17%。 背景问题现有智能体技能库多以文本、代码或执行轨迹为核心但视觉智能体真正需要的是能识别状态、验证进展并避免误操作的多模态过程知识1️⃣ 文本技能只能描述”做什么”难以说明”当前视觉状态是否适合执行”2️⃣ 原始演示轨迹包含视觉信息但冗长、实例化强难以直接复用到新任务3️⃣ 直接把截图和技能塞进主上下文会造成上下文压力并让智能体过度锚定参考图像。 方法简介MMSkills 将每个技能形式化为 M DPSK其中 D 是技能描述P 是可复用文本流程S 是 runtime state cardsK 是与状态对齐的 multi-view keyframes每张状态卡片包含 when_to_use、when_not_to_use、visible_cues、verification_cue 和 available_views使智能体不仅知道如何执行还知道何时执行、何时跳过、如何验证作者设计 trajectory-to-skill Generator从公开非测试交互轨迹中经过 task embedding clustering、cluster-level planning、skill merging、text-first drafting、image grounding and audit 五阶段自动生成多模态技能包推理阶段采用 branch loading主智能体不直接加载完整技能而是在临时分支中选择相关状态卡和关键帧与当前屏幕对齐后返回 applicable、subgoal、plan、do_not_do、verify 等结构化指导。 实验结果在 OSWorld 上MMSkills 对所有模型均带来提升Gemini 3.1 Pro 从 44.08% 提升到 50.11%Gemini 3 Flash 从 36.65% 提升到 47.97%Qwen3-VL-235B 从 21.34% 提升到 39.17%在 macOSWorld、VAB-Minecraft 和 Super Mario Bros 上MMSkills 也持续优于 no-skill 与 text-only skill例如 Qwen3-VL-8B-Instruct 在 VAB-Minecraft 成功率从 23.28% 提升到 38.79%消融实验显示 state cards 与 visual keyframes 互补去掉状态卡会削弱状态判别去掉图像会削弱视觉 grounding而 direct loading 会因未过滤证据污染主上下文行为分析表明 MMSkills 不只是提高成功率还能减少低层 GUI 操作与重复动作Qwen3-VL-235B 的 exact repeated actions 从 21.8% 降至 6.2%说明技能让智能体从试错式点击转向状态感知执行。✨ 一句话点评MMSkills 用”过程知识—视觉证据”的关系揭示了视觉智能体技能复用的本质真正能迁移的不是一段文本指令而是带状态判断和验证线索的多模态程序记忆——这意味着未来视觉智能体应当从”提示复用”走向”证据驱动的技能复用”。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
上交提出 MMSkills：面向视觉智能体的多模态技能库
一句话总结本文提出 MMSkills将可复用技能从文本提示扩展为”文本流程状态卡片多视角关键帧”。在 OSWorld 上Gemini 3 Flash 从 36.65% 提升到 47.97%Qwen3-VL-235B 从 21.34% 提升到 39.17%。 背景问题现有智能体技能库多以文本、代码或执行轨迹为核心但视觉智能体真正需要的是能识别状态、验证进展并避免误操作的多模态过程知识1️⃣ 文本技能只能描述”做什么”难以说明”当前视觉状态是否适合执行”2️⃣ 原始演示轨迹包含视觉信息但冗长、实例化强难以直接复用到新任务3️⃣ 直接把截图和技能塞进主上下文会造成上下文压力并让智能体过度锚定参考图像。 方法简介MMSkills 将每个技能形式化为 M DPSK其中 D 是技能描述P 是可复用文本流程S 是 runtime state cardsK 是与状态对齐的 multi-view keyframes每张状态卡片包含 when_to_use、when_not_to_use、visible_cues、verification_cue 和 available_views使智能体不仅知道如何执行还知道何时执行、何时跳过、如何验证作者设计 trajectory-to-skill Generator从公开非测试交互轨迹中经过 task embedding clustering、cluster-level planning、skill merging、text-first drafting、image grounding and audit 五阶段自动生成多模态技能包推理阶段采用 branch loading主智能体不直接加载完整技能而是在临时分支中选择相关状态卡和关键帧与当前屏幕对齐后返回 applicable、subgoal、plan、do_not_do、verify 等结构化指导。 实验结果在 OSWorld 上MMSkills 对所有模型均带来提升Gemini 3.1 Pro 从 44.08% 提升到 50.11%Gemini 3 Flash 从 36.65% 提升到 47.97%Qwen3-VL-235B 从 21.34% 提升到 39.17%在 macOSWorld、VAB-Minecraft 和 Super Mario Bros 上MMSkills 也持续优于 no-skill 与 text-only skill例如 Qwen3-VL-8B-Instruct 在 VAB-Minecraft 成功率从 23.28% 提升到 38.79%消融实验显示 state cards 与 visual keyframes 互补去掉状态卡会削弱状态判别去掉图像会削弱视觉 grounding而 direct loading 会因未过滤证据污染主上下文行为分析表明 MMSkills 不只是提高成功率还能减少低层 GUI 操作与重复动作Qwen3-VL-235B 的 exact repeated actions 从 21.8% 降至 6.2%说明技能让智能体从试错式点击转向状态感知执行。✨ 一句话点评MMSkills 用”过程知识—视觉证据”的关系揭示了视觉智能体技能复用的本质真正能迁移的不是一段文本指令而是带状态判断和验证线索的多模态程序记忆——这意味着未来视觉智能体应当从”提示复用”走向”证据驱动的技能复用”。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
