如果说 2023 年是大模型的“元年”那 2026 年可能就是具身智能的“成年礼”了。今天我们要聊的这篇论文来自同济大学和电子科大的联合团队。论文Towards Generalist Embodied AI: A Survey on World Models for VLA Agents链接https://doi.org/10.36227/techrxiv.176948355.54623875/v1咱们慢慢来解读下~机器人的“通病”嘴强王者行动矮子现在的具身智能机器人大多用的是VLAVision-Language-Action视觉 - 语言 - 动作架构。简单说就是给机器人装个大模型脑子让它能看懂图、听懂话、还能动手干活。听起来很美但实际上呢现在的 VLA 模型有个致命弱点“物理幻觉”。啥叫物理幻觉就是机器人脑子里想的挺好“我要拿起这个杯子”结果大模型生成的动作指令根本不符合物理规律要么手穿模了要么杯子碎了。就像你做梦能飞醒来发现自己还在床上一样尴尬。此外真实世界的机器人数据太贵了摔坏了赔不起数据不够学不会。为了解决这些问题大佬们引入了“世界模型World Models”。这篇论文的核心观点就是世界模型是 VLA 的“预演模拟器”。在行动之前先在脑子里模拟一遍后果物理通不过那就换个动作。这就叫“physically grounded action generation物理落地的动作生成。那么世界模型怎么帮 VLA 这篇综述最硬核的地方在于它把现有的方法整理成了四个方面。这是本文的重点。世界规划器 (World Planner)凡事预则立不预则废。比如把它当做个军师。它不直接控制手而是预测未来的画面或特征告诉 VLA 政策“嘿如果你这么做下一秒会发生啥。” 代表工作有 UniPi, SuSIE, Vidar 等。 有的直接生成未来视频显式有的在 latent 空间里猜未来隐式。世界动作模型 (World Action Model)“想和做我全包了。”比较全能它把“未来观察”和“动作”放在一个锅里炖联合建模。保证生成的动作不仅语义对物理上也连贯。 代表工作有 GR-1, GR-2, UniVLA。 自回归AR是主流但现在扩散模型Diffusion也杀进来了为了精度更高。世界合成器 (World Synthesizer)“数据不够我来来凑。”可以当做个数据工厂。真实数据太少它通过生成大量的“观察 - 动作”轨迹用来训练 VLA。相当于给机器人搞了个“题海战术”。 代表工作有 Genie Envisioner, DreamGen。 有的是给定动作生成视频有的是生成视频再反推动作。世界模拟器 (World Simulator)“安全起见先在虚拟里练练。”就是个虚拟健身房。把世界模型当成环境让 VLA 在里面做RL。摔坏了没关系反正都是代码。 代表工作有 WorldGym, World-Env, SRPO。 提供奖励信号让策略在想象中优化。底层都用了啥大模型巧妇难为无米之炊这些世界模型背后离不开强大的基础模型支持。论文里整理了个清单咱们挑几个重点看看。可以看到现在的趋势是视频生成模型和统一理解生成模型的天下。比如 Wan2.1、Stable Video Diffusion 这些大家耳熟能详的名字都被拿来当机器人的“想象力引擎”了。参数规模从 0.6B 到 8.5B 不等看来机器人也不需要千亿参数够用就行。实战到底厉不厉害光说不练假把式咱们看看 benchmarks 上的成绩。这篇论文统计了 LIBERO 和 CALVIN 这两个经典榜单。在LIBERO榜单上像SRPO(Online)这样的方法成功率已经飙到了99.2%。在CALVIN榜单上RynnVLA-002的平均连续任务长度达到了4.44。论文里也说了这些仿真环境都快被“刷爆”了接近饱和。这意味着什么意味着现在的模型在虚拟世界里已经很强了接下来的挑战是真实世界。未来还有哪些坑要填虽然 2026 年的展望很美好但作者也诚实地列出了几个还没解决的难题物理一致性 (Physical Consistency)还是得治“幻觉”得引入微分物理先验让机器人真懂牛顿定律。4D 感知 (Spatiotemporal Perception)别光看 2D 图片了得理解 3D 空间随时间的变化比如动态高斯泼溅Dynamic Gaussian Splatting。安全与可靠性 (Safety and Reliability)模拟器再真也是假的怎么保证真机上不伤人长程预见 (Long-horizon Foresight)现在能想几步未来得能规划更长远的任务别走一步看一步。失败感知 (Failure-Aware)别光学成功的案例得学会从失败中吸取教训这点像极了人类成长的过程。总结这篇综述算是给 2023-2025 年的世界模型发展画了个句号同时也指明了 2026 年后的方向。简单来说VLA 负责“懂意思”世界模型负责“懂物理”。两者的结合才是通用具身智能的正确打开方式。对于咱们从业者来说关注世界模拟器和数据合成可能是接下来的风口毕竟真实数据太贵虚拟数据真香。
最新VLA世界模型综述
如果说 2023 年是大模型的“元年”那 2026 年可能就是具身智能的“成年礼”了。今天我们要聊的这篇论文来自同济大学和电子科大的联合团队。论文Towards Generalist Embodied AI: A Survey on World Models for VLA Agents链接https://doi.org/10.36227/techrxiv.176948355.54623875/v1咱们慢慢来解读下~机器人的“通病”嘴强王者行动矮子现在的具身智能机器人大多用的是VLAVision-Language-Action视觉 - 语言 - 动作架构。简单说就是给机器人装个大模型脑子让它能看懂图、听懂话、还能动手干活。听起来很美但实际上呢现在的 VLA 模型有个致命弱点“物理幻觉”。啥叫物理幻觉就是机器人脑子里想的挺好“我要拿起这个杯子”结果大模型生成的动作指令根本不符合物理规律要么手穿模了要么杯子碎了。就像你做梦能飞醒来发现自己还在床上一样尴尬。此外真实世界的机器人数据太贵了摔坏了赔不起数据不够学不会。为了解决这些问题大佬们引入了“世界模型World Models”。这篇论文的核心观点就是世界模型是 VLA 的“预演模拟器”。在行动之前先在脑子里模拟一遍后果物理通不过那就换个动作。这就叫“physically grounded action generation物理落地的动作生成。那么世界模型怎么帮 VLA 这篇综述最硬核的地方在于它把现有的方法整理成了四个方面。这是本文的重点。世界规划器 (World Planner)凡事预则立不预则废。比如把它当做个军师。它不直接控制手而是预测未来的画面或特征告诉 VLA 政策“嘿如果你这么做下一秒会发生啥。” 代表工作有 UniPi, SuSIE, Vidar 等。 有的直接生成未来视频显式有的在 latent 空间里猜未来隐式。世界动作模型 (World Action Model)“想和做我全包了。”比较全能它把“未来观察”和“动作”放在一个锅里炖联合建模。保证生成的动作不仅语义对物理上也连贯。 代表工作有 GR-1, GR-2, UniVLA。 自回归AR是主流但现在扩散模型Diffusion也杀进来了为了精度更高。世界合成器 (World Synthesizer)“数据不够我来来凑。”可以当做个数据工厂。真实数据太少它通过生成大量的“观察 - 动作”轨迹用来训练 VLA。相当于给机器人搞了个“题海战术”。 代表工作有 Genie Envisioner, DreamGen。 有的是给定动作生成视频有的是生成视频再反推动作。世界模拟器 (World Simulator)“安全起见先在虚拟里练练。”就是个虚拟健身房。把世界模型当成环境让 VLA 在里面做RL。摔坏了没关系反正都是代码。 代表工作有 WorldGym, World-Env, SRPO。 提供奖励信号让策略在想象中优化。底层都用了啥大模型巧妇难为无米之炊这些世界模型背后离不开强大的基础模型支持。论文里整理了个清单咱们挑几个重点看看。可以看到现在的趋势是视频生成模型和统一理解生成模型的天下。比如 Wan2.1、Stable Video Diffusion 这些大家耳熟能详的名字都被拿来当机器人的“想象力引擎”了。参数规模从 0.6B 到 8.5B 不等看来机器人也不需要千亿参数够用就行。实战到底厉不厉害光说不练假把式咱们看看 benchmarks 上的成绩。这篇论文统计了 LIBERO 和 CALVIN 这两个经典榜单。在LIBERO榜单上像SRPO(Online)这样的方法成功率已经飙到了99.2%。在CALVIN榜单上RynnVLA-002的平均连续任务长度达到了4.44。论文里也说了这些仿真环境都快被“刷爆”了接近饱和。这意味着什么意味着现在的模型在虚拟世界里已经很强了接下来的挑战是真实世界。未来还有哪些坑要填虽然 2026 年的展望很美好但作者也诚实地列出了几个还没解决的难题物理一致性 (Physical Consistency)还是得治“幻觉”得引入微分物理先验让机器人真懂牛顿定律。4D 感知 (Spatiotemporal Perception)别光看 2D 图片了得理解 3D 空间随时间的变化比如动态高斯泼溅Dynamic Gaussian Splatting。安全与可靠性 (Safety and Reliability)模拟器再真也是假的怎么保证真机上不伤人长程预见 (Long-horizon Foresight)现在能想几步未来得能规划更长远的任务别走一步看一步。失败感知 (Failure-Aware)别光学成功的案例得学会从失败中吸取教训这点像极了人类成长的过程。总结这篇综述算是给 2023-2025 年的世界模型发展画了个句号同时也指明了 2026 年后的方向。简单来说VLA 负责“懂意思”世界模型负责“懂物理”。两者的结合才是通用具身智能的正确打开方式。对于咱们从业者来说关注世界模拟器和数据合成可能是接下来的风口毕竟真实数据太贵虚拟数据真香。
