把世界模型变成具身智能的“数据工厂”。——380亿参数统一具身生成模型目录01 核心思路普通生成模型会“画图”机器人却需要“可执行的数据”02 第一步保留基础模型的通用知识不把机器人训练成“视觉孤岛”03 第二步把“能改的”和“不能改的”显式拆开04 第三步把模型接成可规模化的数据生产线05 回到真实机器人合成数据有没有让机器人更稳06 从静态反事实走向“动作世界模型”但闭环仍未完成07 U0 更像一条数据引擎路径机器人训练中有一类成本常常被低估。为了让机械臂在不同桌布、不同光照、不同背景和杂物干扰下仍能稳定操作研究人员通常需要反复布置场地再把同一个任务采集许多遍。真正昂贵的不只是让机器人“再做一次动作”而是为同一动作补齐足够多的视觉条件。小米机器人团队最新发布的研究《Xiaomi-Robotics-U0: A Unified Embodied Synthesis Model》提供了一条更务实的路线不急着让世界模型直接接管机器人而是先把它变成一个可控的数据引擎。真实轨迹继续提供动作、接触和几何关系这些可信的“骨架”生成模型负责替换光照、背景、纹理和场景组合为有限轨迹扩展出更宽的视觉分布。如果把整篇报告压缩成一句话U0 的核心在于具身数据增强的关键不是把画面变得更好看而是在不破坏动作与几何语义的前提下让机器人看见更多种“世界”。▲U0 同时覆盖场景生成、具身迁移、通用图像生成和视频生成。它的目标不是只做一项机器人任务而是让同一个视觉生成底座兼顾通用世界知识与具身数据生产。01 核心思路普通生成模型会“画图”机器人却需要“可执行的数据”单张图片只要视觉上合理就可能被认为生成成功机器人训练的要求要严格得多。同一场景往往由头部相机和腕部相机共同观测多台相机必须看到同一个三维世界。机械臂姿态、目标物位置、遮挡关系和原始动作标签也必须相互对应。只要生成模型把杯子挪了几厘米、改变夹爪姿态或让不同视角中的物体对不上这段数据就不再适合监督策略。这解释了 U0 为什么没有把“生成得逼真”当作唯一目标。研究把场景拆成两类信息一类可以变化用来扩大数据分布。比如背景、工作台材质、光照、无关物体以及部分目标物的外观。这些变化负责扩大机器人训练时见到的视觉分布。另一类必须锁定用来守住动作语义。比如机器人状态、目标位置、跨相机几何关系和原始动作标签。它们共同决定一段数据是否仍然对应原来的操作任务。这条边界决定了后续所有设计U0 既要继承通用生成模型对开放世界的理解也要额外学会多视角几何、机器人本体约束和连续交互。它不是简单地“给机器人数据换风格”而是在真实轨迹周围生成受约束的视觉反事实。▲具身迁移保留原始轨迹的机器人状态和空间结构同时改变工作台、背景、物体外观与光照。这样同一条动作轨迹可以对应多种视觉世界。02 第一步保留基础模型的通用知识不把机器人训练成“视觉孤岛”真实机器人数据规模小、内容重复远不及互联网视觉数据丰富。如果只在机器人轨迹上继续训练模型很容易适应狭窄的实验室分布却损失原有的语义理解和图像编辑能力。因此 U0 没有从零训练而是以开源世界模型 EMU3.5 为初始化底座其语言骨干来自 Qwen-3-32B完整模型规模为 380 亿参数。图像经 IBQ Tokenizer 离散化后与文本和机器人相关控制信息一起进入统一词表。而且研究没有为每项能力分别搭建一套模型而是把文本生成图像、任意条件图像生成、具身场景生成、具身迁移和具身视频生成统一成同一种问题给定前文预测下一个 token。单步训练持续混入通用 T2I 和 X2I 数据以减少具身适配造成的灾难性遗忘序列训练再加入子任务—子目标交错序列和多帧率操作视频让模型同时接触任务进展与细粒度交互。▲U0 使用统一的自回归目标建模文本、参考图像和目标图像标准 AR 逐 token 解码FlashAR 则只在目标图像区域引入并行预测。这一步解决的是“知识从哪里来”通用数据提供开放世界的物体、材质和场景先验机器人数据提供本体、相机和交互约束。两类数据不是彼此替代而是在同一个模型内分工。03 第二步把“能改的”和“不能改的”显式拆开有了统一底座U0 接下来要解决的是“怎么改才不破坏数据”。研究给出了两条互补路径。第一条是具身迁移Embodied Transfer。系统先从原始多视角图像中提取深度把空间几何作为硬约束再把场景描述拆成工作台、任务物体、无关物体、光照和背景五个相对独立的维度。生成时模型可以替换其中部分维度同时尽量保持机器人姿态、物体布局和跨视角关系不变。这与一般图像编辑的差别在于U0 不是逐张处理相机画面而是要让多张结果共同指向同一个三维场景。研究构建了一个包含 300 个样本的具身迁移基准其中 Easy 与 Hard 各 150 个输入包括修改后的文本描述和多视角深度图。与 GPT-Image-2 对比时后者能够生成单张观感自然的图像但更容易偏离深度条件并在不同视角间改变物体位置、尺度和布局。U0 的优势应严格限定在这一深度约束的机器人场景基准内而不能泛化为对通用图像生成能力的全面领先。▲在论文构建的深度约束具身迁移基准中GPT-Image-2 的单张结果具有视觉吸引力却更容易违背深度和跨视角关系U0 的重点是守住同一场景的几何一致性。第二条是具身场景生成Embodied Scene Generation。具身迁移是在已有轨迹附近“换世界”场景生成则进一步根据机器人类型和结构化文字从零生成一组多视角初始观测。论文使用 400 个提示词进行评测Easy 和 Hard 各 200 个并通过人类成对比较检查多视角几何一致性与指令遵循。▲具身场景生成从机器人类型和场景描述出发直接合成一组初始多视角观测。它扩展的是环境和初始状态分布而不是简单修改单张图片。从数据引擎的角度看这两条路径对应两个层级具身迁移先把真实轨迹利用得更充分具身场景生成再尝试扩大初始状态空间。前者有真实动作作为锚点更接近当前可落地的数据增强后者自由度更高也更依赖模型对几何和机器人本体的掌握。04 第三步把模型接成可规模化的数据生产线能生成少量案例不等于能生产训练数据。U0 为此补上了数据整理、自动标注和推理吞吐三部分。训练语料包含 950 万个单步生成样本共 564 亿 token序列部分包含 260 万个视频片段共 496 亿 token。数据来源覆盖通用图文、真实与仿真机器人操作、自动驾驶、第一视角视频、三维重建和游戏环境。多样来源负责扩大视觉覆盖而过滤和重采样则优先保留稀有物体、长尾技能和抓取、释放、放置等关键交互阶段。为了把不同来源的数据变成可控制条件研究使用视觉语言模型生成稠密描述将具身场景拆成五个语义维度同时提取逆深度图并根据末端执行器姿态与夹爪信号切分轨迹、抽取关键帧。这样一来原本杂乱的真机视频才能被整理为“哪些视觉因素可以替换、哪些动作状态必须保留”的结构化样本。▲U0 的标注流水线将场景描述、几何条件和动作阶段分别提取出来把异构视频与真机轨迹整理成可用于场景生成、具身迁移和视频生成的训练样本。生产线还必须考虑速度。标准自回归图像生成需要逐 token 解码成本很高。U0 引入 FlashAR文本、参考图像和控制条件仍作为完整前缀只有目标图像区域改为反对角线并行预测再结合 vLLM 的批处理和 KV-cache 管理提高吞吐。在研究给出的单张 H20 GPU、1024×1024 T2I 设置下单图时延由标准 AR 的 450.77 秒降至 FlashAR 的 16.56 秒加入 vLLM 后进一步降至 5.44 秒对应最高约 82.9 倍加速。▲在论文指定的单张 H20、1024×1024 T2I 设置下FlashAR 与 vLLM 将单图生成时延从 450.77 秒压缩到 5.44 秒这一结果说明数据引擎具备扩大吞吐的技术路径。05 回到真实机器人合成数据有没有让机器人更稳判断具身生成是否有价值不能只看图像指标最终仍要看策略在真实机器人上的表现。小米团队选择了三项双臂桌面任务收纳耳机、折叠毛巾和打包盒子。每项任务分别收集约 40 小时真实示范再用 U0 生成约 40 小时外观迁移数据。两组策略都从同一个 π0.5 基础检查点出发训练设置保持一致唯一变量是是否加入增强数据。需要注意的是U0 只参与训练数据生产机器人实际执行时并不调用世界模型。评测分为两组Base 组只改变物体布局桌布和照明仍接近训练分布Interference 组加入未见桌布、低照度、彩色光和动态投影等视觉干扰。这不是二元“成功率”。每个策略、任务、测试组和布局均运行三次唯一指标是任务完成进度如果一项长时程任务包含多个里程碑机器人完成前几个步骤后失败也会获得相应的部分分数。▲真实机器人评测中加入 U0 增强数据后Base 条件下平均任务完成进度由 81.0% 变为 82.1%基本持平Interference 条件下则由 36.9% 提升到 63.2%。在接近训练分布的 Base 条件下两组平均完成进度为 81.0% 和 82.1%提升很小在 Interference 条件下增强组从 36.9% 提升到 63.2%且三项任务都取得改善。因此这组实验支持的并不是“合成数据普遍提高机器人能力上限”而是一个更窄、更可信的结论围绕真实轨迹生成视觉反事实数据可以减轻未见背景和光照造成的性能损失。这恰好对应了文章开头所提到的扩大的主要是视觉分布保留的则是动作和几何语义。失败案例也说明边界仍然存在在饱和光照、桌布与毛巾纹理相近、耳机盒朝向难以分辨或投影光斑类似目标物时策略仍会抓取失败、判断错误甚至把光斑当成物体。增强数据虽然提高了抗干扰能力但没有消除感知歧义。▲真实机器人失败案例表明强光、相似纹理、目标朝向混淆和投影光斑仍可能误导策略。合成增强降低了部分分布偏移风险但没有解决所有视觉歧义。06 从静态反事实走向“动作世界模型”但闭环仍未完成U0 还把训练从单步图像扩展到序列生成。模型接收初始帧、语言指令以及由机器人动作和 URDF 渲染的掩码序列预测后续多帧视觉状态。训练数据采用 1、3、5 FPS 多种时间分辨率稀疏序列强调较长时间尺度的任务推进密集序列则描述更细的接触与运动变化。▲U0 根据初始观测与任务条件生成后续操作画面尝试把静态的场景扩展进一步延伸到连续交互轨迹。在 WorldArena 基准上U0 的 EWMScore 为 73.64在论文报告时的 100 多个提交模型中排名第一其指令遵循、交互质量、透视关系和运动平滑度等分项领先但并非所有指标都是第一且总分只比图中第二名高 0.58。▲WorldArena 排行榜为 U0 的视频生成能力提供了补充证据但它衡量的是生成视频的质量、运动、内容、物理、三维关系和可控性不等同于真实机器人的长期闭环控制能力。这组结果说明 U0 具备较强的动作条件视频生成能力但不能据此判断模型已经理解了可长期滚动的真实物理世界。研究也明确列出三个限制具身迁移依赖深度估计可能引入伪影并限制局部纹理控制场景生成与视频生成目前分开进行长时程滚动会累积误差32K 上下文也限制了长视频建模。07 U0 更像一条数据引擎路径U0 围绕具身智能给出了一条较为完整的“验证”链先用真实轨迹固定动作与物理接触再用世界模型扩展视觉长尾分布最后回到真实机器人检验合成变化是否真正提高策略鲁棒性。通过实验结果我们能够清晰得到这样一个有限结论在设定的三项桌面操作任务中视觉反事实数据能够明显缓解未见背景和照明带来的性能下降。它尚未证明合成数据可以替代真实采集也没有验证模型能否覆盖复杂接触动力学、长期滚动或直接承担闭环控制。但它提出了一个很有现实意义的判断未来具身数据的竞争不仅是谁采得更多也是谁能在不破坏动作语义的前提下把有限的真实轨迹扩展得更广。
小米机器人发布380亿参数具身生成模型，83倍提速，全量开源
把世界模型变成具身智能的“数据工厂”。——380亿参数统一具身生成模型目录01 核心思路普通生成模型会“画图”机器人却需要“可执行的数据”02 第一步保留基础模型的通用知识不把机器人训练成“视觉孤岛”03 第二步把“能改的”和“不能改的”显式拆开04 第三步把模型接成可规模化的数据生产线05 回到真实机器人合成数据有没有让机器人更稳06 从静态反事实走向“动作世界模型”但闭环仍未完成07 U0 更像一条数据引擎路径机器人训练中有一类成本常常被低估。为了让机械臂在不同桌布、不同光照、不同背景和杂物干扰下仍能稳定操作研究人员通常需要反复布置场地再把同一个任务采集许多遍。真正昂贵的不只是让机器人“再做一次动作”而是为同一动作补齐足够多的视觉条件。小米机器人团队最新发布的研究《Xiaomi-Robotics-U0: A Unified Embodied Synthesis Model》提供了一条更务实的路线不急着让世界模型直接接管机器人而是先把它变成一个可控的数据引擎。真实轨迹继续提供动作、接触和几何关系这些可信的“骨架”生成模型负责替换光照、背景、纹理和场景组合为有限轨迹扩展出更宽的视觉分布。如果把整篇报告压缩成一句话U0 的核心在于具身数据增强的关键不是把画面变得更好看而是在不破坏动作与几何语义的前提下让机器人看见更多种“世界”。▲U0 同时覆盖场景生成、具身迁移、通用图像生成和视频生成。它的目标不是只做一项机器人任务而是让同一个视觉生成底座兼顾通用世界知识与具身数据生产。01 核心思路普通生成模型会“画图”机器人却需要“可执行的数据”单张图片只要视觉上合理就可能被认为生成成功机器人训练的要求要严格得多。同一场景往往由头部相机和腕部相机共同观测多台相机必须看到同一个三维世界。机械臂姿态、目标物位置、遮挡关系和原始动作标签也必须相互对应。只要生成模型把杯子挪了几厘米、改变夹爪姿态或让不同视角中的物体对不上这段数据就不再适合监督策略。这解释了 U0 为什么没有把“生成得逼真”当作唯一目标。研究把场景拆成两类信息一类可以变化用来扩大数据分布。比如背景、工作台材质、光照、无关物体以及部分目标物的外观。这些变化负责扩大机器人训练时见到的视觉分布。另一类必须锁定用来守住动作语义。比如机器人状态、目标位置、跨相机几何关系和原始动作标签。它们共同决定一段数据是否仍然对应原来的操作任务。这条边界决定了后续所有设计U0 既要继承通用生成模型对开放世界的理解也要额外学会多视角几何、机器人本体约束和连续交互。它不是简单地“给机器人数据换风格”而是在真实轨迹周围生成受约束的视觉反事实。▲具身迁移保留原始轨迹的机器人状态和空间结构同时改变工作台、背景、物体外观与光照。这样同一条动作轨迹可以对应多种视觉世界。02 第一步保留基础模型的通用知识不把机器人训练成“视觉孤岛”真实机器人数据规模小、内容重复远不及互联网视觉数据丰富。如果只在机器人轨迹上继续训练模型很容易适应狭窄的实验室分布却损失原有的语义理解和图像编辑能力。因此 U0 没有从零训练而是以开源世界模型 EMU3.5 为初始化底座其语言骨干来自 Qwen-3-32B完整模型规模为 380 亿参数。图像经 IBQ Tokenizer 离散化后与文本和机器人相关控制信息一起进入统一词表。而且研究没有为每项能力分别搭建一套模型而是把文本生成图像、任意条件图像生成、具身场景生成、具身迁移和具身视频生成统一成同一种问题给定前文预测下一个 token。单步训练持续混入通用 T2I 和 X2I 数据以减少具身适配造成的灾难性遗忘序列训练再加入子任务—子目标交错序列和多帧率操作视频让模型同时接触任务进展与细粒度交互。▲U0 使用统一的自回归目标建模文本、参考图像和目标图像标准 AR 逐 token 解码FlashAR 则只在目标图像区域引入并行预测。这一步解决的是“知识从哪里来”通用数据提供开放世界的物体、材质和场景先验机器人数据提供本体、相机和交互约束。两类数据不是彼此替代而是在同一个模型内分工。03 第二步把“能改的”和“不能改的”显式拆开有了统一底座U0 接下来要解决的是“怎么改才不破坏数据”。研究给出了两条互补路径。第一条是具身迁移Embodied Transfer。系统先从原始多视角图像中提取深度把空间几何作为硬约束再把场景描述拆成工作台、任务物体、无关物体、光照和背景五个相对独立的维度。生成时模型可以替换其中部分维度同时尽量保持机器人姿态、物体布局和跨视角关系不变。这与一般图像编辑的差别在于U0 不是逐张处理相机画面而是要让多张结果共同指向同一个三维场景。研究构建了一个包含 300 个样本的具身迁移基准其中 Easy 与 Hard 各 150 个输入包括修改后的文本描述和多视角深度图。与 GPT-Image-2 对比时后者能够生成单张观感自然的图像但更容易偏离深度条件并在不同视角间改变物体位置、尺度和布局。U0 的优势应严格限定在这一深度约束的机器人场景基准内而不能泛化为对通用图像生成能力的全面领先。▲在论文构建的深度约束具身迁移基准中GPT-Image-2 的单张结果具有视觉吸引力却更容易违背深度和跨视角关系U0 的重点是守住同一场景的几何一致性。第二条是具身场景生成Embodied Scene Generation。具身迁移是在已有轨迹附近“换世界”场景生成则进一步根据机器人类型和结构化文字从零生成一组多视角初始观测。论文使用 400 个提示词进行评测Easy 和 Hard 各 200 个并通过人类成对比较检查多视角几何一致性与指令遵循。▲具身场景生成从机器人类型和场景描述出发直接合成一组初始多视角观测。它扩展的是环境和初始状态分布而不是简单修改单张图片。从数据引擎的角度看这两条路径对应两个层级具身迁移先把真实轨迹利用得更充分具身场景生成再尝试扩大初始状态空间。前者有真实动作作为锚点更接近当前可落地的数据增强后者自由度更高也更依赖模型对几何和机器人本体的掌握。04 第三步把模型接成可规模化的数据生产线能生成少量案例不等于能生产训练数据。U0 为此补上了数据整理、自动标注和推理吞吐三部分。训练语料包含 950 万个单步生成样本共 564 亿 token序列部分包含 260 万个视频片段共 496 亿 token。数据来源覆盖通用图文、真实与仿真机器人操作、自动驾驶、第一视角视频、三维重建和游戏环境。多样来源负责扩大视觉覆盖而过滤和重采样则优先保留稀有物体、长尾技能和抓取、释放、放置等关键交互阶段。为了把不同来源的数据变成可控制条件研究使用视觉语言模型生成稠密描述将具身场景拆成五个语义维度同时提取逆深度图并根据末端执行器姿态与夹爪信号切分轨迹、抽取关键帧。这样一来原本杂乱的真机视频才能被整理为“哪些视觉因素可以替换、哪些动作状态必须保留”的结构化样本。▲U0 的标注流水线将场景描述、几何条件和动作阶段分别提取出来把异构视频与真机轨迹整理成可用于场景生成、具身迁移和视频生成的训练样本。生产线还必须考虑速度。标准自回归图像生成需要逐 token 解码成本很高。U0 引入 FlashAR文本、参考图像和控制条件仍作为完整前缀只有目标图像区域改为反对角线并行预测再结合 vLLM 的批处理和 KV-cache 管理提高吞吐。在研究给出的单张 H20 GPU、1024×1024 T2I 设置下单图时延由标准 AR 的 450.77 秒降至 FlashAR 的 16.56 秒加入 vLLM 后进一步降至 5.44 秒对应最高约 82.9 倍加速。▲在论文指定的单张 H20、1024×1024 T2I 设置下FlashAR 与 vLLM 将单图生成时延从 450.77 秒压缩到 5.44 秒这一结果说明数据引擎具备扩大吞吐的技术路径。05 回到真实机器人合成数据有没有让机器人更稳判断具身生成是否有价值不能只看图像指标最终仍要看策略在真实机器人上的表现。小米团队选择了三项双臂桌面任务收纳耳机、折叠毛巾和打包盒子。每项任务分别收集约 40 小时真实示范再用 U0 生成约 40 小时外观迁移数据。两组策略都从同一个 π0.5 基础检查点出发训练设置保持一致唯一变量是是否加入增强数据。需要注意的是U0 只参与训练数据生产机器人实际执行时并不调用世界模型。评测分为两组Base 组只改变物体布局桌布和照明仍接近训练分布Interference 组加入未见桌布、低照度、彩色光和动态投影等视觉干扰。这不是二元“成功率”。每个策略、任务、测试组和布局均运行三次唯一指标是任务完成进度如果一项长时程任务包含多个里程碑机器人完成前几个步骤后失败也会获得相应的部分分数。▲真实机器人评测中加入 U0 增强数据后Base 条件下平均任务完成进度由 81.0% 变为 82.1%基本持平Interference 条件下则由 36.9% 提升到 63.2%。在接近训练分布的 Base 条件下两组平均完成进度为 81.0% 和 82.1%提升很小在 Interference 条件下增强组从 36.9% 提升到 63.2%且三项任务都取得改善。因此这组实验支持的并不是“合成数据普遍提高机器人能力上限”而是一个更窄、更可信的结论围绕真实轨迹生成视觉反事实数据可以减轻未见背景和光照造成的性能损失。这恰好对应了文章开头所提到的扩大的主要是视觉分布保留的则是动作和几何语义。失败案例也说明边界仍然存在在饱和光照、桌布与毛巾纹理相近、耳机盒朝向难以分辨或投影光斑类似目标物时策略仍会抓取失败、判断错误甚至把光斑当成物体。增强数据虽然提高了抗干扰能力但没有消除感知歧义。▲真实机器人失败案例表明强光、相似纹理、目标朝向混淆和投影光斑仍可能误导策略。合成增强降低了部分分布偏移风险但没有解决所有视觉歧义。06 从静态反事实走向“动作世界模型”但闭环仍未完成U0 还把训练从单步图像扩展到序列生成。模型接收初始帧、语言指令以及由机器人动作和 URDF 渲染的掩码序列预测后续多帧视觉状态。训练数据采用 1、3、5 FPS 多种时间分辨率稀疏序列强调较长时间尺度的任务推进密集序列则描述更细的接触与运动变化。▲U0 根据初始观测与任务条件生成后续操作画面尝试把静态的场景扩展进一步延伸到连续交互轨迹。在 WorldArena 基准上U0 的 EWMScore 为 73.64在论文报告时的 100 多个提交模型中排名第一其指令遵循、交互质量、透视关系和运动平滑度等分项领先但并非所有指标都是第一且总分只比图中第二名高 0.58。▲WorldArena 排行榜为 U0 的视频生成能力提供了补充证据但它衡量的是生成视频的质量、运动、内容、物理、三维关系和可控性不等同于真实机器人的长期闭环控制能力。这组结果说明 U0 具备较强的动作条件视频生成能力但不能据此判断模型已经理解了可长期滚动的真实物理世界。研究也明确列出三个限制具身迁移依赖深度估计可能引入伪影并限制局部纹理控制场景生成与视频生成目前分开进行长时程滚动会累积误差32K 上下文也限制了长视频建模。07 U0 更像一条数据引擎路径U0 围绕具身智能给出了一条较为完整的“验证”链先用真实轨迹固定动作与物理接触再用世界模型扩展视觉长尾分布最后回到真实机器人检验合成变化是否真正提高策略鲁棒性。通过实验结果我们能够清晰得到这样一个有限结论在设定的三项桌面操作任务中视觉反事实数据能够明显缓解未见背景和照明带来的性能下降。它尚未证明合成数据可以替代真实采集也没有验证模型能否覆盖复杂接触动力学、长期滚动或直接承担闭环控制。但它提出了一个很有现实意义的判断未来具身数据的竞争不仅是谁采得更多也是谁能在不破坏动作语义的前提下把有限的真实轨迹扩展得更广。
