在具身智能数据来源的演进中生成式 AI 驱动的新范式代表着最具革命性的范式跃迁。此前我们讨论的遥操作、人类视频和仿真生成本质上都需要人类深度参与——或亲自操作或拍摄视频或手动定义任务和奖励函数。而生成式 AI 驱动的新范式则首次让智能体本身成为数据的创造者开启了“AI 设计任务、AI 生成场景、AI 产生演示、AI 自我训练”的自主循环。这不再是简单的数据采集或扩增而是一场数据生产关系的根本性重构。一、范式跃迁从“人创造数据”到“智能体创造数据”传统数据来源的瓶颈从来不在数据本身而在于人的创造力与精力是有限的。无论遥操作还是仿真脚本人类必须为每一个新任务、新物体、新场景投入认知劳动。生成式 AI 驱动的新范式则彻底改变了这一逻辑任务不由人定义而由大语言模型LLM自动提出场景不由人搭建而由扩散模型自动生成演示不由人给出而由运动规划或强化学习自动合成物体不由人建模而由 2D 生成模型升维为 3D 资产这条全自动流水线的核心思想是利用大模型涌现的常识与创造力替代人类在数据生产链中的认知角色。一旦跑通数据便不再是稀缺资源而是一种可以按需生产的无限商品。二、核心技术路径与代表性工作根据生成式 AI 在数据生产链中扮演的角色当前的主要范式可归纳为三个层次任务-场景联合生成、物体与视觉多样性生成、以及轨迹与交互数据合成。许多前沿工作跨越了多个层次构成完整的自动化流水线。1. 任务-场景联合生成AI 自主设计“要做什么”与“在哪里做”这是最具野心的方向——让 LLM 扮演“任务设计师”的角色自动构想有意义的新任务并在仿真中搭建对应的场景。RoboGen全自动数据工厂的原型RoboGen 是这一范式的标杆工作。它设计了一条完整的生成式流水线由四个主要模块衔接而成任务提议Task Proposal由一个 LLM 根据给定的场景类型如“厨房”自动生成多样化且物理可行的操作任务描述例如“将杯盖旋紧在杯子上”或“用夹子将茶包放入杯中”。为防止重复还引入了检索增强生成机制参考已有任务库来产生真正新颖的提议。场景生成Scene Generation对于需要特殊物体组合的任务RoboGen 能自动从 3D 资产库中检索合适模型并按语义关系合理摆放。例如对于“将杯盖旋到杯子上”的任务会自动寻找杯子和对应盖子将其放置在桌面上的可达范围内。演示生成Demonstration Generation利用运动规划与脚本规则自动为所提出的任务合成可执行的参考轨迹。对于更复杂的接触丰富操作则借助强化学习在自动搭建的场景中训练策略并将成功交互的过程记录为演示数据。策略学习Policy Learning自动生成的演示数据可直接用于训练模仿学习策略完成从任务提议到策略部署的完整闭环。在实验中RoboGen 自动生成了100 余种不同任务涵盖刚体操作、铰接物体交互、液体倾倒等多个类别证明了“AI 创造数据→AI 学习数据”这一自循环的可行性。VIMA 与 TaskMeAnything这些工作虽侧重评估但同样体现了 LLM 自主生成任务的能力。VIMA 使用 LLM 自动生成数万种多模态任务描述图像文本涵盖视觉目标重排、概念约束操作等多样化组合为具身模型提供了几乎取之不尽的训练任务池。TaskMeAnything 则进一步将任务生成推向开放域让 LLM 为任意给定场景自动编排出合理的操作目标及约束条件。2. 物体与视觉多样性生成让机器人认识世界上“所有”的物体真实世界中物体形状、纹理、材质的多样性近乎无限人工建模永远无法穷尽。生成式模型则为每一个物体概念提供了视觉化身。Gen2Sim从文字描述到可操作的 3D 物体Gen2Sim 打通了一条关键通路文本 → 多视角 2D 图像 → 带纹理的 3D 网格 → 仿真中的可操作物体。具体流程为对于给定的物体名称如“带浮雕花纹的陶瓷马克杯”利用 Stable Diffusion 生成该物体在不同视角下的高保真图像。通过 3D 重建算法如 NeRF 或基于扩散的先验模型将这些 2D 图像提升为带纹理的 3D 网格模型。自动生成碰撞体与物理属性导入仿真器成为可被机械手抓取和操作的对象。这条流水线使得机器人可以接触到真实世界中从未被 3D 扫描过的稀有物体、艺术化物体或自定义设计对象大幅扩展了操作对象的语义和几何多样性。用于视觉增强的生成式方法即便不生成新物体生成式模型也能对现有数据进行巨大的视觉扩充。RT-1 的训练管线中大量使用了一种称为“数据增强的生成式对抗方法”对于一条真实采集的操作轨迹用扩散模型将每一帧的背景替换为各种室内外场景同时随机化光照、物体纹理和颜色。这使得同一动作能在数百种视觉条件下被学习策略最终学到的是“抓取把手”的动作本质而非“在白色背景下抓取红色把手”的像素捷径。3. 轨迹与交互数据合成从像素到动作的直接生成比任务设计和视觉增强更进一步一些工作开始探索直接从文本或像素中生成机器人交互轨迹完全绕开物理仿真。UniSim基于世界模型的交互数据生成Google DeepMind 的 UniSim 训练了一个大规模视频生成模型能够根据当前观察和动作指令预测未来的视觉画面。当这个“世界模型”足够准确时它本身就成为一个数据生成器对于某个真实任务你只需改变初始条件物体位置、背景UniSim 便能为你“想象”出完整的交互过程视频并伴随机器人的动作轨迹。这相当于用神经网络取代了传统物理仿真器生成的数据既具有照片级真实感又继承了真实视频中的运动物理规律。机器人动作生成模型一些工作如 RT-2 所依赖的生成框架尝试直接以任务描述为条件生成机器人的动作序列或末端轨迹。这些生成的动作可作为离线强化学习或模仿学习的训练数据补充真实遥操作数据的不足。三、这种范式的革命性意义生成式 AI 驱动的新范式其意义远超“多了一种数据来源”。它改变了具身智能数据生态的底层逻辑从有限到无限传统数据的规模受限于人类劳动时长而生成式智能体可以 7×24 小时不停歇地创造新任务、新场景、新轨迹理论上数据量没有上限。从长尾盲区到全面覆盖真实世界数据的最大痛点是长尾场景的严重不足。生成式 AI 天然擅长产生“组合式新意”——它能将不同物体、不同动作、不同背景进行任意交叉系统性地覆盖真实世界中极少出现但一旦出现就致命的边缘情况。从被动记录到主动探索旧范式中数据是“过去发生过什么”的被动记录。生成式新范式下智能体可以主动问自己“我还没学会什么”然后主动生成对应的训练数据。这标志着数据生产从经验驱动向认知驱动的跃迁。降低门槛与民主化一旦全自动生成流水线成熟获取高质量具身数据将不再需要昂贵的机器人硬件和专业的遥操作技能。中小团队甚至个人研究者也能通过云端仿真和生成式服务训练出复杂操作策略。四、当前局限与技术挑战这种范式尚处萌芽期距离完全自主的“数据永生”还有多重挑战生成质量与物理真实性的矛盾扩散模型生成的 2D 图像和视频在视觉上可能足够逼真但其底层的物理一致性如物体碰撞、重力作用、接触力并未被真实建模。用这类“看起来真但物理上假”的数据训练的策略可能在真实部署时遭遇灾难性失败。而 3D 生成→仿真的路径虽物理正确但 3D 生成本身的质量和多样性仍远不及 2D。任务合理性过滤LLM 可能生成物理上不合理或毫无意义的任务如“将水倒入漏勺”需要额外的常识验证模块进行过滤这本身是一个尚未完美解决的问题。长程任务与组合泛化的困难当前自动生成系统大多局限于单步或短程操作拿起、放置、插入对于需要多步推理和长期规划的家庭任务如“准备一份三明治”自动生成有意义的演示仍极具挑战。评估标准的缺失当数据由 AI 创造时如何自动评估数据的“有用性”如何确保生成的数据确实提升了模型能力而非灌入噪声这需要发展全新的数据质量度量体系。五、未来愿景一个自我循环的数据生态展望未来生成式 AI 驱动的新范式将与其他数据来源深度交织形成一个自我进化的生态系统认知端多模态大模型持续观察互联网和机器人部署反馈不断提出新的学习目标与任务概念。生成端世界模型和 3D 生成模型根据任务描述生产出物理一致、视觉逼真的交互场景与演示轨迹。训练端具身基座模型用这些生成数据持续预训练和微调能力螺旋上升。验证端少数高质量真实遥操作数据作为“物理锚点”定期校准和验证生成数据的质量形成闭环。在这个生态中生成式 AI 是数据生产的引擎而真实世界数据是质量的守护者。两者协同之下具身智能将首次获得与其野心相匹配的数据供给真正走向“万物可学、万物可操”的通用时代。图示解读生成式 AI 正在将数据生产从“人类劳动驱动”扭转为“智能体认知驱动”。通过任务-场景-轨迹的全自动生成流水线它让具身数据首次具备了无限、自主、全面的可能。革命性的意义之下物理真实性与长程规划仍是当前瓶颈但一个由认知、生成、训练、验证构成的自我循环数据生态已初现曙光具身智能正由此迈入“数据创世纪”。
数据创世纪：生成式 AI 如何让具身智能的数据从“采集”迈向“自循环”？
在具身智能数据来源的演进中生成式 AI 驱动的新范式代表着最具革命性的范式跃迁。此前我们讨论的遥操作、人类视频和仿真生成本质上都需要人类深度参与——或亲自操作或拍摄视频或手动定义任务和奖励函数。而生成式 AI 驱动的新范式则首次让智能体本身成为数据的创造者开启了“AI 设计任务、AI 生成场景、AI 产生演示、AI 自我训练”的自主循环。这不再是简单的数据采集或扩增而是一场数据生产关系的根本性重构。一、范式跃迁从“人创造数据”到“智能体创造数据”传统数据来源的瓶颈从来不在数据本身而在于人的创造力与精力是有限的。无论遥操作还是仿真脚本人类必须为每一个新任务、新物体、新场景投入认知劳动。生成式 AI 驱动的新范式则彻底改变了这一逻辑任务不由人定义而由大语言模型LLM自动提出场景不由人搭建而由扩散模型自动生成演示不由人给出而由运动规划或强化学习自动合成物体不由人建模而由 2D 生成模型升维为 3D 资产这条全自动流水线的核心思想是利用大模型涌现的常识与创造力替代人类在数据生产链中的认知角色。一旦跑通数据便不再是稀缺资源而是一种可以按需生产的无限商品。二、核心技术路径与代表性工作根据生成式 AI 在数据生产链中扮演的角色当前的主要范式可归纳为三个层次任务-场景联合生成、物体与视觉多样性生成、以及轨迹与交互数据合成。许多前沿工作跨越了多个层次构成完整的自动化流水线。1. 任务-场景联合生成AI 自主设计“要做什么”与“在哪里做”这是最具野心的方向——让 LLM 扮演“任务设计师”的角色自动构想有意义的新任务并在仿真中搭建对应的场景。RoboGen全自动数据工厂的原型RoboGen 是这一范式的标杆工作。它设计了一条完整的生成式流水线由四个主要模块衔接而成任务提议Task Proposal由一个 LLM 根据给定的场景类型如“厨房”自动生成多样化且物理可行的操作任务描述例如“将杯盖旋紧在杯子上”或“用夹子将茶包放入杯中”。为防止重复还引入了检索增强生成机制参考已有任务库来产生真正新颖的提议。场景生成Scene Generation对于需要特殊物体组合的任务RoboGen 能自动从 3D 资产库中检索合适模型并按语义关系合理摆放。例如对于“将杯盖旋到杯子上”的任务会自动寻找杯子和对应盖子将其放置在桌面上的可达范围内。演示生成Demonstration Generation利用运动规划与脚本规则自动为所提出的任务合成可执行的参考轨迹。对于更复杂的接触丰富操作则借助强化学习在自动搭建的场景中训练策略并将成功交互的过程记录为演示数据。策略学习Policy Learning自动生成的演示数据可直接用于训练模仿学习策略完成从任务提议到策略部署的完整闭环。在实验中RoboGen 自动生成了100 余种不同任务涵盖刚体操作、铰接物体交互、液体倾倒等多个类别证明了“AI 创造数据→AI 学习数据”这一自循环的可行性。VIMA 与 TaskMeAnything这些工作虽侧重评估但同样体现了 LLM 自主生成任务的能力。VIMA 使用 LLM 自动生成数万种多模态任务描述图像文本涵盖视觉目标重排、概念约束操作等多样化组合为具身模型提供了几乎取之不尽的训练任务池。TaskMeAnything 则进一步将任务生成推向开放域让 LLM 为任意给定场景自动编排出合理的操作目标及约束条件。2. 物体与视觉多样性生成让机器人认识世界上“所有”的物体真实世界中物体形状、纹理、材质的多样性近乎无限人工建模永远无法穷尽。生成式模型则为每一个物体概念提供了视觉化身。Gen2Sim从文字描述到可操作的 3D 物体Gen2Sim 打通了一条关键通路文本 → 多视角 2D 图像 → 带纹理的 3D 网格 → 仿真中的可操作物体。具体流程为对于给定的物体名称如“带浮雕花纹的陶瓷马克杯”利用 Stable Diffusion 生成该物体在不同视角下的高保真图像。通过 3D 重建算法如 NeRF 或基于扩散的先验模型将这些 2D 图像提升为带纹理的 3D 网格模型。自动生成碰撞体与物理属性导入仿真器成为可被机械手抓取和操作的对象。这条流水线使得机器人可以接触到真实世界中从未被 3D 扫描过的稀有物体、艺术化物体或自定义设计对象大幅扩展了操作对象的语义和几何多样性。用于视觉增强的生成式方法即便不生成新物体生成式模型也能对现有数据进行巨大的视觉扩充。RT-1 的训练管线中大量使用了一种称为“数据增强的生成式对抗方法”对于一条真实采集的操作轨迹用扩散模型将每一帧的背景替换为各种室内外场景同时随机化光照、物体纹理和颜色。这使得同一动作能在数百种视觉条件下被学习策略最终学到的是“抓取把手”的动作本质而非“在白色背景下抓取红色把手”的像素捷径。3. 轨迹与交互数据合成从像素到动作的直接生成比任务设计和视觉增强更进一步一些工作开始探索直接从文本或像素中生成机器人交互轨迹完全绕开物理仿真。UniSim基于世界模型的交互数据生成Google DeepMind 的 UniSim 训练了一个大规模视频生成模型能够根据当前观察和动作指令预测未来的视觉画面。当这个“世界模型”足够准确时它本身就成为一个数据生成器对于某个真实任务你只需改变初始条件物体位置、背景UniSim 便能为你“想象”出完整的交互过程视频并伴随机器人的动作轨迹。这相当于用神经网络取代了传统物理仿真器生成的数据既具有照片级真实感又继承了真实视频中的运动物理规律。机器人动作生成模型一些工作如 RT-2 所依赖的生成框架尝试直接以任务描述为条件生成机器人的动作序列或末端轨迹。这些生成的动作可作为离线强化学习或模仿学习的训练数据补充真实遥操作数据的不足。三、这种范式的革命性意义生成式 AI 驱动的新范式其意义远超“多了一种数据来源”。它改变了具身智能数据生态的底层逻辑从有限到无限传统数据的规模受限于人类劳动时长而生成式智能体可以 7×24 小时不停歇地创造新任务、新场景、新轨迹理论上数据量没有上限。从长尾盲区到全面覆盖真实世界数据的最大痛点是长尾场景的严重不足。生成式 AI 天然擅长产生“组合式新意”——它能将不同物体、不同动作、不同背景进行任意交叉系统性地覆盖真实世界中极少出现但一旦出现就致命的边缘情况。从被动记录到主动探索旧范式中数据是“过去发生过什么”的被动记录。生成式新范式下智能体可以主动问自己“我还没学会什么”然后主动生成对应的训练数据。这标志着数据生产从经验驱动向认知驱动的跃迁。降低门槛与民主化一旦全自动生成流水线成熟获取高质量具身数据将不再需要昂贵的机器人硬件和专业的遥操作技能。中小团队甚至个人研究者也能通过云端仿真和生成式服务训练出复杂操作策略。四、当前局限与技术挑战这种范式尚处萌芽期距离完全自主的“数据永生”还有多重挑战生成质量与物理真实性的矛盾扩散模型生成的 2D 图像和视频在视觉上可能足够逼真但其底层的物理一致性如物体碰撞、重力作用、接触力并未被真实建模。用这类“看起来真但物理上假”的数据训练的策略可能在真实部署时遭遇灾难性失败。而 3D 生成→仿真的路径虽物理正确但 3D 生成本身的质量和多样性仍远不及 2D。任务合理性过滤LLM 可能生成物理上不合理或毫无意义的任务如“将水倒入漏勺”需要额外的常识验证模块进行过滤这本身是一个尚未完美解决的问题。长程任务与组合泛化的困难当前自动生成系统大多局限于单步或短程操作拿起、放置、插入对于需要多步推理和长期规划的家庭任务如“准备一份三明治”自动生成有意义的演示仍极具挑战。评估标准的缺失当数据由 AI 创造时如何自动评估数据的“有用性”如何确保生成的数据确实提升了模型能力而非灌入噪声这需要发展全新的数据质量度量体系。五、未来愿景一个自我循环的数据生态展望未来生成式 AI 驱动的新范式将与其他数据来源深度交织形成一个自我进化的生态系统认知端多模态大模型持续观察互联网和机器人部署反馈不断提出新的学习目标与任务概念。生成端世界模型和 3D 生成模型根据任务描述生产出物理一致、视觉逼真的交互场景与演示轨迹。训练端具身基座模型用这些生成数据持续预训练和微调能力螺旋上升。验证端少数高质量真实遥操作数据作为“物理锚点”定期校准和验证生成数据的质量形成闭环。在这个生态中生成式 AI 是数据生产的引擎而真实世界数据是质量的守护者。两者协同之下具身智能将首次获得与其野心相匹配的数据供给真正走向“万物可学、万物可操”的通用时代。图示解读生成式 AI 正在将数据生产从“人类劳动驱动”扭转为“智能体认知驱动”。通过任务-场景-轨迹的全自动生成流水线它让具身数据首次具备了无限、自主、全面的可能。革命性的意义之下物理真实性与长程规划仍是当前瓶颈但一个由认知、生成、训练、验证构成的自我循环数据生态已初现曙光具身智能正由此迈入“数据创世纪”。
