一个新VLA视觉-语言-动作就这么水灵灵地被“喂”了出来而且还是开源的那种。整整60000小时的预训练数据。一个新VLA视觉-语言-动作就这么水灵灵地被“喂”了出来而且还是开源的那种。这就是蚂蚁灵波刚刚发布的LingBot-VLA 2.0一个面向复杂物理世界任务的通用VLA模型。先来聊聊这60000小时真实物理数据是怎么来的。其实它包含两个部分其中50000小时来自机器人轨迹数据覆盖20种机器人构型另外10000小时来自第一视角人类操作视频。而距蚂蚁灵波1月发布LingBot-VLA 1.0仅半年时间来数据规模从20000小时直接乘了个3。那么效果又如何呢来直接上结果我们从视频中可以看到机器人先从操作台上拿起饮料、水果放进篮子里再拎起篮子移动到冰箱前打开冰箱门、把东西一件件放进去最后关上冰箱门。一整套长序列的移动操作一气呵成相当丝滑。不过有一说一数据规模还仅仅是LingBot-VLA 2.0亮点的一隅在细扒相关技术报告后我们发现支持20多种机器人构型从双臂扩展到头部、腰部、移动底盘、灵巧手等更完整的动作空间融合LingBot-Depth让机器人获得更强空间理解能力在英伟达RTX 4090上推理延迟低于130ms。而不少网友们看到LingBot-VLA 2.0的发布后更是直呼开源的具身模型正在加速机器人技术在现实世界中的应用。机器人干活更利索了接下来我们先继续来直观感受一下在LingBot-VLA 2.0加持之下机器人干真实世界家务活儿的表现如何。第一个任务是清理灶台。它比刚才的冰箱收纳来说更加接近真实生活中的厨房场景机器人面对炉灶、锅架、海绵等一桌子物品需要先将障碍物挪开、取放妥当然后精准地拿起海绵擦拭灶台最后还得把相关物体物归原位。从机器人的表现来看LingBot-VLA 2.0是经受住了真实环境里的连续决策和精细交互的考验。再来看一个任务调料收纳。这类任务更考验双臂协同和空间关系处理能力机器人要清楚每个物体分别放在哪、彼此间距多远、桌面结构长什么样光靠看画面是不够的还得有空间感。再来感受一下带LingBot-Depth 2.0深度热力图、物体边界Token掩码、余弦相似度热图的效果而这正是LingBot-VLA 2.0默认融合LingBot-Depth之后带来的能力升级精准拿捏住了机器人自身和空间之间的关系。若是我们把这三个案例放到一起LingBot-VLA 2.0要做的事儿就比较清晰了它是希望通过同一套具身大脑能够做到迁移到不同身体、不同场景、不同任务里。换言之为某个机器人专门训的专用模型不是目的关键是一套能复用的通用具身操作基座。还学会了预测未来在看完效果之后接下来的问题就是LingBot-VLA 2.0是如何做到的。我们先从数据说起。在第一代LingBot-VLA开源时外界就已经关注到一个点真实世界机器人数据越多VLA模型能力越强而且这种提升还没有明显到头。到了LingBot-VLA 2.0这条路线还在继续被往前推。正如我们刚才提到的它的数据管线从9万小时数据中清洗出5万小时高质量真机数据又从2万小时第一视角人类操作数据中提炼出1万小时有效数据总预训练数据达到6万小时。但数据量增加还只是表象。更关键的是这些数据覆盖了更多机器人形态、多视角、多任务、多动作模式。团队在技术报告中列出的机器人构型便包括Leju、Franka、AgileX、ARX Lift2、Galaxea R1Pro、Astribot S1、Unitree G1、Fourier GR-2、AgiBot A2等总计20种embodiment。我们知道语言模型吃的是文本但到了VLA这里吃的是“视觉、语言、动作”的组合。它不光要知道“把水果放进冰箱”这句话是什么意思还要知道机械臂该怎么接近物体夹爪什么时候闭合底盘什么时候移动冰箱门打开后空间关系如何变化。所以数据越丰富模型越有机会学到更通用的操作规律。除了数据够“厚”之外LingBot-VLA 2.0的另一个关键在于它把动作空间打通了。不同机器人有不同关节、不同夹爪、不同底盘。双臂机器人、人形机器人、移动机械臂在身体结构上差异很大。要让同一个VLA模型迁移到不同身体上就需要把这些差异映射到一个统一的动作空间里。LingBot-VLA 2.0这次把动作空间从双臂进一步扩展到头部、腰部、移动底盘、灵巧手等自由度。真实世界复杂任务往往需要多个身体自由度协同完成LingBot-VLA 2.0的目标就是提升机器人在开放场景、长序列任务和多自由度协同任务中的表现。更有意思的是LingBot-VLA 2.0还学会了预测未来。过去很多VLA模型更像是反馈式执行看到当前画面生成一个动作执行完之后再根据下一帧观察结果继续修正。但这种方式能形成闭环但在长序列任务里容易出现问题。因此LingBot-VLA 2.0引入了未来深度预测和语义特征预测让模型在生成动作时同时理解当前状态和预测未来状态。具体来讲团队给视觉和文本token额外挂上两组可学习的query token一组对应当前时刻一组对应未来时刻再分别用负责几何信息的深度模型LingBot-Depth和负责语义、时序信息的自研视频表征模型DINO-Video做蒸馏监督让模型不仅理解眼前的场景还能提前预判物体位置、空间关系和任务状态接下来会怎么变化。由此我们便可以把LingBot-VLA 2.0在技术上的升级归结为数据更厚身体覆盖更广动作空间更完整模型还具备一定前瞻式时序理解能力。GM-100上见真章模型好不好评测结果也是很好的证明。这次LingBot-VLA 2.0在GM-100多任务Generalist Benchmark上选取9个任务与GR00T N1.7、π0.5、LingBot-VLA 1.0进行对比同时也在两个长程移动操作任务上与π0.5进行对比。值得一提的是Generalist Benchmark考察的是同一个模型在多个任务上的综合表现而非为单个任务分别训练、分别调优再把各自最好的结果拼成一张榜单。因此这类评测更接近真实落地场景也更能反映一个VLA基座模型的通用能力。先看GM-100双臂操作。在AgileX Cobot Magic平台上LingBot-VLA 2.0整体平均成绩为66.2/34.4高于GR00T N1.7的36.3/17.8、π0.5的59.1/32.2以及LingBot-VLA 1.0的58.2/30.0。在Galaxea R1 Pro平台上LingBot-VLA 2.0整体平均为34.6/15.6进度分高于GR00T N1.7、π0.5和LingBot-VLA 1.0成功率与LingBot-VLA 1.0持平但高于GR00T N1.7和π0.5。除此之外团队还做了两个较有代表性的测试Astribot S1执行物体放入冰箱任务Cobot Magic-ARX X5执行清理灶台任务。每个任务都有ID和OOD两种设置每组15次独立实验。OOD设置下机器人初始位置会被扰动在冰箱收纳任务中还会替换为没见过的物体类别用来测试泛化能力。结果上冰箱收纳任务中LingBot-VLA 2.0在ID设置下为77.1/60.0π0.5为65.3/46.7OOD设置下LingBot-VLA 2.0为37.0/13.3π0.5为30.3/6.7。清理灶台任务中LingBot-VLA 2.0在ID设置下为84.3/66.7π0.5为79.9/60.0OOD设置下LingBot-VLA 2.0为67.5/40.0π0.5为62.5/33.3。具身通用大脑越发关键了放到整个行业来看LingBot-VLA 2.0的意义不止是又一个更强的模型。过去一年机器人硬件本体的变化很快。乐聚、智元、星动纪元等公司都在推进不同形态的身体人形机器人、双臂机器人、移动机械臂都在快速迭代。身体越来越多问题也随之出现。每种机器人都有自己的关节构型、传感器配置、控制方式每个场景又有不同物体、空间、任务要求。如果每一种本体、每一个任务都要重新适配一套算法成本会很高规模化也很难。LingBot-VLA 2.0想做的就是大脑层的通用化。它用更大规模的真实数据让模型见过更多物理世界里的动作用统一动作表示尝试抹平不同本体之间的差异再加上LingBot-Depth和未来预测让机器人对空间和时间有更强的理解。从更长远看具身智能可能会出现一个趋势机器人的身体继续百花齐放但通用大脑的趋势会愈加收敛。One More Thing昨天蚂蚁灵波发布了LingBot-Depth 2.0今天是LingBot-VLA 2.0但估计它的新动作不会仅止于此。因为在一月份的时候蚂蚁灵波就针对具身智能来了一波四连弹。所以对具身智能感兴趣的小伙伴可以继续保持下关注哦~技术报告From Foundation to Application: Improving VLA Models in Practice报告地址https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf项目页面https://technology.robbyant.com/lingbot-vla-v2代码库https://github.com/robbyant/lingbot-vla-v2Hugging Facehttps://huggingface.co/collections/robbyant/lingbot-vla-v2ModelScopehttps://modelscope.cn/collections/Robbyant/LingBot-VLA-V2
60000小时炼出新开源VLA！20多种机器人都能用
一个新VLA视觉-语言-动作就这么水灵灵地被“喂”了出来而且还是开源的那种。整整60000小时的预训练数据。一个新VLA视觉-语言-动作就这么水灵灵地被“喂”了出来而且还是开源的那种。这就是蚂蚁灵波刚刚发布的LingBot-VLA 2.0一个面向复杂物理世界任务的通用VLA模型。先来聊聊这60000小时真实物理数据是怎么来的。其实它包含两个部分其中50000小时来自机器人轨迹数据覆盖20种机器人构型另外10000小时来自第一视角人类操作视频。而距蚂蚁灵波1月发布LingBot-VLA 1.0仅半年时间来数据规模从20000小时直接乘了个3。那么效果又如何呢来直接上结果我们从视频中可以看到机器人先从操作台上拿起饮料、水果放进篮子里再拎起篮子移动到冰箱前打开冰箱门、把东西一件件放进去最后关上冰箱门。一整套长序列的移动操作一气呵成相当丝滑。不过有一说一数据规模还仅仅是LingBot-VLA 2.0亮点的一隅在细扒相关技术报告后我们发现支持20多种机器人构型从双臂扩展到头部、腰部、移动底盘、灵巧手等更完整的动作空间融合LingBot-Depth让机器人获得更强空间理解能力在英伟达RTX 4090上推理延迟低于130ms。而不少网友们看到LingBot-VLA 2.0的发布后更是直呼开源的具身模型正在加速机器人技术在现实世界中的应用。机器人干活更利索了接下来我们先继续来直观感受一下在LingBot-VLA 2.0加持之下机器人干真实世界家务活儿的表现如何。第一个任务是清理灶台。它比刚才的冰箱收纳来说更加接近真实生活中的厨房场景机器人面对炉灶、锅架、海绵等一桌子物品需要先将障碍物挪开、取放妥当然后精准地拿起海绵擦拭灶台最后还得把相关物体物归原位。从机器人的表现来看LingBot-VLA 2.0是经受住了真实环境里的连续决策和精细交互的考验。再来看一个任务调料收纳。这类任务更考验双臂协同和空间关系处理能力机器人要清楚每个物体分别放在哪、彼此间距多远、桌面结构长什么样光靠看画面是不够的还得有空间感。再来感受一下带LingBot-Depth 2.0深度热力图、物体边界Token掩码、余弦相似度热图的效果而这正是LingBot-VLA 2.0默认融合LingBot-Depth之后带来的能力升级精准拿捏住了机器人自身和空间之间的关系。若是我们把这三个案例放到一起LingBot-VLA 2.0要做的事儿就比较清晰了它是希望通过同一套具身大脑能够做到迁移到不同身体、不同场景、不同任务里。换言之为某个机器人专门训的专用模型不是目的关键是一套能复用的通用具身操作基座。还学会了预测未来在看完效果之后接下来的问题就是LingBot-VLA 2.0是如何做到的。我们先从数据说起。在第一代LingBot-VLA开源时外界就已经关注到一个点真实世界机器人数据越多VLA模型能力越强而且这种提升还没有明显到头。到了LingBot-VLA 2.0这条路线还在继续被往前推。正如我们刚才提到的它的数据管线从9万小时数据中清洗出5万小时高质量真机数据又从2万小时第一视角人类操作数据中提炼出1万小时有效数据总预训练数据达到6万小时。但数据量增加还只是表象。更关键的是这些数据覆盖了更多机器人形态、多视角、多任务、多动作模式。团队在技术报告中列出的机器人构型便包括Leju、Franka、AgileX、ARX Lift2、Galaxea R1Pro、Astribot S1、Unitree G1、Fourier GR-2、AgiBot A2等总计20种embodiment。我们知道语言模型吃的是文本但到了VLA这里吃的是“视觉、语言、动作”的组合。它不光要知道“把水果放进冰箱”这句话是什么意思还要知道机械臂该怎么接近物体夹爪什么时候闭合底盘什么时候移动冰箱门打开后空间关系如何变化。所以数据越丰富模型越有机会学到更通用的操作规律。除了数据够“厚”之外LingBot-VLA 2.0的另一个关键在于它把动作空间打通了。不同机器人有不同关节、不同夹爪、不同底盘。双臂机器人、人形机器人、移动机械臂在身体结构上差异很大。要让同一个VLA模型迁移到不同身体上就需要把这些差异映射到一个统一的动作空间里。LingBot-VLA 2.0这次把动作空间从双臂进一步扩展到头部、腰部、移动底盘、灵巧手等自由度。真实世界复杂任务往往需要多个身体自由度协同完成LingBot-VLA 2.0的目标就是提升机器人在开放场景、长序列任务和多自由度协同任务中的表现。更有意思的是LingBot-VLA 2.0还学会了预测未来。过去很多VLA模型更像是反馈式执行看到当前画面生成一个动作执行完之后再根据下一帧观察结果继续修正。但这种方式能形成闭环但在长序列任务里容易出现问题。因此LingBot-VLA 2.0引入了未来深度预测和语义特征预测让模型在生成动作时同时理解当前状态和预测未来状态。具体来讲团队给视觉和文本token额外挂上两组可学习的query token一组对应当前时刻一组对应未来时刻再分别用负责几何信息的深度模型LingBot-Depth和负责语义、时序信息的自研视频表征模型DINO-Video做蒸馏监督让模型不仅理解眼前的场景还能提前预判物体位置、空间关系和任务状态接下来会怎么变化。由此我们便可以把LingBot-VLA 2.0在技术上的升级归结为数据更厚身体覆盖更广动作空间更完整模型还具备一定前瞻式时序理解能力。GM-100上见真章模型好不好评测结果也是很好的证明。这次LingBot-VLA 2.0在GM-100多任务Generalist Benchmark上选取9个任务与GR00T N1.7、π0.5、LingBot-VLA 1.0进行对比同时也在两个长程移动操作任务上与π0.5进行对比。值得一提的是Generalist Benchmark考察的是同一个模型在多个任务上的综合表现而非为单个任务分别训练、分别调优再把各自最好的结果拼成一张榜单。因此这类评测更接近真实落地场景也更能反映一个VLA基座模型的通用能力。先看GM-100双臂操作。在AgileX Cobot Magic平台上LingBot-VLA 2.0整体平均成绩为66.2/34.4高于GR00T N1.7的36.3/17.8、π0.5的59.1/32.2以及LingBot-VLA 1.0的58.2/30.0。在Galaxea R1 Pro平台上LingBot-VLA 2.0整体平均为34.6/15.6进度分高于GR00T N1.7、π0.5和LingBot-VLA 1.0成功率与LingBot-VLA 1.0持平但高于GR00T N1.7和π0.5。除此之外团队还做了两个较有代表性的测试Astribot S1执行物体放入冰箱任务Cobot Magic-ARX X5执行清理灶台任务。每个任务都有ID和OOD两种设置每组15次独立实验。OOD设置下机器人初始位置会被扰动在冰箱收纳任务中还会替换为没见过的物体类别用来测试泛化能力。结果上冰箱收纳任务中LingBot-VLA 2.0在ID设置下为77.1/60.0π0.5为65.3/46.7OOD设置下LingBot-VLA 2.0为37.0/13.3π0.5为30.3/6.7。清理灶台任务中LingBot-VLA 2.0在ID设置下为84.3/66.7π0.5为79.9/60.0OOD设置下LingBot-VLA 2.0为67.5/40.0π0.5为62.5/33.3。具身通用大脑越发关键了放到整个行业来看LingBot-VLA 2.0的意义不止是又一个更强的模型。过去一年机器人硬件本体的变化很快。乐聚、智元、星动纪元等公司都在推进不同形态的身体人形机器人、双臂机器人、移动机械臂都在快速迭代。身体越来越多问题也随之出现。每种机器人都有自己的关节构型、传感器配置、控制方式每个场景又有不同物体、空间、任务要求。如果每一种本体、每一个任务都要重新适配一套算法成本会很高规模化也很难。LingBot-VLA 2.0想做的就是大脑层的通用化。它用更大规模的真实数据让模型见过更多物理世界里的动作用统一动作表示尝试抹平不同本体之间的差异再加上LingBot-Depth和未来预测让机器人对空间和时间有更强的理解。从更长远看具身智能可能会出现一个趋势机器人的身体继续百花齐放但通用大脑的趋势会愈加收敛。One More Thing昨天蚂蚁灵波发布了LingBot-Depth 2.0今天是LingBot-VLA 2.0但估计它的新动作不会仅止于此。因为在一月份的时候蚂蚁灵波就针对具身智能来了一波四连弹。所以对具身智能感兴趣的小伙伴可以继续保持下关注哦~技术报告From Foundation to Application: Improving VLA Models in Practice报告地址https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf项目页面https://technology.robbyant.com/lingbot-vla-v2代码库https://github.com/robbyant/lingbot-vla-v2Hugging Facehttps://huggingface.co/collections/robbyant/lingbot-vla-v2ModelScopehttps://modelscope.cn/collections/Robbyant/LingBot-VLA-V2
