在机器人学习研究中准确衡量和比较机器人策略Robot Policies的性能一直是一项艰巨的任务。传统的实机测试受限于随机性、低复现性以及极高的时间与人力成本 。随着通用型机器人大模型如 Vision-Language-Action 模型VLA的兴起机器人需要在多样化的场景中执行任务这使得在大规模真实环境下进行性能验证变得愈发困难 。为了突破这一瓶颈研究人员提出了 PolaRiSPolicy Evaluation and Environment Reconstruction in Simulation框架。该框架以 Franka Research 3 (FR3) 机械臂为核心实验平台通过高精度的“实对虚”Real-to-Sim技术构建了一个可扩展、高保真且具备强真实感关联的仿真评估体系 。图 1 | PolaRiS 框架概述。核心硬件平台Franka Research 3 (FR3)在 PolaRiS 的开发与验证过程中Franka Research 3以下简称 FR3机械臂发挥了关键作用。作为 DROID 平台的核心组成部分FR3 是一款具备 7 个自由度7-DoF的协作型机器人手臂 。其高度的灵活性和精确的动力学特性使其成为验证复杂操纵策略的理想工具。在 PolaRiS 框架中FR3 的应用具有以下技术特点多传感器集成实验配置通常结合了 FR3 手臂与两台 ZED RGB 摄像头其中一台摄像头安装在机器人的手腕处 。这种配置要求仿真系统必须支持手腕相机的动态渲染而 PolaRiS 通过 3D 场景重建完美解决了这一需求动作空间选择虽然 FR3 支持关节速度和关节位置两种控制模式但研究发现采用关节位置Joint Position动作空间在仿真中更为精确因为其累积误差相对较小更有利于实现“虚实结合”的准确评估 。PolaRiS 框架从视频到可交互仿真PolaRiS 的核心优势在于其能够将一段 2-5 分钟的真实世界单目视频快速转化为高保真的交互式仿真环境 。这一过程主要分为三个步骤图 2 | PolaRiS 的仿真环境构建流程。1. 环境与机器人的神经重建利用 2D 高斯泼溅2DGS 技术PolaRiS 能够还原环境的视觉细节与几何结构 。研究人员分别为静态背景和 FR3 机械臂录制视频从而训练出独立的 2DGS 模型 。这种解耦方法允许机器人在仿真空间中根据其真实的运动学链路进行自由活动 。2. 自动化关节连接Automatic Articulation为了让仿真的 FR3 动起来PolaRiS 将高斯原语锚定到机器人的运动学连杆上 。这意味着当机器人的关节配置发生改变时对应的视觉表现会同步更新从而实现光影效果与物理运动的高度一致 。3. 场景合成与物体生成通过专门开发的图形用户界面GUI用户可以在 5 分钟内完成场景合成 。物体模型则采用 TRELLIS 等生成模型从单张照片中快速构建极大地降低了资产创建的门槛 。图 3 | 场景组合图形用户界面的场景制作示例。消除“虚实鸿沟”轻量化协同训练尽管视觉精度已显著提升但仿真与现实之间仍存在细微差异如光影变化这会影响机器人的决策判断 。PolaRiS 引入了一种策略无关的仿真数据协同训练方案Co-training 极低数据需求仅需几百个仿真示范序列和少量的微调步骤通常在 25 分钟内完成 。图 4 | PolaRiS 仿真协同训练数据集环境。跨场景通用性微调后的策略可以在从未见过的仿真环境中进行“零样本”评估而无需为每个新场景重新收集数据 。实验验证极高的真实世界相关性在涉及 FR3 机械臂的多项任务如堆叠方块、清理平底锅、整理工具等中PolaRiS 展示了卓越的评估能力 。实验数据显示PolaRiS 的仿真评分与真实世界表现的 Pearson 相关系数达到了 0.9远高于现有的 LIBERO 等通用仿真基准 。这证明了该框架能够准确预测不同 AI 模型在实际部署中的优劣顺序 。图 5 | 评估环境。上图为真实物理环境下图为 PolaRiS 仿真评估复刻环境。研究通过高斯溅射技术完成场景重建、借助 TRELLIS 模型生成物体资产打造出高视觉保真度的仿真评估环境。结论与展望以 Franka Research 3 为核心平台的 PolaRiS 框架标志着机器人策略评估向自动化、规模化迈出了重要一步 。它不仅显著降低了评估成本还通过开源工具链推动了机器人基础模型Robotic Foundation Models的民主化发展 。在未来这种高精度的“实对虚”技术将成为连接实验室研究与大规模工业应用的重要桥梁助力更智能、更稳健的通用机器人走向现实。项目详情https://polaris-evals.github.io/论文详情https://arxiv.org/pdf/2512.16881
高精度仿真引领机器人学习：以 Franka Research 3 为核心的 PolaRiS 评估框架深度解析
在机器人学习研究中准确衡量和比较机器人策略Robot Policies的性能一直是一项艰巨的任务。传统的实机测试受限于随机性、低复现性以及极高的时间与人力成本 。随着通用型机器人大模型如 Vision-Language-Action 模型VLA的兴起机器人需要在多样化的场景中执行任务这使得在大规模真实环境下进行性能验证变得愈发困难 。为了突破这一瓶颈研究人员提出了 PolaRiSPolicy Evaluation and Environment Reconstruction in Simulation框架。该框架以 Franka Research 3 (FR3) 机械臂为核心实验平台通过高精度的“实对虚”Real-to-Sim技术构建了一个可扩展、高保真且具备强真实感关联的仿真评估体系 。图 1 | PolaRiS 框架概述。核心硬件平台Franka Research 3 (FR3)在 PolaRiS 的开发与验证过程中Franka Research 3以下简称 FR3机械臂发挥了关键作用。作为 DROID 平台的核心组成部分FR3 是一款具备 7 个自由度7-DoF的协作型机器人手臂 。其高度的灵活性和精确的动力学特性使其成为验证复杂操纵策略的理想工具。在 PolaRiS 框架中FR3 的应用具有以下技术特点多传感器集成实验配置通常结合了 FR3 手臂与两台 ZED RGB 摄像头其中一台摄像头安装在机器人的手腕处 。这种配置要求仿真系统必须支持手腕相机的动态渲染而 PolaRiS 通过 3D 场景重建完美解决了这一需求动作空间选择虽然 FR3 支持关节速度和关节位置两种控制模式但研究发现采用关节位置Joint Position动作空间在仿真中更为精确因为其累积误差相对较小更有利于实现“虚实结合”的准确评估 。PolaRiS 框架从视频到可交互仿真PolaRiS 的核心优势在于其能够将一段 2-5 分钟的真实世界单目视频快速转化为高保真的交互式仿真环境 。这一过程主要分为三个步骤图 2 | PolaRiS 的仿真环境构建流程。1. 环境与机器人的神经重建利用 2D 高斯泼溅2DGS 技术PolaRiS 能够还原环境的视觉细节与几何结构 。研究人员分别为静态背景和 FR3 机械臂录制视频从而训练出独立的 2DGS 模型 。这种解耦方法允许机器人在仿真空间中根据其真实的运动学链路进行自由活动 。2. 自动化关节连接Automatic Articulation为了让仿真的 FR3 动起来PolaRiS 将高斯原语锚定到机器人的运动学连杆上 。这意味着当机器人的关节配置发生改变时对应的视觉表现会同步更新从而实现光影效果与物理运动的高度一致 。3. 场景合成与物体生成通过专门开发的图形用户界面GUI用户可以在 5 分钟内完成场景合成 。物体模型则采用 TRELLIS 等生成模型从单张照片中快速构建极大地降低了资产创建的门槛 。图 3 | 场景组合图形用户界面的场景制作示例。消除“虚实鸿沟”轻量化协同训练尽管视觉精度已显著提升但仿真与现实之间仍存在细微差异如光影变化这会影响机器人的决策判断 。PolaRiS 引入了一种策略无关的仿真数据协同训练方案Co-training 极低数据需求仅需几百个仿真示范序列和少量的微调步骤通常在 25 分钟内完成 。图 4 | PolaRiS 仿真协同训练数据集环境。跨场景通用性微调后的策略可以在从未见过的仿真环境中进行“零样本”评估而无需为每个新场景重新收集数据 。实验验证极高的真实世界相关性在涉及 FR3 机械臂的多项任务如堆叠方块、清理平底锅、整理工具等中PolaRiS 展示了卓越的评估能力 。实验数据显示PolaRiS 的仿真评分与真实世界表现的 Pearson 相关系数达到了 0.9远高于现有的 LIBERO 等通用仿真基准 。这证明了该框架能够准确预测不同 AI 模型在实际部署中的优劣顺序 。图 5 | 评估环境。上图为真实物理环境下图为 PolaRiS 仿真评估复刻环境。研究通过高斯溅射技术完成场景重建、借助 TRELLIS 模型生成物体资产打造出高视觉保真度的仿真评估环境。结论与展望以 Franka Research 3 为核心平台的 PolaRiS 框架标志着机器人策略评估向自动化、规模化迈出了重要一步 。它不仅显著降低了评估成本还通过开源工具链推动了机器人基础模型Robotic Foundation Models的民主化发展 。在未来这种高精度的“实对虚”技术将成为连接实验室研究与大规模工业应用的重要桥梁助力更智能、更稳健的通用机器人走向现实。项目详情https://polaris-evals.github.io/论文详情https://arxiv.org/pdf/2512.16881
