目录3.1 具身操作的问题定义与分类3.2 抓取检测与规划3.2.1 抓取表示3.2.2 基于学习的抓取检测3.2.3 抓取规划与运动生成3.3 灵巧操控3.3.1 灵巧手与多指操控3.3.2 基于模仿学习的灵巧操控3.3.3 灵巧操控的前沿进展3.4 接触丰富的操作3.4.1 柔性物体操作3.4.2 装配与精密操作3.4.3 接触动力学建模3.5 双手协同操作3.5.1 双手协同的挑战与策略3.5.2 双手操作的学习方法3.6 工具使用与创造性操作3.6.1 工具使用的认知与计算模型3.6.2 创造性操作与工具制造3.7 操作技能的泛化与迁移3.7.1 操作泛化的挑战3.7.2 提升泛化能力的策略博主智算菩萨专注于人工智能、Python编程、音视频处理及UI窗体程序设计等方向。致力于以通俗易懂的方式拆解前沿技术从零基础入门到高阶实战陪伴开发者共同成长。目前已开设五大技术专栏累计发布多篇原创技术文章深受读者好评。 专栏导航人工智能前沿知识已更144篇深度剖析Transformer架构、生成式AI、强化学习、具身智能、神经符号系统、大模型及智能体Agent技术系统性解析AI核心技术体系与前沿趋势。Python基础小白编程已更232篇从零开始以保姆式教程讲解变量、数据类型、流程控制、函数等核心语法配有大量实战代码与避坑指南真正做到学以致用。机器学习与深度学习125篇系统化拆解线性模型、决策树、随机森林、梯度提升树、神经网络等算法原理与工程实践覆盖从公式推导到代码实现的全链路内容。音频、图像与视频处理理论与实战81篇涵盖FFmpeg多媒体处理、audio_shop开源工具、ComfyUI-WanVideoWrapper视频生成等实用技术从基础操作到高级应用一应俱全。UI窗体程序设计实战78篇深入讲解UI设计、动态窗体生成、游戏UI框架设计等实战技巧提供从配置到编码的完整解决方案。智算菩萨以代码为经以算法为纬在人工智能的星辰大海中做你前行路上最可靠的导航者。本人最常用的AI对话工具是AIGCBAR。3.1 具身操作的问题定义与分类具身交互与操作Embodied Interaction and Manipulation是具身智能的核心能力之一指智能体通过物理接触改变环境状态的行为包括抓取、搬运、推拉、插入、装配等。操作能力是具身智能体从观察者转变为行动者的关键——只有具备操作能力智能体才能真正改变世界、服务人类。操作问题可以从多个维度进行分类。按操作对象的属性可以分为刚性物体操作如金属零件、柔性物体操作如布料、食物和可变形物体操作如橡皮泥、面团。按操作的精细程度可以分为粗粒度操作如推箱子和细粒度操作如穿针引线。按操作的手数可以分为单手操作和双手协同操作。按是否使用工具可以分为裸手操作和工具使用。从数学角度操作问题可以建模为寻找从初始物体状态到目标物体状态的动作序列。设物体状态为x ∈ X \mathbf{x} \in \mathcal{X}x∈X包括位姿、形状等动作为a ∈ A \mathbf{a} \in \mathcal{A}a∈A包括末端执行器的位姿、力等操作的目标是a 0 : T ∗ arg min a 0 : T ∥ x T − x goal ∥ 2 λ ∑ t 0 T c ( a t ) \mathbf{a}_{0:T}^* \arg\min_{\mathbf{a}_{0:T}} \|\mathbf{x}_T - \mathbf{x}_{\text{goal}}\|^2 \lambda \sum_{t0}^{T} c(\mathbf{a}_t)a0:T∗arga0:Tmin∥xT−xgoal∥2λt0∑Tc(at)其中x T \mathbf{x}_TxT为执行动作序列后的物体状态x goal \mathbf{x}_{\text{goal}}xgoal为目标状态c ( a t ) c(\mathbf{a}_t)c(at)为动作代价λ \lambdaλ为权重。这一优化问题的难点在于物体动力学是高度非线性的且涉及复杂的接触力学。3.2 抓取检测与规划3.2.1 抓取表示抓取Grasping是操作的基础指用夹爪或手指固定物体以便后续操作。抓取表示定义了什么是好的抓取是抓取检测和规划的基础。主流的抓取表示包括接触点表示用夹爪与物体表面的接触点集合表示抓取。对于平行夹爪抓取由两个接触点{ p 1 , p 2 } \{\mathbf{p}_1, \mathbf{p}_2\}{p1,p2}定义。接触点表示简单直观但不包含夹爪的接近方向和姿态信息。SE(3)位姿表示用夹爪在SE(3)空间中的6D位姿表示抓取包括3D位置和3D姿态。SE(3)表示完整描述了夹爪的空间配置是6-DOF抓取检测的标准表示。抓取质量度量用力学指标评估抓取的质量最常用的是力封闭Force Closure和形封闭Form Closure。力封闭指通过夹爪施加适当的接触力可以抵抗任意外力扰动形式化定义为存在接触力f c [ f 1 ⊤ , … , f k ⊤ ] ⊤ \mathbf{f}_c [\mathbf{f}_1^\top, \ldots, \mathbf{f}_k^\top]^\topfc[f1⊤,…,fk⊤]⊤使得G f c − w ext , f i ∈ F C i , ∀ i \mathbf{G}\mathbf{f}_c -\mathbf{w}_{\text{ext}}, \quad \mathbf{f}_i \in \mathcal{FC}_i, \quad \forall iGfc−wext,fi∈FCi,∀i其中G \mathbf{G}G为抓取矩阵F C i \mathcal{FC}_iFCi为第i ii个接触的摩擦锥约束w ext \mathbf{w}_{\text{ext}}wext为外部扰动力。力封闭是抓取稳定性的充分条件但其计算需要精确的物体几何和摩擦系数信息在实际应用中通常使用近似度量。3.2.2 基于学习的抓取检测基于学习的抓取检测是当前的主流方法通过数据驱动的方式从视觉输入预测抓取位姿。根据输入模态和输出空间可以分为2D抓取检测和6-DOF抓取检测。2D抓取检测从RGB或RGB-D图像预测抓取的2D位置和角度。代表性工作包括Dex-Net系列Mahler等人2017-2019通过在仿真中生成大量抓取样本训练深度网络预测抓取成功概率。Dex-Net 4.0在物理世界的抓取成功率达到95%以上是工业应用中最成功的抓取系统之一。6-DOF抓取检测从点云或RGB-D数据预测夹爪在SE(3)空间中的6D位姿。GraspNet-1BillionFang等人2020提供了大规模的6-DOF抓取数据集和基准包含超过10亿个抓取标注。Contact-GraspNetSundermeyer等人2021通过接触点预测实现6-DOF抓取检测在杂乱场景中表现优异。AnyGraspFang等人2023通过通用抓取检测模型实现了跨物体、跨场景的抓取泛化。3.2.3 抓取规划与运动生成抓取规划不仅需要确定抓取位姿还需要规划从当前位姿到抓取位姿的无碰撞运动路径。抓取规划通常分为三个阶段接近阶段Approach——从初始位姿移动到抓取位姿附近抓取阶段Grasp——闭合夹爪抓取物体撤离阶段Retreat——将物体从场景中取出。运动规划算法如RRT、PRM、BIT*用于生成无碰撞的运动路径。在抓取规划中运动规划需要考虑机器人运动学约束、环境障碍物和抓取约束的联合优化。GraspIt!Miller和Allen2004和OpenRAVEDiankov2010是经典的抓取规划框架集成了抓取检测、运动规划和碰撞检测功能。基于深度学习的运动生成方法直接从感知输入生成运动轨迹避免了显式的运动规划。BC-ZJang等人2022和RT-1Brohan等人2023通过模仿学习从视觉输入直接预测机器人动作实现了端到端的抓取和操作。3.3 灵巧操控3.3.1 灵巧手与多指操控灵巧操控Dexterous Manipulation指使用多指灵巧手进行精细操作如旋转物体、使用工具、穿针引线等。灵巧手具有比平行夹爪更高的自由度和更丰富的接触模式能够执行更复杂的操作任务但控制难度也大幅增加。灵巧手的控制挑战主要来自三个方面高维动作空间——灵巧手通常有15-25个关节加上手臂的6-7个关节总自由度超过20个复杂接触动力学——多指与物体的接触是动态变化的接触点的建立、滑动和断裂难以精确建模多指协调——多指需要协调运动以维持稳定抓取同时执行操作协调策略的搜索空间巨大。灵巧操控的学习方法主要包括强化学习和模仿学习。OpenAI的Dactyl系统2019-2020使用PPO算法在仿真中训练灵巧手旋转魔方通过大规模域随机化Domain Randomization实现Sim-to-Real迁移。Dactyl的训练使用了约8000个并行仿真环境累计训练了约100年的仿真时间展示了强化学习在灵巧操控中的潜力但也暴露了其样本效率极低的问题。3.3.2 基于模仿学习的灵巧操控模仿学习Imitation Learning通过学习人类示范来获取灵巧操控技能相比强化学习具有更高的样本效率。然而灵巧操控的模仿学习面临对应问题Correspondence Problem——人类手的形态和运动方式与机器人灵巧手差异巨大无法直接复现人类的运动轨迹。遥操作Teleoperation是解决对应问题的有效方法通过遥操作设备让人类直接控制机器人灵巧手收集机器人形态下的示范数据。ALOHA系统Zhao等人2023使用低成本的双手遥操作平台收集操作示范通过动作分块Action Chunking策略实现高效的模仿学习。Mobile ALOHA进一步将遥操作平台安装在移动底座上实现了移动操作的全身操控。遥操作数据的质量和数量直接影响模仿学习的性能。随着遥操作硬件的改进和数据收集流程的优化大规模操作数据集正在快速积累。DROIDDROID Dataset2024是一个大规模的多机器人操作数据集包含约15,000个操作示范覆盖多种任务和场景。Open X-EmbodimentOpen X-Embodiment Collaboration2024整合了全球22个机器人平台的操作数据总计超过100万回合是迄今最大的跨机器人操作数据集。3.3.3 灵巧操控的前沿进展灵巧操控的前沿进展包括旋转操控——使灵巧手在手中旋转物体以实现重新抓取或工具使用工具使用——学习使用工具如锤子、螺丝刀完成操作任务双手协同——协调两只手完成需要双手配合的操作如双手开瓶盖。旋转操控In-Hand Manipulation是灵巧操控中最具挑战性的任务之一要求灵巧手在不放下物体的情况下改变物体的位姿。旋转操控需要精确的接触力控制和多指协调传统控制方法难以实现。Chen等人2023使用强化学习在仿真中训练灵巧手旋转多种物体通过课程学习逐步增加旋转角度最终实现了360度的物体旋转。工具使用是灵巧操控的高级形式要求智能体理解工具的功能并正确使用。工具使用涉及可供性推理——理解工具的哪个部分用于什么目的以及运动规划——协调手和工具的运动。近期工作使用大语言模型进行工具选择和使用规划结合底层控制策略执行工具操作。3.4 接触丰富的操作3.4.1 柔性物体操作柔性物体操作Deformable Object Manipulation是具身操作中最困难的任务类型之一涉及布料、绳索、液体、面团等可变形物体。柔性物体的形状在操作过程中持续变化且变形模式高度复杂难以精确建模和预测。布料操作是柔性物体操作的代表性任务包括折叠、展开、悬挂和穿戴等。布料操作的核心挑战是布料的高维状态空间——布料的构型需要用大量节点的位置来描述且布料的动力学涉及复杂的自碰撞和摩擦。基于学习的方法通过在仿真中训练布料操作策略然后迁移到真实世界。SoftGymLin等人2021提供了布料和绳索操作的仿真环境和基准。绳索操作涉及绳索的打结、解结和穿引等任务。绳索的拓扑结构如结的类型是操作的关键约束但拓扑变化难以在连续动力学中建模。近期工作使用图神经网络建模绳索的拓扑结构结合强化学习学习打结和解结策略。3.4.2 装配与精密操作装配任务Assembly Task要求智能体将多个零件组装成完整的结构如家具组装、电子元件插接和机械装配。装配任务涉及精密的位姿对齐、力控制和多步骤协调是具身操作的终极挑战之一。精密操作Precision Manipulation要求亚毫米级的定位精度和精细的力控制如插入USB接口、拧螺丝和穿针引线。精密操作的难点在于定位精度要求远超常规视觉感知的精度接触状态的突变如销钉插入孔的瞬间导致动力学不连续力反馈的延迟和噪声影响控制稳定性。精密操作的解决方案包括高精度视觉伺服——使用高分辨率相机和视觉伺服控制实现亚毫米级定位触觉引导——使用触觉传感器检测接触状态并引导插入混合控制——结合位置控制和力控制在不同阶段切换控制模式。近期工作使用强化学习端到端学习精密操作策略通过域随机化提高泛化能力。3.4.3 接触动力学建模接触动力学Contact Dynamics是操作任务的核心物理过程描述了物体间接触的建立、维持和断裂。接触动力学的精确建模对于操作规划和控制至关重要但由于接触的不连续性和摩擦的非线性精确建模极为困难。接触动力学的标准模型包括点接触模型——将接触简化为离散的接触点每个接触点有法向力和摩擦力面接触模型——考虑接触面的压力分布适用于柔性和共形接触柔性接触模型——使用弹簧-阻尼器近似接触力学避免刚性接触的不连续性。基于学习的接触动力学建模使用神经网络从数据中学习接触动力学无需显式的物理模型。学习到的接触模型可以用于模型预测控制MPC和规划提高操作的精度和鲁棒性。然而学习到的模型的泛化能力有限在训练分布之外的接触场景中可能失效。3.5 双手协同操作3.5.1 双手协同的挑战与策略双手协同操作Bimanual Manipulation要求两只手臂和手协调运动以完成单手无法完成的任务如双手搬运大物体、一只手固定另一只手操作、双手协同装配等。双手协同的核心挑战是协调问题——两只手需要在时间和空间上精确配合任何一只手的延迟或偏差都可能导致任务失败。双手协同策略可以分为对称协同和非对称协同。对称协同指两只手执行相似的动作如双手对称搬运非对称协同指两只手执行不同的动作如一只手固定物体另一只手操作。非对称协同更具挑战性因为两只手的角色和动作需要紧密协调。3.5.2 双手操作的学习方法双手操作的学习方法面临维度灾难问题——双手系统的动作空间是单手系统的两倍以上策略搜索的复杂度指数增长。解决这一问题的方法包括角色分配预先为两只手分配角色如左手固定、右手操作将联合策略分解为两个子策略降低搜索空间。角色分配简化了学习问题但限制了双手协同的灵活性。分层策略使用高层策略决定两只手的协同模式低层策略在给定协同模式下控制各手的运动。分层策略将复杂的协同决策分解为层次化的子问题提高了学习效率。共享表征使用共享的神经网络骨干提取场景特征然后分别输出两只手的动作。共享表征允许两只手共享感知信息促进协调。ALOHA系统是双手协同操作的代表性工作。ALOHA使用两个低成本的机械臂进行双手遥操作收集人类示范数据然后通过动作分块与TransformerACT策略进行模仿学习。ALOHA在拉链拉合、电池插入和螺丝拧紧等精细双手任务上取得了令人印象深刻的表现。3.6 工具使用与创造性操作3.6.1 工具使用的认知与计算模型工具使用是人类智能的标志性能力也是具身智能的重要研究方向。工具使用要求智能体理解工具的功能可供性选择合适的工具并正确使用工具完成任务。从认知科学的角度工具使用涉及因果推理——理解工具如何通过物理作用改变环境状态。工具使用的计算模型可以分为基于规划的方法和基于学习的方法。基于规划的方法使用符号推理选择和使用工具如要钉钉子需要用锤子。基于学习的方法通过模仿学习或强化学习从数据中学习工具使用技能。大语言模型为工具使用带来了新的可能。LLM可以理解自然语言描述的工具功能推理工具选择的逻辑并生成工具使用的步骤规划。SayCanAhn等人2022和Inner MonologueHuang等人2022等工作展示了LLM在工具选择和使用规划中的能力将LLM的语义推理能力与底层控制策略结合实现了基于语言指令的工具使用。3.6.2 创造性操作与工具制造创造性操作是具身操作的前沿方向要求智能体不仅使用现有工具还能创造新工具或发现物体非常规的操作方式。例如当没有锤子时智能体可能发现用扳手也能钉钉子——这需要理解锤子和扳手在敲击功能上的共性。工具制造Tool Making是创造性操作的极致形式要求智能体从环境中的原材料制造工具。目前的研究主要集中在仿真环境中如使用简单的几何体组装工具。工具制造需要更深层的物理理解和创造性推理是未来具身智能的重要挑战。3.7 操作技能的泛化与迁移3.7.1 操作泛化的挑战操作技能的泛化是具身智能面临的核心挑战之一。一个在训练环境中学会抓取杯子的策略可能无法抓取形状不同的新杯子更无法抓取从未见过的物体。操作泛化的困难来自多个方面物体多样性——真实世界中的物体在形状、大小、重量、表面属性等方面差异巨大场景复杂性——不同的光照、遮挡和背景干扰影响感知物理不确定性——摩擦、滑动和变形等物理过程的不确定性影响操作结果。3.7.2 提升泛化能力的策略提升操作泛化能力的主要策略包括数据增强与域随机化在训练时通过随机化仿真参数物体属性、光照、纹理等增加数据多样性迫使策略学习对变化鲁棒的特征。域随机化是Sim-to-Real迁移的关键技术在Dactyl、BC-Z等系统中被广泛使用。表征学习学习对物体变化不变的表征如物体的功能属性可供性而非外观特征。功能表征使策略能够将学到的技能迁移到外观不同但功能相似的物体上。元学习与少样本适应通过元学习训练策略具备快速适应新物体的能力。给定少量新物体的示范或交互数据策略能够快速调整以适应新物体。基础模型赋能利用视觉语言基础模型的开放世界理解能力实现零样本或少样本的操作泛化。RT-2等VLA模型通过在大规模网络数据上预训练获得了对未见物体的操作能力。下表总结了当前主要操作方法的泛化能力对比方法训练数据泛化能力代表性工作传统规划物体模型仅已知物体GraspIt!, OpenRAVE监督学习大量抓取标注同类物体Dex-Net 4.0强化学习仿真交互域随机化范围内Dactyl, BC-Z模仿学习人类示范示范分布内ALOHA, ACTVLA模型网络数据机器人数据开放世界RT-2, π0具身交互与操作是具身智能最具挑战性的研究方向之一从简单的刚性抓取到灵巧的多指操控从单手操作到双手协同从使用工具到创造工具操作能力的每一步提升都代表着智能体在物理世界中行动能力的质的飞跃。随着大模型技术的引入和大规模操作数据的积累具身操作正在迎来从实验室到产业化的关键转折。
具身智能研究现状与未来前景（三）：具身交互与操作——从刚性抓取到灵巧操控的技术演进
目录3.1 具身操作的问题定义与分类3.2 抓取检测与规划3.2.1 抓取表示3.2.2 基于学习的抓取检测3.2.3 抓取规划与运动生成3.3 灵巧操控3.3.1 灵巧手与多指操控3.3.2 基于模仿学习的灵巧操控3.3.3 灵巧操控的前沿进展3.4 接触丰富的操作3.4.1 柔性物体操作3.4.2 装配与精密操作3.4.3 接触动力学建模3.5 双手协同操作3.5.1 双手协同的挑战与策略3.5.2 双手操作的学习方法3.6 工具使用与创造性操作3.6.1 工具使用的认知与计算模型3.6.2 创造性操作与工具制造3.7 操作技能的泛化与迁移3.7.1 操作泛化的挑战3.7.2 提升泛化能力的策略博主智算菩萨专注于人工智能、Python编程、音视频处理及UI窗体程序设计等方向。致力于以通俗易懂的方式拆解前沿技术从零基础入门到高阶实战陪伴开发者共同成长。目前已开设五大技术专栏累计发布多篇原创技术文章深受读者好评。 专栏导航人工智能前沿知识已更144篇深度剖析Transformer架构、生成式AI、强化学习、具身智能、神经符号系统、大模型及智能体Agent技术系统性解析AI核心技术体系与前沿趋势。Python基础小白编程已更232篇从零开始以保姆式教程讲解变量、数据类型、流程控制、函数等核心语法配有大量实战代码与避坑指南真正做到学以致用。机器学习与深度学习125篇系统化拆解线性模型、决策树、随机森林、梯度提升树、神经网络等算法原理与工程实践覆盖从公式推导到代码实现的全链路内容。音频、图像与视频处理理论与实战81篇涵盖FFmpeg多媒体处理、audio_shop开源工具、ComfyUI-WanVideoWrapper视频生成等实用技术从基础操作到高级应用一应俱全。UI窗体程序设计实战78篇深入讲解UI设计、动态窗体生成、游戏UI框架设计等实战技巧提供从配置到编码的完整解决方案。智算菩萨以代码为经以算法为纬在人工智能的星辰大海中做你前行路上最可靠的导航者。本人最常用的AI对话工具是AIGCBAR。3.1 具身操作的问题定义与分类具身交互与操作Embodied Interaction and Manipulation是具身智能的核心能力之一指智能体通过物理接触改变环境状态的行为包括抓取、搬运、推拉、插入、装配等。操作能力是具身智能体从观察者转变为行动者的关键——只有具备操作能力智能体才能真正改变世界、服务人类。操作问题可以从多个维度进行分类。按操作对象的属性可以分为刚性物体操作如金属零件、柔性物体操作如布料、食物和可变形物体操作如橡皮泥、面团。按操作的精细程度可以分为粗粒度操作如推箱子和细粒度操作如穿针引线。按操作的手数可以分为单手操作和双手协同操作。按是否使用工具可以分为裸手操作和工具使用。从数学角度操作问题可以建模为寻找从初始物体状态到目标物体状态的动作序列。设物体状态为x ∈ X \mathbf{x} \in \mathcal{X}x∈X包括位姿、形状等动作为a ∈ A \mathbf{a} \in \mathcal{A}a∈A包括末端执行器的位姿、力等操作的目标是a 0 : T ∗ arg min a 0 : T ∥ x T − x goal ∥ 2 λ ∑ t 0 T c ( a t ) \mathbf{a}_{0:T}^* \arg\min_{\mathbf{a}_{0:T}} \|\mathbf{x}_T - \mathbf{x}_{\text{goal}}\|^2 \lambda \sum_{t0}^{T} c(\mathbf{a}_t)a0:T∗arga0:Tmin∥xT−xgoal∥2λt0∑Tc(at)其中x T \mathbf{x}_TxT为执行动作序列后的物体状态x goal \mathbf{x}_{\text{goal}}xgoal为目标状态c ( a t ) c(\mathbf{a}_t)c(at)为动作代价λ \lambdaλ为权重。这一优化问题的难点在于物体动力学是高度非线性的且涉及复杂的接触力学。3.2 抓取检测与规划3.2.1 抓取表示抓取Grasping是操作的基础指用夹爪或手指固定物体以便后续操作。抓取表示定义了什么是好的抓取是抓取检测和规划的基础。主流的抓取表示包括接触点表示用夹爪与物体表面的接触点集合表示抓取。对于平行夹爪抓取由两个接触点{ p 1 , p 2 } \{\mathbf{p}_1, \mathbf{p}_2\}{p1,p2}定义。接触点表示简单直观但不包含夹爪的接近方向和姿态信息。SE(3)位姿表示用夹爪在SE(3)空间中的6D位姿表示抓取包括3D位置和3D姿态。SE(3)表示完整描述了夹爪的空间配置是6-DOF抓取检测的标准表示。抓取质量度量用力学指标评估抓取的质量最常用的是力封闭Force Closure和形封闭Form Closure。力封闭指通过夹爪施加适当的接触力可以抵抗任意外力扰动形式化定义为存在接触力f c [ f 1 ⊤ , … , f k ⊤ ] ⊤ \mathbf{f}_c [\mathbf{f}_1^\top, \ldots, \mathbf{f}_k^\top]^\topfc[f1⊤,…,fk⊤]⊤使得G f c − w ext , f i ∈ F C i , ∀ i \mathbf{G}\mathbf{f}_c -\mathbf{w}_{\text{ext}}, \quad \mathbf{f}_i \in \mathcal{FC}_i, \quad \forall iGfc−wext,fi∈FCi,∀i其中G \mathbf{G}G为抓取矩阵F C i \mathcal{FC}_iFCi为第i ii个接触的摩擦锥约束w ext \mathbf{w}_{\text{ext}}wext为外部扰动力。力封闭是抓取稳定性的充分条件但其计算需要精确的物体几何和摩擦系数信息在实际应用中通常使用近似度量。3.2.2 基于学习的抓取检测基于学习的抓取检测是当前的主流方法通过数据驱动的方式从视觉输入预测抓取位姿。根据输入模态和输出空间可以分为2D抓取检测和6-DOF抓取检测。2D抓取检测从RGB或RGB-D图像预测抓取的2D位置和角度。代表性工作包括Dex-Net系列Mahler等人2017-2019通过在仿真中生成大量抓取样本训练深度网络预测抓取成功概率。Dex-Net 4.0在物理世界的抓取成功率达到95%以上是工业应用中最成功的抓取系统之一。6-DOF抓取检测从点云或RGB-D数据预测夹爪在SE(3)空间中的6D位姿。GraspNet-1BillionFang等人2020提供了大规模的6-DOF抓取数据集和基准包含超过10亿个抓取标注。Contact-GraspNetSundermeyer等人2021通过接触点预测实现6-DOF抓取检测在杂乱场景中表现优异。AnyGraspFang等人2023通过通用抓取检测模型实现了跨物体、跨场景的抓取泛化。3.2.3 抓取规划与运动生成抓取规划不仅需要确定抓取位姿还需要规划从当前位姿到抓取位姿的无碰撞运动路径。抓取规划通常分为三个阶段接近阶段Approach——从初始位姿移动到抓取位姿附近抓取阶段Grasp——闭合夹爪抓取物体撤离阶段Retreat——将物体从场景中取出。运动规划算法如RRT、PRM、BIT*用于生成无碰撞的运动路径。在抓取规划中运动规划需要考虑机器人运动学约束、环境障碍物和抓取约束的联合优化。GraspIt!Miller和Allen2004和OpenRAVEDiankov2010是经典的抓取规划框架集成了抓取检测、运动规划和碰撞检测功能。基于深度学习的运动生成方法直接从感知输入生成运动轨迹避免了显式的运动规划。BC-ZJang等人2022和RT-1Brohan等人2023通过模仿学习从视觉输入直接预测机器人动作实现了端到端的抓取和操作。3.3 灵巧操控3.3.1 灵巧手与多指操控灵巧操控Dexterous Manipulation指使用多指灵巧手进行精细操作如旋转物体、使用工具、穿针引线等。灵巧手具有比平行夹爪更高的自由度和更丰富的接触模式能够执行更复杂的操作任务但控制难度也大幅增加。灵巧手的控制挑战主要来自三个方面高维动作空间——灵巧手通常有15-25个关节加上手臂的6-7个关节总自由度超过20个复杂接触动力学——多指与物体的接触是动态变化的接触点的建立、滑动和断裂难以精确建模多指协调——多指需要协调运动以维持稳定抓取同时执行操作协调策略的搜索空间巨大。灵巧操控的学习方法主要包括强化学习和模仿学习。OpenAI的Dactyl系统2019-2020使用PPO算法在仿真中训练灵巧手旋转魔方通过大规模域随机化Domain Randomization实现Sim-to-Real迁移。Dactyl的训练使用了约8000个并行仿真环境累计训练了约100年的仿真时间展示了强化学习在灵巧操控中的潜力但也暴露了其样本效率极低的问题。3.3.2 基于模仿学习的灵巧操控模仿学习Imitation Learning通过学习人类示范来获取灵巧操控技能相比强化学习具有更高的样本效率。然而灵巧操控的模仿学习面临对应问题Correspondence Problem——人类手的形态和运动方式与机器人灵巧手差异巨大无法直接复现人类的运动轨迹。遥操作Teleoperation是解决对应问题的有效方法通过遥操作设备让人类直接控制机器人灵巧手收集机器人形态下的示范数据。ALOHA系统Zhao等人2023使用低成本的双手遥操作平台收集操作示范通过动作分块Action Chunking策略实现高效的模仿学习。Mobile ALOHA进一步将遥操作平台安装在移动底座上实现了移动操作的全身操控。遥操作数据的质量和数量直接影响模仿学习的性能。随着遥操作硬件的改进和数据收集流程的优化大规模操作数据集正在快速积累。DROIDDROID Dataset2024是一个大规模的多机器人操作数据集包含约15,000个操作示范覆盖多种任务和场景。Open X-EmbodimentOpen X-Embodiment Collaboration2024整合了全球22个机器人平台的操作数据总计超过100万回合是迄今最大的跨机器人操作数据集。3.3.3 灵巧操控的前沿进展灵巧操控的前沿进展包括旋转操控——使灵巧手在手中旋转物体以实现重新抓取或工具使用工具使用——学习使用工具如锤子、螺丝刀完成操作任务双手协同——协调两只手完成需要双手配合的操作如双手开瓶盖。旋转操控In-Hand Manipulation是灵巧操控中最具挑战性的任务之一要求灵巧手在不放下物体的情况下改变物体的位姿。旋转操控需要精确的接触力控制和多指协调传统控制方法难以实现。Chen等人2023使用强化学习在仿真中训练灵巧手旋转多种物体通过课程学习逐步增加旋转角度最终实现了360度的物体旋转。工具使用是灵巧操控的高级形式要求智能体理解工具的功能并正确使用。工具使用涉及可供性推理——理解工具的哪个部分用于什么目的以及运动规划——协调手和工具的运动。近期工作使用大语言模型进行工具选择和使用规划结合底层控制策略执行工具操作。3.4 接触丰富的操作3.4.1 柔性物体操作柔性物体操作Deformable Object Manipulation是具身操作中最困难的任务类型之一涉及布料、绳索、液体、面团等可变形物体。柔性物体的形状在操作过程中持续变化且变形模式高度复杂难以精确建模和预测。布料操作是柔性物体操作的代表性任务包括折叠、展开、悬挂和穿戴等。布料操作的核心挑战是布料的高维状态空间——布料的构型需要用大量节点的位置来描述且布料的动力学涉及复杂的自碰撞和摩擦。基于学习的方法通过在仿真中训练布料操作策略然后迁移到真实世界。SoftGymLin等人2021提供了布料和绳索操作的仿真环境和基准。绳索操作涉及绳索的打结、解结和穿引等任务。绳索的拓扑结构如结的类型是操作的关键约束但拓扑变化难以在连续动力学中建模。近期工作使用图神经网络建模绳索的拓扑结构结合强化学习学习打结和解结策略。3.4.2 装配与精密操作装配任务Assembly Task要求智能体将多个零件组装成完整的结构如家具组装、电子元件插接和机械装配。装配任务涉及精密的位姿对齐、力控制和多步骤协调是具身操作的终极挑战之一。精密操作Precision Manipulation要求亚毫米级的定位精度和精细的力控制如插入USB接口、拧螺丝和穿针引线。精密操作的难点在于定位精度要求远超常规视觉感知的精度接触状态的突变如销钉插入孔的瞬间导致动力学不连续力反馈的延迟和噪声影响控制稳定性。精密操作的解决方案包括高精度视觉伺服——使用高分辨率相机和视觉伺服控制实现亚毫米级定位触觉引导——使用触觉传感器检测接触状态并引导插入混合控制——结合位置控制和力控制在不同阶段切换控制模式。近期工作使用强化学习端到端学习精密操作策略通过域随机化提高泛化能力。3.4.3 接触动力学建模接触动力学Contact Dynamics是操作任务的核心物理过程描述了物体间接触的建立、维持和断裂。接触动力学的精确建模对于操作规划和控制至关重要但由于接触的不连续性和摩擦的非线性精确建模极为困难。接触动力学的标准模型包括点接触模型——将接触简化为离散的接触点每个接触点有法向力和摩擦力面接触模型——考虑接触面的压力分布适用于柔性和共形接触柔性接触模型——使用弹簧-阻尼器近似接触力学避免刚性接触的不连续性。基于学习的接触动力学建模使用神经网络从数据中学习接触动力学无需显式的物理模型。学习到的接触模型可以用于模型预测控制MPC和规划提高操作的精度和鲁棒性。然而学习到的模型的泛化能力有限在训练分布之外的接触场景中可能失效。3.5 双手协同操作3.5.1 双手协同的挑战与策略双手协同操作Bimanual Manipulation要求两只手臂和手协调运动以完成单手无法完成的任务如双手搬运大物体、一只手固定另一只手操作、双手协同装配等。双手协同的核心挑战是协调问题——两只手需要在时间和空间上精确配合任何一只手的延迟或偏差都可能导致任务失败。双手协同策略可以分为对称协同和非对称协同。对称协同指两只手执行相似的动作如双手对称搬运非对称协同指两只手执行不同的动作如一只手固定物体另一只手操作。非对称协同更具挑战性因为两只手的角色和动作需要紧密协调。3.5.2 双手操作的学习方法双手操作的学习方法面临维度灾难问题——双手系统的动作空间是单手系统的两倍以上策略搜索的复杂度指数增长。解决这一问题的方法包括角色分配预先为两只手分配角色如左手固定、右手操作将联合策略分解为两个子策略降低搜索空间。角色分配简化了学习问题但限制了双手协同的灵活性。分层策略使用高层策略决定两只手的协同模式低层策略在给定协同模式下控制各手的运动。分层策略将复杂的协同决策分解为层次化的子问题提高了学习效率。共享表征使用共享的神经网络骨干提取场景特征然后分别输出两只手的动作。共享表征允许两只手共享感知信息促进协调。ALOHA系统是双手协同操作的代表性工作。ALOHA使用两个低成本的机械臂进行双手遥操作收集人类示范数据然后通过动作分块与TransformerACT策略进行模仿学习。ALOHA在拉链拉合、电池插入和螺丝拧紧等精细双手任务上取得了令人印象深刻的表现。3.6 工具使用与创造性操作3.6.1 工具使用的认知与计算模型工具使用是人类智能的标志性能力也是具身智能的重要研究方向。工具使用要求智能体理解工具的功能可供性选择合适的工具并正确使用工具完成任务。从认知科学的角度工具使用涉及因果推理——理解工具如何通过物理作用改变环境状态。工具使用的计算模型可以分为基于规划的方法和基于学习的方法。基于规划的方法使用符号推理选择和使用工具如要钉钉子需要用锤子。基于学习的方法通过模仿学习或强化学习从数据中学习工具使用技能。大语言模型为工具使用带来了新的可能。LLM可以理解自然语言描述的工具功能推理工具选择的逻辑并生成工具使用的步骤规划。SayCanAhn等人2022和Inner MonologueHuang等人2022等工作展示了LLM在工具选择和使用规划中的能力将LLM的语义推理能力与底层控制策略结合实现了基于语言指令的工具使用。3.6.2 创造性操作与工具制造创造性操作是具身操作的前沿方向要求智能体不仅使用现有工具还能创造新工具或发现物体非常规的操作方式。例如当没有锤子时智能体可能发现用扳手也能钉钉子——这需要理解锤子和扳手在敲击功能上的共性。工具制造Tool Making是创造性操作的极致形式要求智能体从环境中的原材料制造工具。目前的研究主要集中在仿真环境中如使用简单的几何体组装工具。工具制造需要更深层的物理理解和创造性推理是未来具身智能的重要挑战。3.7 操作技能的泛化与迁移3.7.1 操作泛化的挑战操作技能的泛化是具身智能面临的核心挑战之一。一个在训练环境中学会抓取杯子的策略可能无法抓取形状不同的新杯子更无法抓取从未见过的物体。操作泛化的困难来自多个方面物体多样性——真实世界中的物体在形状、大小、重量、表面属性等方面差异巨大场景复杂性——不同的光照、遮挡和背景干扰影响感知物理不确定性——摩擦、滑动和变形等物理过程的不确定性影响操作结果。3.7.2 提升泛化能力的策略提升操作泛化能力的主要策略包括数据增强与域随机化在训练时通过随机化仿真参数物体属性、光照、纹理等增加数据多样性迫使策略学习对变化鲁棒的特征。域随机化是Sim-to-Real迁移的关键技术在Dactyl、BC-Z等系统中被广泛使用。表征学习学习对物体变化不变的表征如物体的功能属性可供性而非外观特征。功能表征使策略能够将学到的技能迁移到外观不同但功能相似的物体上。元学习与少样本适应通过元学习训练策略具备快速适应新物体的能力。给定少量新物体的示范或交互数据策略能够快速调整以适应新物体。基础模型赋能利用视觉语言基础模型的开放世界理解能力实现零样本或少样本的操作泛化。RT-2等VLA模型通过在大规模网络数据上预训练获得了对未见物体的操作能力。下表总结了当前主要操作方法的泛化能力对比方法训练数据泛化能力代表性工作传统规划物体模型仅已知物体GraspIt!, OpenRAVE监督学习大量抓取标注同类物体Dex-Net 4.0强化学习仿真交互域随机化范围内Dactyl, BC-Z模仿学习人类示范示范分布内ALOHA, ACTVLA模型网络数据机器人数据开放世界RT-2, π0具身交互与操作是具身智能最具挑战性的研究方向之一从简单的刚性抓取到灵巧的多指操控从单手操作到双手协同从使用工具到创造工具操作能力的每一步提升都代表着智能体在物理世界中行动能力的质的飞跃。随着大模型技术的引入和大规模操作数据的积累具身操作正在迎来从实验室到产业化的关键转折。
