光轮智能 谢晨 访谈总结机器人仿真关于创始人关于数据数据金字塔数据痛点仿真数据的重要性仿真数据的质量b站链接地址公司官网关于创始人清华物理哥伦比亚金融英伟达智驾仿真小鹏智驾仿真现为光轮智能CEO关于数据数据的重要性数据对于智能 类似教育对于人数据的发展step1机器视觉时期数据集 - 静态 - 填鸭式教育step2工业化 - 工厂式流程 - 量贩式教育step3大语言 后训练- 评价-考核 因材施教传授反馈基于更有效的传授与反馈发展方向静态数据变为教育系统评价方变成数据提供方更加针对性。数据朝着针对性指导这个方向去演进数据金字塔塔顶实际机器人采集的数据塔中仿真生成的数据塔基互联网或者第一视角数据数据痛点训练数据来源无法像实车一样路上有千万台在运行。评测标准无法像实车司机实时监督不符合标准就会介入。仿真数据的重要性重要性没有仿真机器人必然办不成机器人数据闭关与自动驾驶是完全不一样。是一个必须项目。真机还得回归仿真之前很多公司只要真机数据不要仿真。现在又回来要仿真数据。因为感觉算法ok但是无法大规模评测。真实场景与评价数据真机派与仿真派之争真机数据派暂占上风因为她们就是卖真机的。底层数据的采集人类数据被低估。让人带上消费级硬件百万级别的才行。数据的价格数据越来越贵后训练与评价会越来越贵是提升的关键。仿真数据的质量高质量数据真实场景、足够多样化、足够真实、足够交互轨迹记录。评价指标足够准确。b站链接地址公司官网主要业务1、即用资源库simready.com。可以购买仿真的物体放入自己的场景中。2、自定义资产创建服务解释客户给图片、点云、视频给客户搭建仿真场景。3、将现有的3D资产转换为可仿真资源总结搭建仿真场景并进行仿真的全栈式服务。岗位相关的总结技术使用Isaac基于Physx物理引擎创建USD仿真场景文件修改资产常见问题针对不同场景使用不同碰撞体形式如Convex Hull等。名词解释1、USDUSDUniversal Scene Description通用场景描述 是机器人仿真里的3D 场景 / 资产标准格式与框架不是简单的模型文件而是能描述整个仿真世界 机器人 物理 渲染的 “超级场景文件”。 -------------------------------------------------------- 一、USD 基本信息 开发者Pixar皮克斯2016 年开源NVIDIA 深度推广是 Isaac Sim/Omniverse 核心格式。 核心定位分层式场景图Scene Graph用于协作式、非破坏性编辑3D 内容。 常见后缀 .usd默认可文本 / 二进制 .usda纯文本可读、可直接改 .usdc二进制紧凑、快 .usdz打包含纹理 / 模型用于分发 -------------------------------------------------------- 二、在机器人仿真里存什么和 URDF/MJCF 区别 URDF只存机器人连杆 / 关节 /kinematicsROS 常用 MJCFMuJoCo 用侧重刚体 / 碰撞 / 物理参数 USD全栈描述机器人 环境 渲染 物理 传感器 动画 具体包含 ✅ 机器人连杆、关节、传感器、驱动、控制器 ✅ 环境地面、墙、障碍物、地形、植被 ✅ 视觉网格、材质、纹理、灯光、相机 ✅ 物理碰撞体、刚体属性、关节摩擦、重力 ✅ 数据动画、轨迹、传感器数据、时间序列 --------------------------------------------------------- 三、为什么机器人仿真用 USD优势 分层组合Layered Composition 机器人、环境、材质、物理可分文件存多人并行编辑不冲突改材质不影响模型。 超大场景支持比 URDF/MJCF 更能扛工业级 / 城市场景数万构件。 渲染 物理一体化一套数据同时给PhysX/MuJoCo 物理引擎 RTX 渲染不用格式转换。 生态强Isaac Sim、Omniverse、Blender、Maya、Unity插件都支持。 四、在 Isaac Sim光轮智能常用里怎么用 机器人模型.usda/.usdc 存机器人可由 URDF 转 场景.usd 存工厂 / 仓库 / 楼宇 材质 / 纹理单独 USD 层可复用 物理在 USD 里加 PhysicsBody/Collision 组件 USD机器人仿真的 “全能容器”既能存机器人也能存整个世界既能做物理仿真也能做高清渲染支持团队协作是当前工业级仿真的事实标准。2、核心碰撞体形式1. Convex Hull凸包碰撞体 含义 把一个复杂模型用最小的凸多边形 / 多面体把它完全包起来得到的就是它的凸包。简单理解把模型想象成软面团用力压到不能再凹进去的形状。 优点 求解极快PhysX 等引擎对凸包碰撞检测做了高度优化性能极高 稳定性好几乎不会出现穿模、弹飞的情况 计算量固定不管模型多复杂凸包面数都可控 缺点 精度差无法还原凹形物体的真实形状比如齿轮、夹爪、镂空零件 会 “漏碰”凹形结构的凹陷部分会被凸包 “填平”导致物理行为失真 无法自碰撞凸包会把整个连杆包起来无法检测连杆自身部件的碰撞 --------------------------------------------------2. Convex Decomposition凸分解 / 凸包分解 含义 把一个凹形物体拆成多个不重叠的小凸包用多个凸包组合来近似原物体的形状。比如一个带孔的零件会被拆成几个凸包块。 优点 精度比单个凸包高很多能还原凹形物体的大致轮廓 性能接近凸包引擎处理多个凸包的效率依然很高 支持非凸模型是工业仿真里凹形机器人 / 零件的主流方案 缺点 有近似误差还是无法做到和原模型100% 贴合小缝隙 / 凹陷无法还原 分解耗时复杂模型的凸分解需要专业工具如 VHACD处理参数不好会导致碎片过多 多凸包的自碰撞问题如果分解不当小凸包之间会产生额外的碰撞 -----------------------------------------------3. Triangle Mesh三角网格碰撞体 含义 直接用模型的原始三角面网格作为碰撞体1:1 还原模型的所有细节。 优点 精度最高完美还原模型的所有凹凸、缝隙、细节几乎没有近似误差 无需额外处理直接导入模型就能用不用做凸包 / 分解 缺点 性能极差三角面数越多碰撞检测越慢复杂模型会直接把仿真帧率拖垮 稳定性差非常容易出现穿模、抖动尤其是薄物体或高速运动时 不支持连续碰撞检测PhysX 等引擎对三角网格的 CCD 支持很差高速运动的物体容易直接穿过去 -----------------------------------------------4. SDFSigned Distance Field带符号距离场 含义 把物体周围的空间分成 “物体内部 / 外部” 的距离场任意一点的距离值表示该点到物体表面的距离内部为负外部为正。是一种基于场的碰撞表示不是几何形状。 优点 精度高且稳定能还原复杂形状同时避免穿模和抖动高速运动下表现也很好 支持柔性碰撞适合软体机器人、柔性夹爪、布料的碰撞检测 性能可控可以通过调整 SDF 分辨率在精度和性能之间做平衡 缺点 计算量大生成和查询 SDF 都需要额外算力大规模场景下性能不如凸包 不适合实时刚体在纯刚体仿真里SDF 的性能和凸包 / 凸分解比没有优势 实现复杂不是所有物理引擎都原生支持需要额外插件或工具 -----------------------------------------------------5. Primitive Collider基础几何体碰撞体 含义 用 ** 基础几何体盒体、球体、圆柱体、胶囊体** 来近似物体形状比如用几个圆柱体拼一个机械臂用盒体拼一个桌子。 优点 性能天花板引擎对这些几何体的碰撞检测是最快的几乎零开销 稳定性极强完全不会穿模、抖动、弹飞 调试方便可以直接在仿真里调整位置和大小不用重新生成模型 缺点 精度最低只能还原非常简单的形状复杂零件几乎无法近似 制作麻烦需要手动摆放多个几何体拼接复杂物体时很费时间 视觉和物理不匹配很容易出现 “视觉上没碰到物理却碰撞了” 的情况对应的场景大语言就是数字世界agent机器人就是物理世界agent。
光轮智能 谢晨 访谈总结机器人仿真数据产业
光轮智能 谢晨 访谈总结机器人仿真关于创始人关于数据数据金字塔数据痛点仿真数据的重要性仿真数据的质量b站链接地址公司官网关于创始人清华物理哥伦比亚金融英伟达智驾仿真小鹏智驾仿真现为光轮智能CEO关于数据数据的重要性数据对于智能 类似教育对于人数据的发展step1机器视觉时期数据集 - 静态 - 填鸭式教育step2工业化 - 工厂式流程 - 量贩式教育step3大语言 后训练- 评价-考核 因材施教传授反馈基于更有效的传授与反馈发展方向静态数据变为教育系统评价方变成数据提供方更加针对性。数据朝着针对性指导这个方向去演进数据金字塔塔顶实际机器人采集的数据塔中仿真生成的数据塔基互联网或者第一视角数据数据痛点训练数据来源无法像实车一样路上有千万台在运行。评测标准无法像实车司机实时监督不符合标准就会介入。仿真数据的重要性重要性没有仿真机器人必然办不成机器人数据闭关与自动驾驶是完全不一样。是一个必须项目。真机还得回归仿真之前很多公司只要真机数据不要仿真。现在又回来要仿真数据。因为感觉算法ok但是无法大规模评测。真实场景与评价数据真机派与仿真派之争真机数据派暂占上风因为她们就是卖真机的。底层数据的采集人类数据被低估。让人带上消费级硬件百万级别的才行。数据的价格数据越来越贵后训练与评价会越来越贵是提升的关键。仿真数据的质量高质量数据真实场景、足够多样化、足够真实、足够交互轨迹记录。评价指标足够准确。b站链接地址公司官网主要业务1、即用资源库simready.com。可以购买仿真的物体放入自己的场景中。2、自定义资产创建服务解释客户给图片、点云、视频给客户搭建仿真场景。3、将现有的3D资产转换为可仿真资源总结搭建仿真场景并进行仿真的全栈式服务。岗位相关的总结技术使用Isaac基于Physx物理引擎创建USD仿真场景文件修改资产常见问题针对不同场景使用不同碰撞体形式如Convex Hull等。名词解释1、USDUSDUniversal Scene Description通用场景描述 是机器人仿真里的3D 场景 / 资产标准格式与框架不是简单的模型文件而是能描述整个仿真世界 机器人 物理 渲染的 “超级场景文件”。 -------------------------------------------------------- 一、USD 基本信息 开发者Pixar皮克斯2016 年开源NVIDIA 深度推广是 Isaac Sim/Omniverse 核心格式。 核心定位分层式场景图Scene Graph用于协作式、非破坏性编辑3D 内容。 常见后缀 .usd默认可文本 / 二进制 .usda纯文本可读、可直接改 .usdc二进制紧凑、快 .usdz打包含纹理 / 模型用于分发 -------------------------------------------------------- 二、在机器人仿真里存什么和 URDF/MJCF 区别 URDF只存机器人连杆 / 关节 /kinematicsROS 常用 MJCFMuJoCo 用侧重刚体 / 碰撞 / 物理参数 USD全栈描述机器人 环境 渲染 物理 传感器 动画 具体包含 ✅ 机器人连杆、关节、传感器、驱动、控制器 ✅ 环境地面、墙、障碍物、地形、植被 ✅ 视觉网格、材质、纹理、灯光、相机 ✅ 物理碰撞体、刚体属性、关节摩擦、重力 ✅ 数据动画、轨迹、传感器数据、时间序列 --------------------------------------------------------- 三、为什么机器人仿真用 USD优势 分层组合Layered Composition 机器人、环境、材质、物理可分文件存多人并行编辑不冲突改材质不影响模型。 超大场景支持比 URDF/MJCF 更能扛工业级 / 城市场景数万构件。 渲染 物理一体化一套数据同时给PhysX/MuJoCo 物理引擎 RTX 渲染不用格式转换。 生态强Isaac Sim、Omniverse、Blender、Maya、Unity插件都支持。 四、在 Isaac Sim光轮智能常用里怎么用 机器人模型.usda/.usdc 存机器人可由 URDF 转 场景.usd 存工厂 / 仓库 / 楼宇 材质 / 纹理单独 USD 层可复用 物理在 USD 里加 PhysicsBody/Collision 组件 USD机器人仿真的 “全能容器”既能存机器人也能存整个世界既能做物理仿真也能做高清渲染支持团队协作是当前工业级仿真的事实标准。2、核心碰撞体形式1. Convex Hull凸包碰撞体 含义 把一个复杂模型用最小的凸多边形 / 多面体把它完全包起来得到的就是它的凸包。简单理解把模型想象成软面团用力压到不能再凹进去的形状。 优点 求解极快PhysX 等引擎对凸包碰撞检测做了高度优化性能极高 稳定性好几乎不会出现穿模、弹飞的情况 计算量固定不管模型多复杂凸包面数都可控 缺点 精度差无法还原凹形物体的真实形状比如齿轮、夹爪、镂空零件 会 “漏碰”凹形结构的凹陷部分会被凸包 “填平”导致物理行为失真 无法自碰撞凸包会把整个连杆包起来无法检测连杆自身部件的碰撞 --------------------------------------------------2. Convex Decomposition凸分解 / 凸包分解 含义 把一个凹形物体拆成多个不重叠的小凸包用多个凸包组合来近似原物体的形状。比如一个带孔的零件会被拆成几个凸包块。 优点 精度比单个凸包高很多能还原凹形物体的大致轮廓 性能接近凸包引擎处理多个凸包的效率依然很高 支持非凸模型是工业仿真里凹形机器人 / 零件的主流方案 缺点 有近似误差还是无法做到和原模型100% 贴合小缝隙 / 凹陷无法还原 分解耗时复杂模型的凸分解需要专业工具如 VHACD处理参数不好会导致碎片过多 多凸包的自碰撞问题如果分解不当小凸包之间会产生额外的碰撞 -----------------------------------------------3. Triangle Mesh三角网格碰撞体 含义 直接用模型的原始三角面网格作为碰撞体1:1 还原模型的所有细节。 优点 精度最高完美还原模型的所有凹凸、缝隙、细节几乎没有近似误差 无需额外处理直接导入模型就能用不用做凸包 / 分解 缺点 性能极差三角面数越多碰撞检测越慢复杂模型会直接把仿真帧率拖垮 稳定性差非常容易出现穿模、抖动尤其是薄物体或高速运动时 不支持连续碰撞检测PhysX 等引擎对三角网格的 CCD 支持很差高速运动的物体容易直接穿过去 -----------------------------------------------4. SDFSigned Distance Field带符号距离场 含义 把物体周围的空间分成 “物体内部 / 外部” 的距离场任意一点的距离值表示该点到物体表面的距离内部为负外部为正。是一种基于场的碰撞表示不是几何形状。 优点 精度高且稳定能还原复杂形状同时避免穿模和抖动高速运动下表现也很好 支持柔性碰撞适合软体机器人、柔性夹爪、布料的碰撞检测 性能可控可以通过调整 SDF 分辨率在精度和性能之间做平衡 缺点 计算量大生成和查询 SDF 都需要额外算力大规模场景下性能不如凸包 不适合实时刚体在纯刚体仿真里SDF 的性能和凸包 / 凸分解比没有优势 实现复杂不是所有物理引擎都原生支持需要额外插件或工具 -----------------------------------------------------5. Primitive Collider基础几何体碰撞体 含义 用 ** 基础几何体盒体、球体、圆柱体、胶囊体** 来近似物体形状比如用几个圆柱体拼一个机械臂用盒体拼一个桌子。 优点 性能天花板引擎对这些几何体的碰撞检测是最快的几乎零开销 稳定性极强完全不会穿模、抖动、弹飞 调试方便可以直接在仿真里调整位置和大小不用重新生成模型 缺点 精度最低只能还原非常简单的形状复杂零件几乎无法近似 制作麻烦需要手动摆放多个几何体拼接复杂物体时很费时间 视觉和物理不匹配很容易出现 “视觉上没碰到物理却碰撞了” 的情况对应的场景大语言就是数字世界agent机器人就是物理世界agent。
