作者 |肖恩编辑 |德新如果说两年前世界模型还只是自动驾驶里略显前沿的一条技术路线那么到今天它已经在自动驾驶领域里占据了两个重要位置一个是模型路线世界模型被很多人认为是通往自动驾驶终局的技术路径另一个则是训练、仿真和长尾场景验证中的重要工具。真实路测能采到大量日常场景却很难稳定覆盖那些低频、高风险的极端情况譬如暴雨夜间的逆光路口、施工区域里的临时改道、大车遮挡下突然出现的行人单靠车队“碰运气”的效率太低如果用传统仿真手工搭场景又很难跟真实道路的复杂度对齐。世界模型就是在这样的矛盾里被推到了台前。但随着概念热起来之后边界也开始变得模糊。有人把自动驾驶仿真叫世界模型有人把 3D 场景生成叫世界模型也有人把自动驾驶里的算法模型叫世界模型。这些说法都没有错但它们讲的显然不是同一个东西。李飞飞创立 World Labs 后一直在强调空间智能。她的一个基本判断是语言模型并不是人类理解世界的全部方式。最近她在一篇题为《A Functional Taxonomy of World Models》的文章里试图向公众厘清世界模型这个概念。她将世界模型按功能分成 renderer渲染、simulator模拟 和 planner规划。Renderer 负责生成画面planner 负责输出动作夹在中间的 simulator承担的是对世界状态的表达和推演。世界模型要知道车在哪里人在哪里遮挡关系如何变化一个动作发生后环境会变成什么样。如果只靠 2D 视频里的像素相似度模型可以学到很多视觉规律却很难稳定学到空间结构、动态轨迹、多视角关系和动作后果。这就引出了另一件事如果要训练一个真正可用的 simulator世界模型不能只靠“看起来像”的视频。它需要更强的结构化监督。让模型不只生成画面也去学习画面背后的世界状态。一、4D 真值监督世界模型要先把世界对齐如果只把世界模型理解成视频生成会简单得多。给模型一段历史画面让它预测下一帧或者生成接下来几秒的视频。画面越自然运动越连贯模型看起来就越“懂世界”。但自动驾驶和机器人需要的远不止这些。它们需要的世界模型不能只预测摄像头下一秒会看到什么。它还要知道画面背后发生了什么车在哪里人在哪里道路边界、遮挡关系以及某个动作执行以后环境状态会不会跟着变化。它们不仅需要3D的空间信息还需要时序上的变化。3D空间加上时间就是4D的世界状态。如何用4D数据训练出世界模型4D 真值监督就是一种方法。这里的“真值”可以理解成模型训练时用来对照的标准答案。普通视频训练里答案是下一帧图像4D 真值监督里答案不只是图像而是一套动态的世界状态。这套状态至少包含几层东西。空间层面它要有三维几何。车辆、行人、道路、障碍物不能只停留在二维画面里而要有真实空间位置。车在第几条车道离本车多远朝向如何行人站在路边还是已经进入车道这些都要被表达出来。语义层面它要知道每个对象是什么。车、行人、路沿、信号灯、可行驶区域不只是像素块而是具有类别和功能的交通元素。动态层面它要保留时间里的变化。车辆是加速还是减速行人是在等待还是横穿两个交通参与者是否正在形成冲突关系。如果进一步进入决策和控制环节世界模型还需要理解动作带来的结果。自动驾驶系统做出减速、变道、绕行之后周围交通会如何变化机器人抓取、推动、碰撞之后物体姿态会不会改变这些都是世界模型要学习的内容。不只是视觉表面还包括空间结构、时间连续性和状态变化。在自动驾驶里行业里常见的做法大致有几类。一类是用 3D occupancy 或 BEV 表达世界状态。Occupancy 可以理解成把车辆周围空间切成很多小格子每个格子记录这里有没有东西以及是什么。BEV 则更像从高处俯瞰整个交通场景把车道、车辆、行人、障碍物和可行驶区域投射到统一坐标系里。很多世界模型会在这个状态空间里训练。它不直接预测下一帧视频而是预测未来几秒的 occupancy、BEV 或对象轨迹。换句话说模型要回答的不是“下一帧长什么样”而是“下一刻世界会变成什么状态”。这种表达的好处是把世界状态结构化了模型更容易学习空间关系和动态变化。但它也有明显局限。无论是 occupancy 还是 BEV本质上都是一种压缩后的世界表示。压缩过程中大量视觉细节会被丢掉比如纹理、光照、天气变化以及一些长尾场景里的细微信息。对于规划和预测任务来说这些信息未必重要但如果希望世界模型同时承担数据生成、仿真验证甚至通用物理世界建模的任务仅靠 occupancy 或 BEV 往往不够它们很难完整表达真实世界的复杂性。另一类做法是先重建一个可渲染的三维场景。NeRF、3D 高斯泼溅这一类技术近两年在自动驾驶仿真和数据生成里出现得很多。它们的思路不是把真实世界存成视频而是把场景变成一种可以从不同视角重新渲染的三维表示。这对世界模型很重要。因为自动驾驶训练经常需要多视角一致。前摄像头看到一辆车侧摄像头也应该在对应位置看到同一辆车。三维重建相当于先把世界建立起来再从这个世界里生成不同视角的数据。但三维重建只解决了一部分问题。真实道路不是纯粹静态的模型于是行业里会把静态背景和动态对象分开建模道路、建筑、树木、路沿属于相对稳定的背景车辆、行人、骑行者则需要跟踪它们在时间里的位置和姿态。一段交通场景不再是很多帧图片而是一个随时间更新的世界道路、建筑和基础设施构成相对稳定的空间框架车辆、行人和骑行者在其中持续运动而遮挡、交互、让行和冲突等关系也随着时间不断变化。那么 4D 真值监督在训练里有什么作用呢首先它会约束几何关系。同一辆车不能在前视图里离本车 20 米换到侧视图里却像在 5 米外一个行人不能在空间里忽远忽近只因为画面生成时纹理发生了变化。几何真值会约束物体位置、尺度和朝向。其次它会约束时间。车辆的轨迹要连续速度变化要合理行人不能前一秒还在路边下一秒没有运动过程就跳到车道中央。时间真值让模型学到“变化”本身而不是只学到一帧一帧的样子。第三它会约束多视角。自动驾驶不是单眼看世界。前视、侧视、后视、鸟瞰、点云最终都要对应同一个真实场景。多视角真值会让模型知道不同传感器看到的是同一个世界不是几段彼此无关的视频。最后它还会约束语义和动作后果。红灯和绿灯不是颜色差异而是交通状态差异车道线不是白色纹理而是行驶规则的一部分。这些约束合在一起才让世界模型从 renderer 走向 simulator。4D 真值如此重要有个问题也随之而来真值数据从哪里来最传统的方法是从车端收集路测数据。车辆自己采集摄像头、雷达、激光雷达和定位数据再经过标定、融合、重建和标注得到 4D 真值。但车端数据天然带着单车视角的局限。它看到的是“这辆车眼前的世界”不一定能还原整个路口的交通关系。被大车挡住的行人、侧后方快速接近的车辆、路口另一侧正在形成的冲突很多时候并不完整。要训练一个更可靠的世界模型真值本身也要变得更完整。能不能从车端之外的视角构建一套更完整的 4D 真值再把它转回自动驾驶模型真正需要的车端视角答案是肯定的而且已经实现了。二、汤元科技的方法把路侧世界转回车端视角这个问题在汤元科技参与的一篇公开论文里有了一个具体答案。汤元科技成立于 2024 年公司总部目前在苏州相城区。这个位置很特殊。苏州相城这些年一直在推智能网联汽车和车路云一体化许多路口、道路上都部署了摄像头、激光雷达、毫米波雷达和边缘计算设备。这些设备原本服务于车路协同和智慧交通它们也提供了一种特殊的数据来源不是某一辆车眼前看到的世界而是一个路口、一段道路里更完整的交通状态。汤元科技 CEO 任冬淳长期做机器人、自动驾驶和世界建模研究后来在美团自动驾驶负责过算法研发和工程落地。这种从研究到产业一线的经历也让汤元在做世界模型时更关注数据生产、真值构建和训练闭环这些实际问题。路侧数据有了下一步就是方法。汤元科技团队的一篇公开论文 I2V-GS讨论的就是这个问题。论文全名是 Infrastructure-to-Vehicle View Transformation with Gaussian Splatting for Autonomous Driving Data Generation。简单来说就是把路侧视角转成车端视角用来生成自动驾驶训练数据。路侧设备站得高看得远更容易看到路口里的整体交通关系车端传感器贴在车身上位置低视角窄看到的是驾驶系统真正面对的输入。两者之间不是简单的相机位置变化而是整个空间关系都变了。同一辆车、同一个信号灯在两个视角里的大小、位置和遮挡关系都会变。所以从路侧到车端不能靠简单的图像变形。它要先把空间关系还原出来。I2V-GS 的第一步是用 3D Gaussian Splatting 把场景建立起来。3DGS 是用大量分布在三维空间里的 Gaussian 来表示场景。每个 Gaussian 带着位置、尺度、颜色、透明度等信息组合起来之后就能从新的相机位置重新渲染这个场景。关键不在于生成出一张新的图片而在于先把场景本身建立起来。只有把车、人、道路、信号灯这些元素放回统一的三维空间里后面的视角转换才有意义。否则路侧到车端就只是图像层面的拼接和补全看起来或许足够真实但背后的空间关系未必正确。但路侧数据本身并不完美。摄像头固定视角有限数量也不可能无限多。要从这些稀疏视角里重建出一个稳定的三维场景本来就不容易。这就引出第二个关键点深度。单目深度估计可以告诉模型哪里远、哪里近但数字未必准确。看起来像 20 米实际可能不是 20 米。I2V-GS 的处理方式是用 LiDAR 来校准单目深度。LiDAR 在这里更像一个空间参照系用来校准场景里的真实距离。车离路口到底多远行人离车道有多近不能只靠图像猜。深度被锁定之后后面的视角转换才有更可靠的几何基础。接下来是 adaptive depth warp。从路侧高位视角切到车端低位视角近处的车变化大远处的背景变化小原来被遮住的地方会露出来原来看得见的地方也可能被挡住。直接把图像投过去常常会留下空洞和拉伸。adaptive depth warp 利用深度信息把原始路侧图像变成一批新的伪视角。可以把它理解成给 3DGS 增加训练角度原来只有几个固定路侧镜头现在通过深度引导补出一批更接近车端位置的中间视角。但 warp 之后画面里还是会有缺口。这里引入了扩散模型。它负责补全新视角里缺失的区域比如车身背面、天空或被遮挡的部分。但扩散模型的问题在于它生成的内容未必和真实世界一致。如果每个视角单独补全不同视角之间就可能对不上。因此I2V-GS 没有让扩散模型自由生成而是通过 cascade strategy 和 cross-view information 约束生成过程用多个视角的信息互相校验补全结果。简单来说扩散模型负责补全缺失区域但最终还要接受几何关系和多视角一致性的检查。这也是这篇论文最值得看的地方。汤元的方法并不是简单地把路侧视频生成车端视频而是搭建了一条完整的数据链路先重建三维场景用 LiDAR 校准深度和尺度再通过 adaptive depth warp 补充中间视角利用扩散模型填补缺失区域最后用跨视角约束保证整个场景的一致性。在这条链路里生成模型当然重要但它不是唯一主角。更重要的是前面的几何重建、深度校准和后面的多视角一致性检查。没有这些约束生成出来的车端画面越像反而越容易掩盖错误。I2V-GS 给构建世界模型提供了一种新的思路。方法有了之后如何转化一个可以持续生产数据、服务客户训练和验证流程的平台三、真实道路如何变成可交付的数据产品对真实的客户而言他们需要的是能稳定生产并用于训练的数据。车端视角的视频、多传感器真值、场景标注、可以复现的 corner case以及能反复验证算法策略的仿真环境。汤元科技推出的Yootta优塔数据平台解决的就是这类需求。它没有从零搭一个虚构场景再让它尽量接近真实世界而是从真实道路出发。路口、道路、车辆、行人、路侧传感器数据先被重建进数字空间再从这个空间里生成车侧视角训练数据、合成视频、3D 真值和仿真场景。行业里有Sim2Real的概念而汤元科技的方法则是 Real2Sim2Real 的链路。Real2Sim 先把真实世界搬进数字空间Sim2Real 再从这个数字世界里生成可以反哺真实模型训练的数据。这样做的好处是数据的起点是真实道路。真实交通里的空间结构、对象关系、遮挡和动态变化先被保留下来再去做视角转换、天气光照变化和长尾场景扩展。但真实世界重建也不是万能的。路侧传感器再多也会有看不到的地方。比如天空、远处背景、被遮挡区域、极端天气下的光照变化这些都很难只靠三维重建完整补出来。如果场景要进一步泛化到更多天气、更多光照、更多复杂环境单靠重建还不够。这也是汤元引入 NVIDIA Cosmos 的原因。Cosmos 在这里没有替代 4D 重建而是补上重建之后仍然缺失的部分。它可以做缺失信息补全、多样化视角生成和复杂环境泛化把一个真实路口扩展成更多训练样本。把真实道路重建成带有结构约束的 4D 世界再让生成模型在这个范围内补全和扩展。这是 Yootta 数据平台和普通视频生成工具的区别。它交付的是能进入自动驾驶研发流程的数据资产。比如高保真合成视频集可以补充视觉训练样本3D 真值可以用于感知和场景理解多场景标注可以接入客户已有的数据管理和训练流程。在这个基础上汤元还把能力延伸到闭环仿真。合成数据解决的是“模型还没见过什么”闭环仿真解决的是“模型遇到之后会怎么做”。同一个危险路口可以改变车流密度、天气、行人轨迹和本车策略同一个 corner case也可以在不同算法版本里反复测试。这套能力已经开始在真实客户场景里落地。汤元科技曾与梅赛德斯-奔驰、清华大学共建基于 4D 结构数据的闭环仿真平台用于自动驾驶开发、测试与验证。除此之外它也向头部主机厂和 Tier1 客户交付过高保真合成视频集、3D 真值与多场景标注等数据产品支持量产流水线使用。结语真实道路上每天都在发生各种各样的 corner case。一次大车遮挡后的行人穿出一辆非机动车的突然变道一个施工路口里的临时绕行一场雨夜里的反光和误判。对普通交通系统来说它们只是路面上不断流过的瞬间对自动驾驶来说这些瞬间都是宝贵的训练材料。但是过去这些材料很难被真正用起来。汤元科技所做的是把这些正在真实世界里发生的场景通过路侧数据、4D 重建和生成补全重新组织起来让它们从一次性的道路事件变成可以反复训练、复现和验证的场景资产。这对行业的意义不只在于多了一种合成数据方法它可能会改变自动驾驶获取长尾数据的方式。世界模型在这里不再只是生成一段视频而是把真实道路里的复杂性重新交还给训练系统。
从路侧数据到 4D 世界：世界模型如何重塑自动驾驶的训练场？
作者 |肖恩编辑 |德新如果说两年前世界模型还只是自动驾驶里略显前沿的一条技术路线那么到今天它已经在自动驾驶领域里占据了两个重要位置一个是模型路线世界模型被很多人认为是通往自动驾驶终局的技术路径另一个则是训练、仿真和长尾场景验证中的重要工具。真实路测能采到大量日常场景却很难稳定覆盖那些低频、高风险的极端情况譬如暴雨夜间的逆光路口、施工区域里的临时改道、大车遮挡下突然出现的行人单靠车队“碰运气”的效率太低如果用传统仿真手工搭场景又很难跟真实道路的复杂度对齐。世界模型就是在这样的矛盾里被推到了台前。但随着概念热起来之后边界也开始变得模糊。有人把自动驾驶仿真叫世界模型有人把 3D 场景生成叫世界模型也有人把自动驾驶里的算法模型叫世界模型。这些说法都没有错但它们讲的显然不是同一个东西。李飞飞创立 World Labs 后一直在强调空间智能。她的一个基本判断是语言模型并不是人类理解世界的全部方式。最近她在一篇题为《A Functional Taxonomy of World Models》的文章里试图向公众厘清世界模型这个概念。她将世界模型按功能分成 renderer渲染、simulator模拟 和 planner规划。Renderer 负责生成画面planner 负责输出动作夹在中间的 simulator承担的是对世界状态的表达和推演。世界模型要知道车在哪里人在哪里遮挡关系如何变化一个动作发生后环境会变成什么样。如果只靠 2D 视频里的像素相似度模型可以学到很多视觉规律却很难稳定学到空间结构、动态轨迹、多视角关系和动作后果。这就引出了另一件事如果要训练一个真正可用的 simulator世界模型不能只靠“看起来像”的视频。它需要更强的结构化监督。让模型不只生成画面也去学习画面背后的世界状态。一、4D 真值监督世界模型要先把世界对齐如果只把世界模型理解成视频生成会简单得多。给模型一段历史画面让它预测下一帧或者生成接下来几秒的视频。画面越自然运动越连贯模型看起来就越“懂世界”。但自动驾驶和机器人需要的远不止这些。它们需要的世界模型不能只预测摄像头下一秒会看到什么。它还要知道画面背后发生了什么车在哪里人在哪里道路边界、遮挡关系以及某个动作执行以后环境状态会不会跟着变化。它们不仅需要3D的空间信息还需要时序上的变化。3D空间加上时间就是4D的世界状态。如何用4D数据训练出世界模型4D 真值监督就是一种方法。这里的“真值”可以理解成模型训练时用来对照的标准答案。普通视频训练里答案是下一帧图像4D 真值监督里答案不只是图像而是一套动态的世界状态。这套状态至少包含几层东西。空间层面它要有三维几何。车辆、行人、道路、障碍物不能只停留在二维画面里而要有真实空间位置。车在第几条车道离本车多远朝向如何行人站在路边还是已经进入车道这些都要被表达出来。语义层面它要知道每个对象是什么。车、行人、路沿、信号灯、可行驶区域不只是像素块而是具有类别和功能的交通元素。动态层面它要保留时间里的变化。车辆是加速还是减速行人是在等待还是横穿两个交通参与者是否正在形成冲突关系。如果进一步进入决策和控制环节世界模型还需要理解动作带来的结果。自动驾驶系统做出减速、变道、绕行之后周围交通会如何变化机器人抓取、推动、碰撞之后物体姿态会不会改变这些都是世界模型要学习的内容。不只是视觉表面还包括空间结构、时间连续性和状态变化。在自动驾驶里行业里常见的做法大致有几类。一类是用 3D occupancy 或 BEV 表达世界状态。Occupancy 可以理解成把车辆周围空间切成很多小格子每个格子记录这里有没有东西以及是什么。BEV 则更像从高处俯瞰整个交通场景把车道、车辆、行人、障碍物和可行驶区域投射到统一坐标系里。很多世界模型会在这个状态空间里训练。它不直接预测下一帧视频而是预测未来几秒的 occupancy、BEV 或对象轨迹。换句话说模型要回答的不是“下一帧长什么样”而是“下一刻世界会变成什么状态”。这种表达的好处是把世界状态结构化了模型更容易学习空间关系和动态变化。但它也有明显局限。无论是 occupancy 还是 BEV本质上都是一种压缩后的世界表示。压缩过程中大量视觉细节会被丢掉比如纹理、光照、天气变化以及一些长尾场景里的细微信息。对于规划和预测任务来说这些信息未必重要但如果希望世界模型同时承担数据生成、仿真验证甚至通用物理世界建模的任务仅靠 occupancy 或 BEV 往往不够它们很难完整表达真实世界的复杂性。另一类做法是先重建一个可渲染的三维场景。NeRF、3D 高斯泼溅这一类技术近两年在自动驾驶仿真和数据生成里出现得很多。它们的思路不是把真实世界存成视频而是把场景变成一种可以从不同视角重新渲染的三维表示。这对世界模型很重要。因为自动驾驶训练经常需要多视角一致。前摄像头看到一辆车侧摄像头也应该在对应位置看到同一辆车。三维重建相当于先把世界建立起来再从这个世界里生成不同视角的数据。但三维重建只解决了一部分问题。真实道路不是纯粹静态的模型于是行业里会把静态背景和动态对象分开建模道路、建筑、树木、路沿属于相对稳定的背景车辆、行人、骑行者则需要跟踪它们在时间里的位置和姿态。一段交通场景不再是很多帧图片而是一个随时间更新的世界道路、建筑和基础设施构成相对稳定的空间框架车辆、行人和骑行者在其中持续运动而遮挡、交互、让行和冲突等关系也随着时间不断变化。那么 4D 真值监督在训练里有什么作用呢首先它会约束几何关系。同一辆车不能在前视图里离本车 20 米换到侧视图里却像在 5 米外一个行人不能在空间里忽远忽近只因为画面生成时纹理发生了变化。几何真值会约束物体位置、尺度和朝向。其次它会约束时间。车辆的轨迹要连续速度变化要合理行人不能前一秒还在路边下一秒没有运动过程就跳到车道中央。时间真值让模型学到“变化”本身而不是只学到一帧一帧的样子。第三它会约束多视角。自动驾驶不是单眼看世界。前视、侧视、后视、鸟瞰、点云最终都要对应同一个真实场景。多视角真值会让模型知道不同传感器看到的是同一个世界不是几段彼此无关的视频。最后它还会约束语义和动作后果。红灯和绿灯不是颜色差异而是交通状态差异车道线不是白色纹理而是行驶规则的一部分。这些约束合在一起才让世界模型从 renderer 走向 simulator。4D 真值如此重要有个问题也随之而来真值数据从哪里来最传统的方法是从车端收集路测数据。车辆自己采集摄像头、雷达、激光雷达和定位数据再经过标定、融合、重建和标注得到 4D 真值。但车端数据天然带着单车视角的局限。它看到的是“这辆车眼前的世界”不一定能还原整个路口的交通关系。被大车挡住的行人、侧后方快速接近的车辆、路口另一侧正在形成的冲突很多时候并不完整。要训练一个更可靠的世界模型真值本身也要变得更完整。能不能从车端之外的视角构建一套更完整的 4D 真值再把它转回自动驾驶模型真正需要的车端视角答案是肯定的而且已经实现了。二、汤元科技的方法把路侧世界转回车端视角这个问题在汤元科技参与的一篇公开论文里有了一个具体答案。汤元科技成立于 2024 年公司总部目前在苏州相城区。这个位置很特殊。苏州相城这些年一直在推智能网联汽车和车路云一体化许多路口、道路上都部署了摄像头、激光雷达、毫米波雷达和边缘计算设备。这些设备原本服务于车路协同和智慧交通它们也提供了一种特殊的数据来源不是某一辆车眼前看到的世界而是一个路口、一段道路里更完整的交通状态。汤元科技 CEO 任冬淳长期做机器人、自动驾驶和世界建模研究后来在美团自动驾驶负责过算法研发和工程落地。这种从研究到产业一线的经历也让汤元在做世界模型时更关注数据生产、真值构建和训练闭环这些实际问题。路侧数据有了下一步就是方法。汤元科技团队的一篇公开论文 I2V-GS讨论的就是这个问题。论文全名是 Infrastructure-to-Vehicle View Transformation with Gaussian Splatting for Autonomous Driving Data Generation。简单来说就是把路侧视角转成车端视角用来生成自动驾驶训练数据。路侧设备站得高看得远更容易看到路口里的整体交通关系车端传感器贴在车身上位置低视角窄看到的是驾驶系统真正面对的输入。两者之间不是简单的相机位置变化而是整个空间关系都变了。同一辆车、同一个信号灯在两个视角里的大小、位置和遮挡关系都会变。所以从路侧到车端不能靠简单的图像变形。它要先把空间关系还原出来。I2V-GS 的第一步是用 3D Gaussian Splatting 把场景建立起来。3DGS 是用大量分布在三维空间里的 Gaussian 来表示场景。每个 Gaussian 带着位置、尺度、颜色、透明度等信息组合起来之后就能从新的相机位置重新渲染这个场景。关键不在于生成出一张新的图片而在于先把场景本身建立起来。只有把车、人、道路、信号灯这些元素放回统一的三维空间里后面的视角转换才有意义。否则路侧到车端就只是图像层面的拼接和补全看起来或许足够真实但背后的空间关系未必正确。但路侧数据本身并不完美。摄像头固定视角有限数量也不可能无限多。要从这些稀疏视角里重建出一个稳定的三维场景本来就不容易。这就引出第二个关键点深度。单目深度估计可以告诉模型哪里远、哪里近但数字未必准确。看起来像 20 米实际可能不是 20 米。I2V-GS 的处理方式是用 LiDAR 来校准单目深度。LiDAR 在这里更像一个空间参照系用来校准场景里的真实距离。车离路口到底多远行人离车道有多近不能只靠图像猜。深度被锁定之后后面的视角转换才有更可靠的几何基础。接下来是 adaptive depth warp。从路侧高位视角切到车端低位视角近处的车变化大远处的背景变化小原来被遮住的地方会露出来原来看得见的地方也可能被挡住。直接把图像投过去常常会留下空洞和拉伸。adaptive depth warp 利用深度信息把原始路侧图像变成一批新的伪视角。可以把它理解成给 3DGS 增加训练角度原来只有几个固定路侧镜头现在通过深度引导补出一批更接近车端位置的中间视角。但 warp 之后画面里还是会有缺口。这里引入了扩散模型。它负责补全新视角里缺失的区域比如车身背面、天空或被遮挡的部分。但扩散模型的问题在于它生成的内容未必和真实世界一致。如果每个视角单独补全不同视角之间就可能对不上。因此I2V-GS 没有让扩散模型自由生成而是通过 cascade strategy 和 cross-view information 约束生成过程用多个视角的信息互相校验补全结果。简单来说扩散模型负责补全缺失区域但最终还要接受几何关系和多视角一致性的检查。这也是这篇论文最值得看的地方。汤元的方法并不是简单地把路侧视频生成车端视频而是搭建了一条完整的数据链路先重建三维场景用 LiDAR 校准深度和尺度再通过 adaptive depth warp 补充中间视角利用扩散模型填补缺失区域最后用跨视角约束保证整个场景的一致性。在这条链路里生成模型当然重要但它不是唯一主角。更重要的是前面的几何重建、深度校准和后面的多视角一致性检查。没有这些约束生成出来的车端画面越像反而越容易掩盖错误。I2V-GS 给构建世界模型提供了一种新的思路。方法有了之后如何转化一个可以持续生产数据、服务客户训练和验证流程的平台三、真实道路如何变成可交付的数据产品对真实的客户而言他们需要的是能稳定生产并用于训练的数据。车端视角的视频、多传感器真值、场景标注、可以复现的 corner case以及能反复验证算法策略的仿真环境。汤元科技推出的Yootta优塔数据平台解决的就是这类需求。它没有从零搭一个虚构场景再让它尽量接近真实世界而是从真实道路出发。路口、道路、车辆、行人、路侧传感器数据先被重建进数字空间再从这个空间里生成车侧视角训练数据、合成视频、3D 真值和仿真场景。行业里有Sim2Real的概念而汤元科技的方法则是 Real2Sim2Real 的链路。Real2Sim 先把真实世界搬进数字空间Sim2Real 再从这个数字世界里生成可以反哺真实模型训练的数据。这样做的好处是数据的起点是真实道路。真实交通里的空间结构、对象关系、遮挡和动态变化先被保留下来再去做视角转换、天气光照变化和长尾场景扩展。但真实世界重建也不是万能的。路侧传感器再多也会有看不到的地方。比如天空、远处背景、被遮挡区域、极端天气下的光照变化这些都很难只靠三维重建完整补出来。如果场景要进一步泛化到更多天气、更多光照、更多复杂环境单靠重建还不够。这也是汤元引入 NVIDIA Cosmos 的原因。Cosmos 在这里没有替代 4D 重建而是补上重建之后仍然缺失的部分。它可以做缺失信息补全、多样化视角生成和复杂环境泛化把一个真实路口扩展成更多训练样本。把真实道路重建成带有结构约束的 4D 世界再让生成模型在这个范围内补全和扩展。这是 Yootta 数据平台和普通视频生成工具的区别。它交付的是能进入自动驾驶研发流程的数据资产。比如高保真合成视频集可以补充视觉训练样本3D 真值可以用于感知和场景理解多场景标注可以接入客户已有的数据管理和训练流程。在这个基础上汤元还把能力延伸到闭环仿真。合成数据解决的是“模型还没见过什么”闭环仿真解决的是“模型遇到之后会怎么做”。同一个危险路口可以改变车流密度、天气、行人轨迹和本车策略同一个 corner case也可以在不同算法版本里反复测试。这套能力已经开始在真实客户场景里落地。汤元科技曾与梅赛德斯-奔驰、清华大学共建基于 4D 结构数据的闭环仿真平台用于自动驾驶开发、测试与验证。除此之外它也向头部主机厂和 Tier1 客户交付过高保真合成视频集、3D 真值与多场景标注等数据产品支持量产流水线使用。结语真实道路上每天都在发生各种各样的 corner case。一次大车遮挡后的行人穿出一辆非机动车的突然变道一个施工路口里的临时绕行一场雨夜里的反光和误判。对普通交通系统来说它们只是路面上不断流过的瞬间对自动驾驶来说这些瞬间都是宝贵的训练材料。但是过去这些材料很难被真正用起来。汤元科技所做的是把这些正在真实世界里发生的场景通过路侧数据、4D 重建和生成补全重新组织起来让它们从一次性的道路事件变成可以反复训练、复现和验证的场景资产。这对行业的意义不只在于多了一种合成数据方法它可能会改变自动驾驶获取长尾数据的方式。世界模型在这里不再只是生成一段视频而是把真实道路里的复杂性重新交还给训练系统。
