在端到端自动驾驶规划任务中模型性能通常不能只看“轨迹预测得像不像”还要综合考虑安全性、可行驶性、舒适性以及实时运行能力。以 DiffusionDrive 相关实验描述为例文中提到了多个自动驾驶领域常用的评估指标包括PDMS、L2 error、collision rate 和 FPS。这些指标分别从不同角度衡量自动驾驶规划模型的表现。本文将按照层次结构对这些指标的缩写含义、评价作用以及数值高低所代表的意义进行总结。一、自动驾驶规划评估指标可以分为两类从功能上看文中提到的指标大致可以分为两类类型指标主要作用规划质量指标PDMS、L2 error、collision rate衡量规划轨迹是否合理、安全、接近真实驾驶行为运行效率指标FPS、1.8× faster衡量模型推理速度判断是否具备实时运行能力其中PDMS、L2 error 和 collision rate更关注“规划得好不好”而FPS更关注“跑得快不快”。二、PDMS综合规划质量评分1. PDMS 的含义PDMS通常可以理解为PDM Score即Predictive Driver Model Score。中文可以翻译为预测驾驶模型评分或基于预测驾驶模型的综合规划评分。它是 NAVSIM benchmark 中常用的综合评价指标用来评估自动驾驶规划轨迹的整体质量。与单纯的轨迹距离误差不同PDMS 并不是只判断预测轨迹和真实轨迹是否接近而是综合考虑规划轨迹是否安全、是否在可行驶区域内、是否有碰撞风险、是否有效前进以及是否舒适平顺。2. PDMS 衡量什么PDMS 是一个综合指标通常会涉及以下几个方面子指标英文全称中文含义作用NCNo at-fault Collisions无责任碰撞判断自车规划是否导致碰撞DACDrivable Area Compliance可行驶区域合规性判断轨迹是否保持在可行驶区域内TTCTime To Collision碰撞时间判断未来是否存在潜在碰撞风险EPEgo Progress自车前进进度判断车辆是否有效向目标方向前进CComfort舒适性判断轨迹是否平稳、是否符合乘坐体验因此PDMS 可以看作一个更接近真实自动驾驶需求的综合指标。3. PDMS 数值如何理解PDMS 一般是越高越好。例如文中提到DiffusionDrive 在 NAVSIM navtest split 上取得了 88.1 PDMS。这说明 DiffusionDrive 在 NAVSIM 测试集上的综合规划表现较好轨迹不仅要接近合理驾驶行为还要尽可能满足安全、合规、舒适和有效前进等要求。4. 为什么 PDMS 比单一误差指标更重要在自动驾驶中仅仅预测出一条接近真实轨迹的路径是不够的。例如轨迹距离真实驾驶轨迹很近但发生碰撞显然不可接受轨迹没有碰撞但车辆一直不前进也不是好的规划轨迹可以前进但急加速、急刹车、急转弯乘坐体验很差轨迹本身平滑但驶出了可行驶区域也不符合驾驶要求。因此PDMS 的优势在于它能从多个维度评价规划轨迹而不是只关注单一误差。三、L2 error轨迹距离误差1. L2 error 的含义L2 error中的L2指的是L2 norm也就是欧氏距离范数。在自动驾驶轨迹规划中L2 error 通常表示模型预测轨迹与真实人类驾驶轨迹之间的欧氏距离误差。简单来说就是比较模型预测出来的未来位置点和真实车辆未来位置点之间的距离差。2. L2 error 衡量什么L2 error 主要衡量预测轨迹是否接近真实驾驶轨迹。假设模型需要预测未来 3 秒内自车的位置真实车辆也有对应的未来轨迹那么就可以在多个时间点计算预测位置和真实位置之间的距离。距离越小说明模型预测得越接近真实驾驶行为。3. L2 error 数值如何理解L2 error 是越低越好。文中提到DiffusionDrive 比 VAD 的 L2 error 低 20.8%。这说明在相同 ResNet-50 backbone 下DiffusionDrive 预测出来的轨迹相比 VAD 更接近真实轨迹。4. L2 error 的局限性虽然 L2 error 很常用但它并不能完全代表自动驾驶规划质量。原因在于真实轨迹并不一定是唯一正确答案。在实际交通场景中车辆可能有多种合理选择。例如前方车辆减速时可以轻微减速跟车也可以在条件允许时换道超车路口处可以提前减速等待也可以在安全条件下继续通过。这些轨迹都可能是合理的但 L2 error 只会判断哪条轨迹更接近数据集中记录的人类轨迹。因此L2 error 更适合衡量轨迹模仿能力但不能单独代表安全性和可行性。四、Collision rate碰撞率1. Collision rate 的含义Collision rate的中文含义是碰撞率。它表示模型规划出的轨迹在未来一段时间内发生碰撞的比例。碰撞对象可能包括其他车辆行人骑行者障碍物不可通行区域。2. Collision rate 衡量什么Collision rate 主要衡量自动驾驶规划模型的安全性。它回答的问题是模型规划出的轨迹是否容易导致碰撞在自动驾驶任务中安全性是最核心的指标之一。因此即使一个模型的 L2 error 很低如果 collision rate 很高也不能认为它是一个可靠的规划模型。3. Collision rate 数值如何理解Collision rate 是越低越好。文中提到DiffusionDrive 比 VAD 的 collision rate 低 63.6%。这说明 DiffusionDrive 相比 VAD 生成的轨迹更安全发生碰撞的概率明显更低。4. 为什么 collision rate 很重要自动驾驶规划的最终目标不是简单地复现人类轨迹而是生成安全、合理、可执行的驾驶行为。如果一个模型只是追求与真实轨迹接近可能会忽略场景中的动态风险。例如没有及时避让突然出现的行人没有正确处理前车急刹在换道时与侧后方车辆发生冲突在路口规划了不安全的通过路径。这些问题都可以通过 collision rate 反映出来。因此collision rate 是衡量自动驾驶安全性的关键指标。五、FPS每秒处理帧数1. FPS 的含义FPS的全称是Frames Per Second中文意思是每秒帧数或每秒处理帧数。在自动驾驶模型中FPS 通常用于衡量模型推理速度。2. FPS 衡量什么FPS 主要衡量模型每秒能够完成多少次推理或规划。例如文中提到DiffusionDrive 在 NVIDIA 4090 上可以达到 45 FPS。这意味着模型在该硬件平台上每秒大约可以完成 45 次规划推理。3. FPS 数值如何理解FPS 是越高越好。FPS 越高说明模型推理速度越快越有可能满足实时自动驾驶系统的需求。4. 为什么自动驾驶模型需要高 FPS自动驾驶系统需要实时感知环境变化并不断更新规划结果。车辆在真实道路上行驶时周围环境是动态变化的例如前车突然减速行人横穿马路旁车变道红绿灯状态变化路口出现新的交通参与者。如果模型推理速度太慢系统就无法及时响应这些变化。因此一个优秀的自动驾驶规划模型不仅要规划质量高还必须具备较高的运行效率。六、1.8× faster相对速度提升文中还提到DiffusionDrive runs 1.8× faster than VAD。这里的1.8× faster不是一个独立的评估指标缩写而是一个相对速度比较。它表示DiffusionDrive 的运行速度是 VAD 的 1.8 倍。这个指标和 FPS 一样属于运行效率层面的评价。如果一个模型精度很高但推理速度很慢那么它可能只能用于离线评测难以部署到真实车辆中。相反如果一个模型既能取得较高规划质量又能保持较高 FPS那么它就更具有实际应用价值。七、几个指标之间的关系自动驾驶规划模型的评估不能只看单一指标而要综合分析。1. PDMS 关注综合表现PDMS 是综合性指标能够同时反映安全、合规、进度和舒适性。它更适合作为整体性能评价指标。2. L2 error 关注轨迹接近程度L2 error 衡量的是预测轨迹与真实人类轨迹之间的距离。它更适合评价模型是否学到了人类驾驶行为模式。3. Collision rate 关注安全性Collision rate 衡量的是碰撞风险。它是自动驾驶规划任务中非常关键的安全指标。4. FPS 关注实时性FPS 衡量的是模型能否快速完成推理。它决定了模型是否具备实际部署潜力。八、总结文中提到的自动驾驶常用评估指标可以总结如下指标全称中文含义评价维度越大越好还是越小越好PDMSPredictive Driver Model Score / PDM Score综合规划评分安全性、可行驶性、进度、舒适性等综合表现越大越好L2 errorL2 norm error欧氏距离误差预测轨迹与真实轨迹的接近程度越小越好Collision rateCollision rate碰撞率规划轨迹的安全性越小越好FPSFrames Per Second每秒处理帧数模型推理速度和实时性越大越好1.8× fasterRelative speed improvement相对速度提升与其他方法相比的运行效率越大越好可以用一句话概括PDMS 看综合驾驶质量L2 error 看轨迹是否接近真实驾驶collision rate 看规划是否安全FPS 看模型是否具备实时运行能力。在自动驾驶规划任务中一个真正优秀的模型不能只在某一个指标上表现突出而应该同时具备较高的综合规划评分较低的轨迹误差较低的碰撞率较快的推理速度。这也是 DiffusionDrive 这类端到端自动驾驶规划方法被关注的重要原因它不仅追求规划精度也强调安全性、多模态驾驶行为以及实时推理能力。
自动驾驶规划评估指标详解：从 PDMS、L2 Error、Collision Rate 到 FPS
在端到端自动驾驶规划任务中模型性能通常不能只看“轨迹预测得像不像”还要综合考虑安全性、可行驶性、舒适性以及实时运行能力。以 DiffusionDrive 相关实验描述为例文中提到了多个自动驾驶领域常用的评估指标包括PDMS、L2 error、collision rate 和 FPS。这些指标分别从不同角度衡量自动驾驶规划模型的表现。本文将按照层次结构对这些指标的缩写含义、评价作用以及数值高低所代表的意义进行总结。一、自动驾驶规划评估指标可以分为两类从功能上看文中提到的指标大致可以分为两类类型指标主要作用规划质量指标PDMS、L2 error、collision rate衡量规划轨迹是否合理、安全、接近真实驾驶行为运行效率指标FPS、1.8× faster衡量模型推理速度判断是否具备实时运行能力其中PDMS、L2 error 和 collision rate更关注“规划得好不好”而FPS更关注“跑得快不快”。二、PDMS综合规划质量评分1. PDMS 的含义PDMS通常可以理解为PDM Score即Predictive Driver Model Score。中文可以翻译为预测驾驶模型评分或基于预测驾驶模型的综合规划评分。它是 NAVSIM benchmark 中常用的综合评价指标用来评估自动驾驶规划轨迹的整体质量。与单纯的轨迹距离误差不同PDMS 并不是只判断预测轨迹和真实轨迹是否接近而是综合考虑规划轨迹是否安全、是否在可行驶区域内、是否有碰撞风险、是否有效前进以及是否舒适平顺。2. PDMS 衡量什么PDMS 是一个综合指标通常会涉及以下几个方面子指标英文全称中文含义作用NCNo at-fault Collisions无责任碰撞判断自车规划是否导致碰撞DACDrivable Area Compliance可行驶区域合规性判断轨迹是否保持在可行驶区域内TTCTime To Collision碰撞时间判断未来是否存在潜在碰撞风险EPEgo Progress自车前进进度判断车辆是否有效向目标方向前进CComfort舒适性判断轨迹是否平稳、是否符合乘坐体验因此PDMS 可以看作一个更接近真实自动驾驶需求的综合指标。3. PDMS 数值如何理解PDMS 一般是越高越好。例如文中提到DiffusionDrive 在 NAVSIM navtest split 上取得了 88.1 PDMS。这说明 DiffusionDrive 在 NAVSIM 测试集上的综合规划表现较好轨迹不仅要接近合理驾驶行为还要尽可能满足安全、合规、舒适和有效前进等要求。4. 为什么 PDMS 比单一误差指标更重要在自动驾驶中仅仅预测出一条接近真实轨迹的路径是不够的。例如轨迹距离真实驾驶轨迹很近但发生碰撞显然不可接受轨迹没有碰撞但车辆一直不前进也不是好的规划轨迹可以前进但急加速、急刹车、急转弯乘坐体验很差轨迹本身平滑但驶出了可行驶区域也不符合驾驶要求。因此PDMS 的优势在于它能从多个维度评价规划轨迹而不是只关注单一误差。三、L2 error轨迹距离误差1. L2 error 的含义L2 error中的L2指的是L2 norm也就是欧氏距离范数。在自动驾驶轨迹规划中L2 error 通常表示模型预测轨迹与真实人类驾驶轨迹之间的欧氏距离误差。简单来说就是比较模型预测出来的未来位置点和真实车辆未来位置点之间的距离差。2. L2 error 衡量什么L2 error 主要衡量预测轨迹是否接近真实驾驶轨迹。假设模型需要预测未来 3 秒内自车的位置真实车辆也有对应的未来轨迹那么就可以在多个时间点计算预测位置和真实位置之间的距离。距离越小说明模型预测得越接近真实驾驶行为。3. L2 error 数值如何理解L2 error 是越低越好。文中提到DiffusionDrive 比 VAD 的 L2 error 低 20.8%。这说明在相同 ResNet-50 backbone 下DiffusionDrive 预测出来的轨迹相比 VAD 更接近真实轨迹。4. L2 error 的局限性虽然 L2 error 很常用但它并不能完全代表自动驾驶规划质量。原因在于真实轨迹并不一定是唯一正确答案。在实际交通场景中车辆可能有多种合理选择。例如前方车辆减速时可以轻微减速跟车也可以在条件允许时换道超车路口处可以提前减速等待也可以在安全条件下继续通过。这些轨迹都可能是合理的但 L2 error 只会判断哪条轨迹更接近数据集中记录的人类轨迹。因此L2 error 更适合衡量轨迹模仿能力但不能单独代表安全性和可行性。四、Collision rate碰撞率1. Collision rate 的含义Collision rate的中文含义是碰撞率。它表示模型规划出的轨迹在未来一段时间内发生碰撞的比例。碰撞对象可能包括其他车辆行人骑行者障碍物不可通行区域。2. Collision rate 衡量什么Collision rate 主要衡量自动驾驶规划模型的安全性。它回答的问题是模型规划出的轨迹是否容易导致碰撞在自动驾驶任务中安全性是最核心的指标之一。因此即使一个模型的 L2 error 很低如果 collision rate 很高也不能认为它是一个可靠的规划模型。3. Collision rate 数值如何理解Collision rate 是越低越好。文中提到DiffusionDrive 比 VAD 的 collision rate 低 63.6%。这说明 DiffusionDrive 相比 VAD 生成的轨迹更安全发生碰撞的概率明显更低。4. 为什么 collision rate 很重要自动驾驶规划的最终目标不是简单地复现人类轨迹而是生成安全、合理、可执行的驾驶行为。如果一个模型只是追求与真实轨迹接近可能会忽略场景中的动态风险。例如没有及时避让突然出现的行人没有正确处理前车急刹在换道时与侧后方车辆发生冲突在路口规划了不安全的通过路径。这些问题都可以通过 collision rate 反映出来。因此collision rate 是衡量自动驾驶安全性的关键指标。五、FPS每秒处理帧数1. FPS 的含义FPS的全称是Frames Per Second中文意思是每秒帧数或每秒处理帧数。在自动驾驶模型中FPS 通常用于衡量模型推理速度。2. FPS 衡量什么FPS 主要衡量模型每秒能够完成多少次推理或规划。例如文中提到DiffusionDrive 在 NVIDIA 4090 上可以达到 45 FPS。这意味着模型在该硬件平台上每秒大约可以完成 45 次规划推理。3. FPS 数值如何理解FPS 是越高越好。FPS 越高说明模型推理速度越快越有可能满足实时自动驾驶系统的需求。4. 为什么自动驾驶模型需要高 FPS自动驾驶系统需要实时感知环境变化并不断更新规划结果。车辆在真实道路上行驶时周围环境是动态变化的例如前车突然减速行人横穿马路旁车变道红绿灯状态变化路口出现新的交通参与者。如果模型推理速度太慢系统就无法及时响应这些变化。因此一个优秀的自动驾驶规划模型不仅要规划质量高还必须具备较高的运行效率。六、1.8× faster相对速度提升文中还提到DiffusionDrive runs 1.8× faster than VAD。这里的1.8× faster不是一个独立的评估指标缩写而是一个相对速度比较。它表示DiffusionDrive 的运行速度是 VAD 的 1.8 倍。这个指标和 FPS 一样属于运行效率层面的评价。如果一个模型精度很高但推理速度很慢那么它可能只能用于离线评测难以部署到真实车辆中。相反如果一个模型既能取得较高规划质量又能保持较高 FPS那么它就更具有实际应用价值。七、几个指标之间的关系自动驾驶规划模型的评估不能只看单一指标而要综合分析。1. PDMS 关注综合表现PDMS 是综合性指标能够同时反映安全、合规、进度和舒适性。它更适合作为整体性能评价指标。2. L2 error 关注轨迹接近程度L2 error 衡量的是预测轨迹与真实人类轨迹之间的距离。它更适合评价模型是否学到了人类驾驶行为模式。3. Collision rate 关注安全性Collision rate 衡量的是碰撞风险。它是自动驾驶规划任务中非常关键的安全指标。4. FPS 关注实时性FPS 衡量的是模型能否快速完成推理。它决定了模型是否具备实际部署潜力。八、总结文中提到的自动驾驶常用评估指标可以总结如下指标全称中文含义评价维度越大越好还是越小越好PDMSPredictive Driver Model Score / PDM Score综合规划评分安全性、可行驶性、进度、舒适性等综合表现越大越好L2 errorL2 norm error欧氏距离误差预测轨迹与真实轨迹的接近程度越小越好Collision rateCollision rate碰撞率规划轨迹的安全性越小越好FPSFrames Per Second每秒处理帧数模型推理速度和实时性越大越好1.8× fasterRelative speed improvement相对速度提升与其他方法相比的运行效率越大越好可以用一句话概括PDMS 看综合驾驶质量L2 error 看轨迹是否接近真实驾驶collision rate 看规划是否安全FPS 看模型是否具备实时运行能力。在自动驾驶规划任务中一个真正优秀的模型不能只在某一个指标上表现突出而应该同时具备较高的综合规划评分较低的轨迹误差较低的碰撞率较快的推理速度。这也是 DiffusionDrive 这类端到端自动驾驶规划方法被关注的重要原因它不仅追求规划精度也强调安全性、多模态驾驶行为以及实时推理能力。
