点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达本文经授权发布 | 来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、300场顶会讲解、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入引言近年来3D Gaussian Splatting3DGS迅速成为神经渲染领域最具影响力的表示方法之一。相比传统的 NeRF 体渲染方法它能够在保持高视觉质量的同时实现实时渲染性能并被广泛应用于 3D 重建、AR/VR、机器人感知等任务。然而在其卓越性能背后其核心渲染过程却隐藏着一个重要的问题Splatting 并不满足严格的投影几何一致性。在传统窄视场FoVpinhole 相机下这种近似通常不会造成明显影响。但在许多真实世界系统中例如机器人视觉自动驾驶感知AR/VR设备 系统普遍依赖fisheye 或超广角相机。在这些情况下传统 Gaussian splatting 的近似误差会迅速放大导致渲染和几何重建的准确性显著下降。为了解决这一问题我们提出了3DGEER3D Gaussian Exact and Efficient Rendering。该方法从数学上推导出闭式 Ray–Gaussian 积分表达式并设计了投影几何精确的粒子包围体Particle Bounding Frustum从而在保持实时效率的同时首次实现通用相机模型Gaussian 渲染的投影几何一致性。论文已被ICLR 2026接收代码现已开源。标题3DGEER: 3D Gaussian Rendering Made Exact and Efficient for Generic Cameras作者Zixun Huang, Cho-Ying Wu, Yuliang Guo, Xinyu Huang, Liu Ren单位Bosch Research North America, Bosch Center for AI主页https://zixunh.github.io/3d-geer主要贡献3DGEER 的核心贡献可以总结为以下三个方面1. 投影几何精确的 Gaussian 渲染我们从理论上推导了Ray–Gaussian Integral和Association的闭式解实现了精确的前向渲染精确的反向梯度传播!精确的粒子包围体包络Gaussian的最小视锥!从根本上修复了 Gaussian splatting 在渲染和Association中长期存在的几何近似问题。2. 通用相机模型支持不同于现有splatting方法主要针对 窄视场的pinhole 相机设计3DGEER支持pinhole相机鱼眼相机超广角相机在极端 FoV 场景下仍保持稳定的渲染质量和几何一致性。3DGEER提出双极等角投影Bipolar Equiangular Projection可以在任意大小的视场下保持均匀的光线采样从而为辐射场训练提供稳定的视场大小无关的监督。3. 与主流 Gaussian Splatting 框架无缝集成3DGEER 采用插件式设计可以直接接入主流 Gaussian 渲染框架diff-gaussian-rasterizationgsplat从而可以集成到DriveStudio或StormGaussian等GS框架支持渲染高动态室外场景同时保持实时渲染性能。方法解析1 Ray–Gaussian 积分从近似到精确传统 Gaussian splatting 在渲染过程中通常依赖近似投影模型通过把3D Gaussian在屏幕空间的投影一阶泰勒展开从而线性近似成2D Gaussian。然而这种近似会破坏严格的投影几何一致性。尤其是对于广泛使用的鱼眼相机来说随着FoV的变大这种误差也会变大。我们在大FoV的鱼眼模型下测试了scale up高斯的数量来拟合投影误差发现无法close the gap从而证明了精确投影闭式解的重要性。在 3DGEER 中我们直接在ray space中推导 Gaussian 密度沿光线的积分。并得到一个闭式解析解closed-form solution。这使得我们能够精确计算每条 ray 与 Gaussian 的贡献同时获得解析梯度用于训练该公式同时适用于任意相机投影模型。并且和3DGRT假设存在ray-Gaussian intersection时所得到的结果具有一致性解释了maximum response可以作为Gaussian光线追踪算法的数学本质。2 Particle Bounding Frustum在渲染过程中另一个关键问题是如何高效判断哪些 Gaussian 会与 ray 相交传统方法通常采用EWA来获得近似 AABB 或 screen-space bounding但这些方法在非 pinhole 相机下会产生较大误差。同样的近期工作3DGUT采用UT来获得近似AABB的方式无法达到投影几何精确和基于3DGRT的渲染方法结合使用时会产生mismatched culling导致栅格化伪影。为此我们提出了Particle Bounding Frustum一种投影几何精确的包围体表示。其核心优势包括精确 ray–particle 关联更稳定的可见性计算高效 GPU 实现从而在保证精度的同时维持实时渲染效率。实验结果我们在多个广角与 fisheye 场景上对 3DGEER 进行了系统评估。实验结果表明在极端 FoV 条件下3DGEER 相比现有 Gaussian 渲染方法表现出明显优势更高的PSNR / SSIM更低的LPIPS更稳定的几何一致性更少的Gaussian更好的跨相机泛化性在视觉质量上3DGEER 能够显著减少 fisheye 场景中的几何失真渲染伪影边缘错位同时保持实时的渲染性能。应用场景由于支持通用相机模型3DGEER 在多个领域具有重要潜在应用价值自动驾驶自动驾驶系统广泛使用fisheye 和超广角相机3DGEER 能够提供更稳定的 3D 场景表示。机器人感知机器人系统通常依赖大视场视觉感知来理解环境3DGEER 能够提供更准确的场景建模能力。AR/VR在沉浸式渲染中大视角相机模型非常常见3DGEER 能够显著提升渲染一致性。总结3DGEER 从数学层面重新审视了Gaussian Splatting 的渲染过程并提出了一套既精确又高效的解决方案推导证明Ray–Gaussian 闭式积分公式提出投影几何精确的 Particle Bounding Frustum支持通用相机模型保持实时渲染性能适配多个Gaussian渲染框架这一工作为Gaussian Splatting在真实世界视觉系统中的应用提供了更加可靠的理论基础。开源地址代码现已开源Code:https://github.com/boschresearch/3dgeergsplat integrationhttps://github.com/boschresearch/3dgeer/tree/gsplat-geer本文仅做学术分享如有侵权请联系删文。3D视觉方向论文辅导来啦可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。添加微信cv3d001备注姓名方向单位邀请入群。
ICLR‘26开源｜3DGEER：首个几何精确的3DGS框架！支持鱼眼/超广角/跨相机训练，渲染精度与效率全面提升
点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达本文经授权发布 | 来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、300场顶会讲解、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入引言近年来3D Gaussian Splatting3DGS迅速成为神经渲染领域最具影响力的表示方法之一。相比传统的 NeRF 体渲染方法它能够在保持高视觉质量的同时实现实时渲染性能并被广泛应用于 3D 重建、AR/VR、机器人感知等任务。然而在其卓越性能背后其核心渲染过程却隐藏着一个重要的问题Splatting 并不满足严格的投影几何一致性。在传统窄视场FoVpinhole 相机下这种近似通常不会造成明显影响。但在许多真实世界系统中例如机器人视觉自动驾驶感知AR/VR设备 系统普遍依赖fisheye 或超广角相机。在这些情况下传统 Gaussian splatting 的近似误差会迅速放大导致渲染和几何重建的准确性显著下降。为了解决这一问题我们提出了3DGEER3D Gaussian Exact and Efficient Rendering。该方法从数学上推导出闭式 Ray–Gaussian 积分表达式并设计了投影几何精确的粒子包围体Particle Bounding Frustum从而在保持实时效率的同时首次实现通用相机模型Gaussian 渲染的投影几何一致性。论文已被ICLR 2026接收代码现已开源。标题3DGEER: 3D Gaussian Rendering Made Exact and Efficient for Generic Cameras作者Zixun Huang, Cho-Ying Wu, Yuliang Guo, Xinyu Huang, Liu Ren单位Bosch Research North America, Bosch Center for AI主页https://zixunh.github.io/3d-geer主要贡献3DGEER 的核心贡献可以总结为以下三个方面1. 投影几何精确的 Gaussian 渲染我们从理论上推导了Ray–Gaussian Integral和Association的闭式解实现了精确的前向渲染精确的反向梯度传播!精确的粒子包围体包络Gaussian的最小视锥!从根本上修复了 Gaussian splatting 在渲染和Association中长期存在的几何近似问题。2. 通用相机模型支持不同于现有splatting方法主要针对 窄视场的pinhole 相机设计3DGEER支持pinhole相机鱼眼相机超广角相机在极端 FoV 场景下仍保持稳定的渲染质量和几何一致性。3DGEER提出双极等角投影Bipolar Equiangular Projection可以在任意大小的视场下保持均匀的光线采样从而为辐射场训练提供稳定的视场大小无关的监督。3. 与主流 Gaussian Splatting 框架无缝集成3DGEER 采用插件式设计可以直接接入主流 Gaussian 渲染框架diff-gaussian-rasterizationgsplat从而可以集成到DriveStudio或StormGaussian等GS框架支持渲染高动态室外场景同时保持实时渲染性能。方法解析1 Ray–Gaussian 积分从近似到精确传统 Gaussian splatting 在渲染过程中通常依赖近似投影模型通过把3D Gaussian在屏幕空间的投影一阶泰勒展开从而线性近似成2D Gaussian。然而这种近似会破坏严格的投影几何一致性。尤其是对于广泛使用的鱼眼相机来说随着FoV的变大这种误差也会变大。我们在大FoV的鱼眼模型下测试了scale up高斯的数量来拟合投影误差发现无法close the gap从而证明了精确投影闭式解的重要性。在 3DGEER 中我们直接在ray space中推导 Gaussian 密度沿光线的积分。并得到一个闭式解析解closed-form solution。这使得我们能够精确计算每条 ray 与 Gaussian 的贡献同时获得解析梯度用于训练该公式同时适用于任意相机投影模型。并且和3DGRT假设存在ray-Gaussian intersection时所得到的结果具有一致性解释了maximum response可以作为Gaussian光线追踪算法的数学本质。2 Particle Bounding Frustum在渲染过程中另一个关键问题是如何高效判断哪些 Gaussian 会与 ray 相交传统方法通常采用EWA来获得近似 AABB 或 screen-space bounding但这些方法在非 pinhole 相机下会产生较大误差。同样的近期工作3DGUT采用UT来获得近似AABB的方式无法达到投影几何精确和基于3DGRT的渲染方法结合使用时会产生mismatched culling导致栅格化伪影。为此我们提出了Particle Bounding Frustum一种投影几何精确的包围体表示。其核心优势包括精确 ray–particle 关联更稳定的可见性计算高效 GPU 实现从而在保证精度的同时维持实时渲染效率。实验结果我们在多个广角与 fisheye 场景上对 3DGEER 进行了系统评估。实验结果表明在极端 FoV 条件下3DGEER 相比现有 Gaussian 渲染方法表现出明显优势更高的PSNR / SSIM更低的LPIPS更稳定的几何一致性更少的Gaussian更好的跨相机泛化性在视觉质量上3DGEER 能够显著减少 fisheye 场景中的几何失真渲染伪影边缘错位同时保持实时的渲染性能。应用场景由于支持通用相机模型3DGEER 在多个领域具有重要潜在应用价值自动驾驶自动驾驶系统广泛使用fisheye 和超广角相机3DGEER 能够提供更稳定的 3D 场景表示。机器人感知机器人系统通常依赖大视场视觉感知来理解环境3DGEER 能够提供更准确的场景建模能力。AR/VR在沉浸式渲染中大视角相机模型非常常见3DGEER 能够显著提升渲染一致性。总结3DGEER 从数学层面重新审视了Gaussian Splatting 的渲染过程并提出了一套既精确又高效的解决方案推导证明Ray–Gaussian 闭式积分公式提出投影几何精确的 Particle Bounding Frustum支持通用相机模型保持实时渲染性能适配多个Gaussian渲染框架这一工作为Gaussian Splatting在真实世界视觉系统中的应用提供了更加可靠的理论基础。开源地址代码现已开源Code:https://github.com/boschresearch/3dgeergsplat integrationhttps://github.com/boschresearch/3dgeer/tree/gsplat-geer本文仅做学术分享如有侵权请联系删文。3D视觉方向论文辅导来啦可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。添加微信cv3d001备注姓名方向单位邀请入群。
