不给算法“修补”的机会从一开始就活在球面的边界里假如你有一张不全的全景图——左边能看到半条走廊右边有半扇窗户。你想让 AI 把缺失的部分“画”出来拼出一张完整的 360° 画面。对现在的图像生成模型来说这不是一项陌生的任务。像 Stable Diffusion 这样的模型早已能对平面图像进行 Outpainting外向画幅扩展把一张图向左向右继续延展。但“画满一张全景图”和“画出一张能无缝闭合成一个球的全景图”难度完全不在一个量级。普通图像的外推只需考虑两条直边左和右的接缝而全景图像的左右边界在物理世界里恰好是贴合在一起的——画面的最左侧和最右侧代表同一个真实方向。这意味着当你在平面ERP上向外推全景图时左右两端的生成需要完成一个“看不见的握手”生成的右侧扩展部分从逻辑上必须与左侧已存在的像素在球面上对齐。如果将全景图像展开成平面再进行外推球面的连续性会被硬生生打断。标准扩散模型假设数据分布在一个欧几里得平面上对一幅平面图像加的是“平面高斯噪声”。而对于 ERP 格式展开的全景图画面的左右两侧在球面上本是同一个点但在平面网格上却被分置两端——这样一对在现实中“必须对齐”的像素在标准扩散模型中从未被强制要求它们彼此感知。模型学到的是像素在平面上的统计关系而不是像素在球面上的空间逻辑。因此它能在平面的左右两端画上漂亮的“雪景”但永远无法保证把这两片雪在球面上闭合为一个连续的世界。这项来自北京航空航天大学、武汉大学、英国萨里大学等多家机构的联合研究为全景图像外推提供了一种全新的思路不再把全景展开图当作一幅特殊的平面图而是直接把扩散过程设计在球面几何上。他们提出的 Spherical-Nested Diffusion (SpND) 模型是“第一个将球面几何从根本上内嵌到扩散模型结构中的框架”。更令人惊叹的是它仅在训练层面完成球面内嵌无需额外增加推理采样步骤在外推精度上依然大幅超越 SOTA——将 FID 指标从 SOTA 方法的 22 大幅降低到 10 左右性能提升超过 50%。以下我们从问题起点、核心方法、实验验证、创新价值与未来方向几个维度逐层拆解这篇 ICML 2025 论文的精妙之处。一、问题的起点为什么全景外推是一个“天生的几何难题”1.1 全景图“展开”的那一刻球面就被破坏了全景图像通常以ERPEquirectangular Projection等距柱状投影格式存储和显示。这种格式用宽度WWW、高度HHH的平面矩形来表示整个球面纬度映射为纵向坐标经度映射为横向坐标0∘0^\circ0∘经度与360∘360^\circ360∘经度被强行拆开分别落到矩形的左右两条对立边界上。换句话说球面上本是邻接的两个点在 ERP 平面上被远远分置在矩形的两端失去了一切显式的空间连接。而对于一个扩散模型而言它看到的就是一张普通的平面图。它不知道“左边界”和“右边界”之间在真实世界中只有短短几毫米的距离。1.2 “软约束”的外推治标不治本现有的全景外推方法大多采用一种“软约束”策略模型仍然在平面图像上学习和生成只是额外加一个损失函数通常是MSE 或 L1强迫模型让左右两侧的像素看起来尽可能“像”。但这是一种被动惩罚不是主动的几何约束。模型依然可以生成一张在平面统计上“漂亮”的画面而在球面上产生不可见的物理断裂——例如左侧画了一棵树右侧画了一片天空而在真实球面上二者本应平滑地衔接为一个场景。1.3 “嵌套扩散”登场放弃平面去噪引入球面相关噪声SpND 的破局点在于他们从扩散过程的起点——加噪阶段——就改变了世界的坐标。标准扩散从一幅平面图像逐步加高斯噪声让图像在信息衰减中退化为纯噪声。SpND 将这一步骤的噪声空间从“平面网格”改为“球面”迫使模型在去噪过程中需要学习的数据相关性不再仅仅是相邻像素之间的局部平滑性而是球面上任意方向的空间逻辑。模型最终学到的是一套真正活在球面上的生成能力。当它对外推时左右边界的“握手”早已被训练内化不再需要额外强制执行。二、方法的核心SpND——把“圆”种进扩散的“每一步”SpND 模型的核心架构可以概括为用一个球形噪声过程替代传统各向同性高斯噪声配合一个专门设计的 Spherical Deformable ConvolutionSDC模块从底层网络结构到顶层扩散策略实现全景数据球面性质的全程嵌入。2.1 球形噪声Spherical Noise改变游戏规则的起点这是整个 SpND 最关键的底层创新。在标准 Diffusion 中每一步加噪都是各向同性的高斯噪声——它在平面网格上处处随机不考虑方向关联。SpND 定义了一系列在球面上具有统计依赖性的噪声结构通过精心构造噪声协方差矩阵使得在去噪训练中处于球面上不同位置的像素点之间的信息相关性与它们的球面距离强相关。也就是说模型在训练过程中被迫学习两个像素在球面上越近它们在生成过程中就应具有更强的统计联系。而 ERP 展开图中左右边界两侧的像素在球面上极近在这一噪声框架下被打上了“强相关”的标记。即使它们在平面网格上分离两端模型也必须把它们当作为同一个空间邻域来处理。2.2 球形可变形卷积SDC让卷积核沿着球面“行走”传统的卷积是在平面网格上滑动固定形状的方形窗口。当面对 ERP 格式的全景图时这种方法会产生严重的极区畸变靠近两极的区域在 ERP 中被水平拉伸几何失真非常严重。普通卷积核会在这些区域学习到大量高度扭曲的特征而 Spherical Deformable ConvolutionSDC为每个采样点赋予了可学习的位置偏移量并利用球面几何先验即极区收缩特征对偏移方向进行引导约束。换言之卷积核不再僵硬地在平面上滑动而是学习沿着球面的真实经纬网格移动在所有纬度上保持几何上有意义的特征提取。2.3 圆掩码编码器CME将球面闭合性直接编入条件表征对于全景 Outpainting 任务输入是一张不完整图像例如已知画面占上半球下半球缺失。模型需要根据现有像素推测缺失区域的球面连续内容。CME 将输入图像中的“已知部分”编码为条件向量在编码过程中特别增强了对左右边界两侧信息的联合建模——也就是说当模型看到左侧经度0∘0^\circ0∘的像素时也强制编码来自右侧经度360∘360^\circ360∘对应区域的像素从而让模型在一开始就意识到左右边界闭合必须构成一个连续画面。CME 还支持灵活的掩码模式适用于不同位置和形状的图像缺失。2.4 整体 Pipeline从噪声到全景SpND 的最终生成流程大致如下输入准备一张不完整的 ERP 全景图像 对应的掩码Mask标明哪些像素已知、哪些需要生成。球面嵌入Spherical Embedding将输入图像映射到球面语义空间。球面加噪 / 去噪在前向传播中采用球形噪声加噪在反向去噪过程中模型根据 CME 提取的条件配合 SDC 模块和 U‑Net 架构从球面噪声中逐步恢复出完整的全景图像。输出完整、无缝的 ERP 全景图像。三、实验的答卷不只是“好一点”而是直接翻倍SpND 在多个主流全景图像数据集上进行了严格评估对比方法包括标准扩散模型以及专门为全景外推优化的PanoDiffusionSOTA 基线。评价指标中最核心的是Fréchet Inception DistanceFID——数值越低生成的图像在分布上与真实全景图越接近质量越高。SpND 将 FID 指标从 SOTA 方法的 22 大幅降低到 10 左右性能提升超过 50%。除了 FID 的显著优势SpND 在 360° 全景外推的定性效果上也有肉眼可见的改进生成的接缝处过渡极其平滑物体的空间位置在画面内保持一致的几何逻辑极区区域的图像畸变得到了显著校正生成的纹理更为真实、自然。消融实验进一步验证了球形噪声与 SDC 两个模块各自的核心贡献两者联合使用时性能最好缺少 SDC模型对极区畸变的抑制能力大幅下降缺少球形噪声左右边界经常出现诡异的画面断裂。同时论文还验证了 CME 在多形状掩码上的泛化能力CME 输出的条件向量在多种掩码配置下保持稳定有效提升了模型的适应性。四、创新的价值SpND 为全景生成带来了什么范式性转变4.1 从“软约束”到“硬内嵌”观念的根本转变全景图像生成领域的研究路径终于从“如何让平面模型适应球面数据”的前置纠正逻辑转向“如何从设计上让模型天然理解和尊重球面几何”的主动架构层面。SpND 证明了通过将球面几何内嵌于扩散过程的每一步——从噪声开始贯穿网络结构、条件编码乃至最终生成——可以彻底解决长期困扰该领域的球面边界断裂、极区畸变等顽疾。4.2 为“几何先验”提供了可复制的设计范式Spherical Noise 与 SDC 的组合不仅适用于全景外推其核心思想或许可以迁移到更多具有非欧几何结构的数据生成任务比如 3D 形状生成曲面展开到平面后生成的接缝问题、360° 视频插帧需要保持球面时间和空间连续性以及在球面雷达/声纳数据生成等。它为“如何将几何先验内嵌到扩散模型”提供了一个极具启发性的操作范例。4.3 高效推理不增加采样时间即可获得大幅提升许多生成模型的改进是以牺牲推理时间为代价的——增加采样步数、引入额外的优化网络等。SpND 的设计完全嵌入在训练阶段的模型结构和噪声策略中在推理时没有增加任何额外的步骤却取得了比 SOTA 更高的外推质量。这一点对于 VR/AR 中的实时全景内容生成尤为重要。4.4 开源社区的资源贡献SpND 的代码已在 GitHub 上公开https://github.com/chronos123/SpND。论文作者之一 Senmao Ma 与团队同期也在 CVPR 2025 上发表了“Spherical Manifold Guided Diffusion Model for Panoramic Image Generation (SMGD)”在文本驱动的全景生成方向上探索了类似思路。同一群研究者在全景内容生成与理解方向上的持续深耕正在为 360° 视觉生态构建一个逐渐完整的技术版图。五、未来的追问当全景外推不再是难题还有哪些值得攀登的高峰5.1 从静态到动态全景视频的外推与插帧目前 SpND 聚焦于单帧的全景图像外推。在真正的沉浸式内容生产中动态全景视频才是 AR/VR 和元宇宙应用的核心。如何将“球面内嵌扩散”推广到时序一致的全景视频生成是一个挑战与潜力并存的课题。此外如何将 SpND 的思路与近期涌现的球面流匹配Spherical Flow Matching等技术融合进一步提升生成效率和一致性的上限也是值得探索的方向。5.2 从外推到可控生成精细化条件控制SpND 现阶段主要基于图像掩码条件完成外推。未来可以探索更复杂的条件输入——文本指令通过全景扩散模型的文本适配、草图约束、语义布局控制等让用户更精确地“指挥”全景画面缺失部分的风格和内容。5.3 数据稀缺与泛化能力高质量 360° 全景训练数据相对稀缺且现有数据集往往偏重室内场景如 Matterport3D室外自然场景的多样性覆盖不足。如何在有限数据下训练更强的球面扩散模型以及如何利用 2D 平面图像的先验知识迁移到球面扩散训练中仍是一个值得探索的方向。5.4 从重建到理解和交互全景外推技术本身就是对场景 3D 空间结构的一种隐式理解模型必须在球面上理解物体之间的空间遮挡、透视关系和光照连续性。将 SpND 的这种“球面空间理解能力”提取出来迁移到 360° 场景语义分割、3D 场景结构推断甚至全景图像深度估计等理解型任务中也值得期待。5.5 隐私与责任全景图像外推的潜在风险同样值得关注当模型能够用一张不完整的全景图推测并生成完整的 360° 室内场景时一旦模型被输入包含个人隐私室内布局、个人物品等的不完整画面其生成的完整画面可能暴露更多未授权的场景信息。用于 AR/VR 应用发布前必须有专门的隐私检测流程和内容审核机制。关键信息速览维度内容论文标题Spherical-Nested Diffusion Model for Panoramic Image Outpainting作者Xiancheng Sun Senmao Ma Shengxi Li Mai Xu Jingyuan Xia Lai Jiang Xin Deng Jiali Wang北京航空航天大学、武汉大学、英国萨里大学等机构联合具体隶属关系需查阅论文详情发表会议ICML 2025International Conference on Machine Learning第四十二届国际机器学习大会arXiv / 全文ICML 2025 已录用可通过官方 Proceedings 查看完整论文模型名称Spherical‑Nested Diffusion (SpND)核心架构球形噪声Spherical Noise 球形可变形卷积SDC 圆掩码编码器CME基于预训练扩散模型微调输入输出输入不完整的 ERP 全景图与掩码 → 输出完整且球面一致的全景图核心创新首次将球面几何内嵌于扩散模型的噪声过程和卷积结构实现“硬约束”式全景外推关键结果在多个数据集上将 FID 从 SOTA 的 ~22 降低到 ~10性能提升超过 50%开源地址https://github.com/chronos123/SpND相关论文Spherical Manifold Guided Diffusion Model (SMGD) CVPR 2025同一团队当模型不再把全景图像当作一个“被强行拉平的矩形画布”而是一个首尾相连的球面世界时外推任务的性质悄然发生了变化它不再只是填补像素而是在推演球面世界的空间逻辑。你可能看不到它的“思考”但当你转动 VR 头显的视线发现每一度视野都在连贯而真实地流动时——那场始于噪声空间的球形革命正在那里为你展现。
当“球面”被刻进噪声：ICML 2025 论文深度解读《Spherical-Nested Diffusion Model for Panoramic Image Outpainting》
不给算法“修补”的机会从一开始就活在球面的边界里假如你有一张不全的全景图——左边能看到半条走廊右边有半扇窗户。你想让 AI 把缺失的部分“画”出来拼出一张完整的 360° 画面。对现在的图像生成模型来说这不是一项陌生的任务。像 Stable Diffusion 这样的模型早已能对平面图像进行 Outpainting外向画幅扩展把一张图向左向右继续延展。但“画满一张全景图”和“画出一张能无缝闭合成一个球的全景图”难度完全不在一个量级。普通图像的外推只需考虑两条直边左和右的接缝而全景图像的左右边界在物理世界里恰好是贴合在一起的——画面的最左侧和最右侧代表同一个真实方向。这意味着当你在平面ERP上向外推全景图时左右两端的生成需要完成一个“看不见的握手”生成的右侧扩展部分从逻辑上必须与左侧已存在的像素在球面上对齐。如果将全景图像展开成平面再进行外推球面的连续性会被硬生生打断。标准扩散模型假设数据分布在一个欧几里得平面上对一幅平面图像加的是“平面高斯噪声”。而对于 ERP 格式展开的全景图画面的左右两侧在球面上本是同一个点但在平面网格上却被分置两端——这样一对在现实中“必须对齐”的像素在标准扩散模型中从未被强制要求它们彼此感知。模型学到的是像素在平面上的统计关系而不是像素在球面上的空间逻辑。因此它能在平面的左右两端画上漂亮的“雪景”但永远无法保证把这两片雪在球面上闭合为一个连续的世界。这项来自北京航空航天大学、武汉大学、英国萨里大学等多家机构的联合研究为全景图像外推提供了一种全新的思路不再把全景展开图当作一幅特殊的平面图而是直接把扩散过程设计在球面几何上。他们提出的 Spherical-Nested Diffusion (SpND) 模型是“第一个将球面几何从根本上内嵌到扩散模型结构中的框架”。更令人惊叹的是它仅在训练层面完成球面内嵌无需额外增加推理采样步骤在外推精度上依然大幅超越 SOTA——将 FID 指标从 SOTA 方法的 22 大幅降低到 10 左右性能提升超过 50%。以下我们从问题起点、核心方法、实验验证、创新价值与未来方向几个维度逐层拆解这篇 ICML 2025 论文的精妙之处。一、问题的起点为什么全景外推是一个“天生的几何难题”1.1 全景图“展开”的那一刻球面就被破坏了全景图像通常以ERPEquirectangular Projection等距柱状投影格式存储和显示。这种格式用宽度WWW、高度HHH的平面矩形来表示整个球面纬度映射为纵向坐标经度映射为横向坐标0∘0^\circ0∘经度与360∘360^\circ360∘经度被强行拆开分别落到矩形的左右两条对立边界上。换句话说球面上本是邻接的两个点在 ERP 平面上被远远分置在矩形的两端失去了一切显式的空间连接。而对于一个扩散模型而言它看到的就是一张普通的平面图。它不知道“左边界”和“右边界”之间在真实世界中只有短短几毫米的距离。1.2 “软约束”的外推治标不治本现有的全景外推方法大多采用一种“软约束”策略模型仍然在平面图像上学习和生成只是额外加一个损失函数通常是MSE 或 L1强迫模型让左右两侧的像素看起来尽可能“像”。但这是一种被动惩罚不是主动的几何约束。模型依然可以生成一张在平面统计上“漂亮”的画面而在球面上产生不可见的物理断裂——例如左侧画了一棵树右侧画了一片天空而在真实球面上二者本应平滑地衔接为一个场景。1.3 “嵌套扩散”登场放弃平面去噪引入球面相关噪声SpND 的破局点在于他们从扩散过程的起点——加噪阶段——就改变了世界的坐标。标准扩散从一幅平面图像逐步加高斯噪声让图像在信息衰减中退化为纯噪声。SpND 将这一步骤的噪声空间从“平面网格”改为“球面”迫使模型在去噪过程中需要学习的数据相关性不再仅仅是相邻像素之间的局部平滑性而是球面上任意方向的空间逻辑。模型最终学到的是一套真正活在球面上的生成能力。当它对外推时左右边界的“握手”早已被训练内化不再需要额外强制执行。二、方法的核心SpND——把“圆”种进扩散的“每一步”SpND 模型的核心架构可以概括为用一个球形噪声过程替代传统各向同性高斯噪声配合一个专门设计的 Spherical Deformable ConvolutionSDC模块从底层网络结构到顶层扩散策略实现全景数据球面性质的全程嵌入。2.1 球形噪声Spherical Noise改变游戏规则的起点这是整个 SpND 最关键的底层创新。在标准 Diffusion 中每一步加噪都是各向同性的高斯噪声——它在平面网格上处处随机不考虑方向关联。SpND 定义了一系列在球面上具有统计依赖性的噪声结构通过精心构造噪声协方差矩阵使得在去噪训练中处于球面上不同位置的像素点之间的信息相关性与它们的球面距离强相关。也就是说模型在训练过程中被迫学习两个像素在球面上越近它们在生成过程中就应具有更强的统计联系。而 ERP 展开图中左右边界两侧的像素在球面上极近在这一噪声框架下被打上了“强相关”的标记。即使它们在平面网格上分离两端模型也必须把它们当作为同一个空间邻域来处理。2.2 球形可变形卷积SDC让卷积核沿着球面“行走”传统的卷积是在平面网格上滑动固定形状的方形窗口。当面对 ERP 格式的全景图时这种方法会产生严重的极区畸变靠近两极的区域在 ERP 中被水平拉伸几何失真非常严重。普通卷积核会在这些区域学习到大量高度扭曲的特征而 Spherical Deformable ConvolutionSDC为每个采样点赋予了可学习的位置偏移量并利用球面几何先验即极区收缩特征对偏移方向进行引导约束。换言之卷积核不再僵硬地在平面上滑动而是学习沿着球面的真实经纬网格移动在所有纬度上保持几何上有意义的特征提取。2.3 圆掩码编码器CME将球面闭合性直接编入条件表征对于全景 Outpainting 任务输入是一张不完整图像例如已知画面占上半球下半球缺失。模型需要根据现有像素推测缺失区域的球面连续内容。CME 将输入图像中的“已知部分”编码为条件向量在编码过程中特别增强了对左右边界两侧信息的联合建模——也就是说当模型看到左侧经度0∘0^\circ0∘的像素时也强制编码来自右侧经度360∘360^\circ360∘对应区域的像素从而让模型在一开始就意识到左右边界闭合必须构成一个连续画面。CME 还支持灵活的掩码模式适用于不同位置和形状的图像缺失。2.4 整体 Pipeline从噪声到全景SpND 的最终生成流程大致如下输入准备一张不完整的 ERP 全景图像 对应的掩码Mask标明哪些像素已知、哪些需要生成。球面嵌入Spherical Embedding将输入图像映射到球面语义空间。球面加噪 / 去噪在前向传播中采用球形噪声加噪在反向去噪过程中模型根据 CME 提取的条件配合 SDC 模块和 U‑Net 架构从球面噪声中逐步恢复出完整的全景图像。输出完整、无缝的 ERP 全景图像。三、实验的答卷不只是“好一点”而是直接翻倍SpND 在多个主流全景图像数据集上进行了严格评估对比方法包括标准扩散模型以及专门为全景外推优化的PanoDiffusionSOTA 基线。评价指标中最核心的是Fréchet Inception DistanceFID——数值越低生成的图像在分布上与真实全景图越接近质量越高。SpND 将 FID 指标从 SOTA 方法的 22 大幅降低到 10 左右性能提升超过 50%。除了 FID 的显著优势SpND 在 360° 全景外推的定性效果上也有肉眼可见的改进生成的接缝处过渡极其平滑物体的空间位置在画面内保持一致的几何逻辑极区区域的图像畸变得到了显著校正生成的纹理更为真实、自然。消融实验进一步验证了球形噪声与 SDC 两个模块各自的核心贡献两者联合使用时性能最好缺少 SDC模型对极区畸变的抑制能力大幅下降缺少球形噪声左右边界经常出现诡异的画面断裂。同时论文还验证了 CME 在多形状掩码上的泛化能力CME 输出的条件向量在多种掩码配置下保持稳定有效提升了模型的适应性。四、创新的价值SpND 为全景生成带来了什么范式性转变4.1 从“软约束”到“硬内嵌”观念的根本转变全景图像生成领域的研究路径终于从“如何让平面模型适应球面数据”的前置纠正逻辑转向“如何从设计上让模型天然理解和尊重球面几何”的主动架构层面。SpND 证明了通过将球面几何内嵌于扩散过程的每一步——从噪声开始贯穿网络结构、条件编码乃至最终生成——可以彻底解决长期困扰该领域的球面边界断裂、极区畸变等顽疾。4.2 为“几何先验”提供了可复制的设计范式Spherical Noise 与 SDC 的组合不仅适用于全景外推其核心思想或许可以迁移到更多具有非欧几何结构的数据生成任务比如 3D 形状生成曲面展开到平面后生成的接缝问题、360° 视频插帧需要保持球面时间和空间连续性以及在球面雷达/声纳数据生成等。它为“如何将几何先验内嵌到扩散模型”提供了一个极具启发性的操作范例。4.3 高效推理不增加采样时间即可获得大幅提升许多生成模型的改进是以牺牲推理时间为代价的——增加采样步数、引入额外的优化网络等。SpND 的设计完全嵌入在训练阶段的模型结构和噪声策略中在推理时没有增加任何额外的步骤却取得了比 SOTA 更高的外推质量。这一点对于 VR/AR 中的实时全景内容生成尤为重要。4.4 开源社区的资源贡献SpND 的代码已在 GitHub 上公开https://github.com/chronos123/SpND。论文作者之一 Senmao Ma 与团队同期也在 CVPR 2025 上发表了“Spherical Manifold Guided Diffusion Model for Panoramic Image Generation (SMGD)”在文本驱动的全景生成方向上探索了类似思路。同一群研究者在全景内容生成与理解方向上的持续深耕正在为 360° 视觉生态构建一个逐渐完整的技术版图。五、未来的追问当全景外推不再是难题还有哪些值得攀登的高峰5.1 从静态到动态全景视频的外推与插帧目前 SpND 聚焦于单帧的全景图像外推。在真正的沉浸式内容生产中动态全景视频才是 AR/VR 和元宇宙应用的核心。如何将“球面内嵌扩散”推广到时序一致的全景视频生成是一个挑战与潜力并存的课题。此外如何将 SpND 的思路与近期涌现的球面流匹配Spherical Flow Matching等技术融合进一步提升生成效率和一致性的上限也是值得探索的方向。5.2 从外推到可控生成精细化条件控制SpND 现阶段主要基于图像掩码条件完成外推。未来可以探索更复杂的条件输入——文本指令通过全景扩散模型的文本适配、草图约束、语义布局控制等让用户更精确地“指挥”全景画面缺失部分的风格和内容。5.3 数据稀缺与泛化能力高质量 360° 全景训练数据相对稀缺且现有数据集往往偏重室内场景如 Matterport3D室外自然场景的多样性覆盖不足。如何在有限数据下训练更强的球面扩散模型以及如何利用 2D 平面图像的先验知识迁移到球面扩散训练中仍是一个值得探索的方向。5.4 从重建到理解和交互全景外推技术本身就是对场景 3D 空间结构的一种隐式理解模型必须在球面上理解物体之间的空间遮挡、透视关系和光照连续性。将 SpND 的这种“球面空间理解能力”提取出来迁移到 360° 场景语义分割、3D 场景结构推断甚至全景图像深度估计等理解型任务中也值得期待。5.5 隐私与责任全景图像外推的潜在风险同样值得关注当模型能够用一张不完整的全景图推测并生成完整的 360° 室内场景时一旦模型被输入包含个人隐私室内布局、个人物品等的不完整画面其生成的完整画面可能暴露更多未授权的场景信息。用于 AR/VR 应用发布前必须有专门的隐私检测流程和内容审核机制。关键信息速览维度内容论文标题Spherical-Nested Diffusion Model for Panoramic Image Outpainting作者Xiancheng Sun Senmao Ma Shengxi Li Mai Xu Jingyuan Xia Lai Jiang Xin Deng Jiali Wang北京航空航天大学、武汉大学、英国萨里大学等机构联合具体隶属关系需查阅论文详情发表会议ICML 2025International Conference on Machine Learning第四十二届国际机器学习大会arXiv / 全文ICML 2025 已录用可通过官方 Proceedings 查看完整论文模型名称Spherical‑Nested Diffusion (SpND)核心架构球形噪声Spherical Noise 球形可变形卷积SDC 圆掩码编码器CME基于预训练扩散模型微调输入输出输入不完整的 ERP 全景图与掩码 → 输出完整且球面一致的全景图核心创新首次将球面几何内嵌于扩散模型的噪声过程和卷积结构实现“硬约束”式全景外推关键结果在多个数据集上将 FID 从 SOTA 的 ~22 降低到 ~10性能提升超过 50%开源地址https://github.com/chronos123/SpND相关论文Spherical Manifold Guided Diffusion Model (SMGD) CVPR 2025同一团队当模型不再把全景图像当作一个“被强行拉平的矩形画布”而是一个首尾相连的球面世界时外推任务的性质悄然发生了变化它不再只是填补像素而是在推演球面世界的空间逻辑。你可能看不到它的“思考”但当你转动 VR 头显的视线发现每一度视野都在连贯而真实地流动时——那场始于噪声空间的球形革命正在那里为你展现。
