1. 项目概述当语言成为3D场景的“探针”如果你玩过NeRF神经辐射场肯定被它从几张2D照片生成逼真3D场景的能力震撼过。但不知道你有没有和我一样的感受生成的3D模型虽然好看但像个“美丽的哑巴”。我们能看到一个完整的厨房却没法直接问它“炒锅放在哪儿”我们能重建一个摆满零件的桌面却无法让它“高亮显示所有螺丝”。这背后的根本原因在于传统的NeRF输出的是一个纯粹的几何与外观场——它知道每个点的颜色和密度但不知道这个点“是什么”缺乏语义层面的理解。最近来自UC伯克利的研究团队搞出了一个让我眼前一亮的玩意儿LERF。这名字听起来就很有野心——Language Embedded Radiance Fields直接把语言嵌入到辐射场里。简单说它让NeRF不仅能“看”还能“听懂人话”。你输入一段自然语言描述比如“黄色的马克杯”或者“用来搅拌的金属工具”LERF就能在它构建的3D场景里把符合描述的区域给你高亮、提取甚至分割出来。这可不是简单的2D图像识别贴到3D上而是真正在3D空间里建立了一个连续的语言语义场。为什么这件事很重要想象一下这些场景在庞大的工业零件库里用语音快速定位某个特定型号的螺栓在虚拟的家居展厅里直接说“给我看看靠窗的皮质沙发”就能瞬间聚焦甚至是在机器人视觉中用“抓取桌子上的那个红色苹果”这样的指令来指导操作。LERF把自然语言这种最直观、最灵活的人机交互方式和3D视觉这个最丰富的感知维度结合了起来相当于给3D世界装了一个语义搜索引擎。它不依赖于预先定义好的类别比如COCO数据集的80类物体而是直接利用CLIP这种强大的视觉-语言模型处理开放式的、甚至带属性的查询这灵活性是传统3D实例分割方法难以企及的。2. 核心原理拆解语言场是如何被“注入”3D空间的LERF的核心思想非常巧妙它不是事后给NeRF模型打补丁而是在训练NeRF的同时联合优化一个并行的“语言嵌入场”。理解这个“场”的概念是关键。传统的NeRF输出的是一个函数输入一个3D坐标 (x, y, z) 和观察方向输出该点的颜色和密度。而LERF在此基础上增加了一个并行的网络这个网络输入一个3D坐标和一个物理尺度输出一个CLIP特征向量。2.1 多尺度监督让语义不再“近视”这里最精妙的设计在于“物理尺度”这个输入。为什么需要它因为语义是尺度相关的。在远处看一个“杯子”它可能只是图像上的几十个像素凑近了看你才能分辨它是“带有logo的陶瓷杯”。CLIP模型本身在处理不同尺度的物体时其嵌入特征会发生变化。LERF通过一种多尺度特征金字塔的监督方式来捕捉这一点。在训练时对于场景中的每一个3D点研究者不是简单地用该点对应像素的CLIP特征去监督而是做了一件更聪明的事他们会以这个3D点投影到2D图像上的位置为中心裁剪出不同大小尺度的图像块。然后将这些不同尺度的图像块分别送入CLIP编码器得到一组对应于不同观察尺度的CLIP特征。这些特征共同作为监督信号来训练那个语言场网络。这样做的直接好处是训练好的语言场学会了“尺度不变性”或说“尺度感知”的语义表达。当你在查询时无论物体在场景中是近是远、是大是小语言场都能给出合理的相关性响应。这解决了单纯将2D CLIP特征反向投影到3D时因尺度单一而导致的语义模糊问题。2.2 从“点”到“体积”的查询重构另一个关键设计是将查询从“点”重构为“体积”。在推理查询时你输入一个文本提示如“yellow mug”。LERF并不是计算空间中每一个孤立点与这个文本的相似度那样会非常嘈杂且不连续。相反它会定义一个以采样点为中心的小体积比如一个边长为若干厘米的立方体然后让语言场预测这个整个体积内所有内容对应的平均CLIP嵌入。然后将这个预测出的体积CLIP嵌入与你输入的文本通过CLIP文本编码器得到的嵌入计算余弦相似度。这个相似度分数就代表了该体积区域与查询文本的相关性。通过在整个3D空间密集采样并计算相关性LERF就能生成一个连续的3D相关性热力图。热力图中值高的区域就是与文本描述高度匹配的物体所在。这种体积查询的方式本质上是一种平滑和聚合它使得结果更加鲁棒减少了因单个视角CLIP预测的噪声或歧义带来的影响从而产生更完整、更连贯的3D分割区域。2.3 双网络架构与DINO正则化为了保证语言场的优化不影响原始NeRF的几何和外观重建质量LERF采用了双网络架构一个网络专门负责输出颜色和密度标准的NeRF另一个独立的网络则负责输出DINO特征和CLIP语言嵌入。两个网络共享相同的3D坐标输入但参数不共享。这种设计是一种归纳偏置明确告诉模型“视觉外观重建”和“语义理解”是两个可以独立学习的任务避免相互干扰。此外研究者发现仅用CLIP多尺度特征进行监督生成的相关性场有时会出现不完整或异常值如图5所示某些区域相关性支离破碎。为了规范语言场的优化他们引入了自监督的DINO特征作为一个额外的监督信号。DINO模型能在没有标签的情况下学习到强大的视觉特征对物体边界和语义一致性非常敏感。在LERF中DINO特征场与CLIP语言场通过一个共享的瓶颈层进行连接DINO特征提供的自监督信号有助于引导CLIP特征场学习到更几何一致、边界更清晰的语义表示相当于给语言场的训练加了一个“稳定器”。注意这里双网络的设计非常实用。在实际的3D重建项目中我们常常希望新增的功能模块如语义、深度不要破坏原有的重建质量。LERF的这种解耦设计提供了一个很好的范式即通过并行的、任务专用的子网络来扩展NeRF的能力核心的辐射场网络保持不变。3. 实操流程与关键实现环节解析虽然LERF的论文提供了宏观方法但要真正理解其实现我们需要深入到一些关键的工程细节。以下是我基于论文和常见NeRF实现经验梳理出的核心实操环节。3.1 数据采集与预处理多视角是基础LERF的输入和经典NeRF一样是一组从不同视角拍摄的、带有相机位姿通常由COLMAP等SfM软件计算得到的图像。数据质量直接决定上限。视角覆盖务必确保物体或场景被从足够多的角度拍摄避免大面积遮挡。对于想用LERF查询的物体尤其要保证它在多个视角中清晰可见。光照一致性尽量在稳定光照下拍摄避免闪烁或强烈阴影变化否则NeRF重建的几何和外观会受影响进而干扰语言场的稳定性。图像分辨率高分辨率图像能提供更丰富的细节但也会增加CLIP计算和NeRF训练的成本。通常1024x768或1280x720是一个不错的起点。预处理阶段除了用COLMAP估计位姿外还需要生成每个图像的DINO特征图和多尺度CLIP特征图。这通常是离线进行的使用DINO ViT模型以图像patch为单位提取全图的DINO特征形成一个空间特征图。对于CLIP需要预先计算多个尺度下的特征。例如对于图像中的每个像素点以其为中心分别裁剪出边长为S1, S2, S3...的正方形图像块然后分别用CLIP-ViT编码器提取特征。这些特征和对应的尺度、中心点位置会被存储下来用于后续训练中的监督。3.2 网络架构与训练策略详解LERF的网络包含两个MLP多层感知机NeRF网络输入3D位置(x,y,z)和视角方向(θ, φ)输出体积密度σ和RGB颜色。这是标准配置。语言场网络输入3D位置(x,y,z)和查询尺度s输出一个联合特征向量这个向量会通过不同的投影头分别预测DINO特征和CLIP特征对应多个尺度。训练过程是交替进行的但损失函数是分开的NeRF渲染损失从批量像素射线采样3D点通过NeRF网络得到颜色和密度进行体积渲染与真实像素颜色计算MSE损失。这是重建质量的基础。语言场监督损失对于同一条射线采样到的3D点将其投影到所有训练视图上。对于每个视图取该投影点对应尺度的、预先计算好的CLIP特征和DINO特征作为真值。语言场网络以该3D点和一个随机采样的尺度从训练所用的尺度集中采样为输入预测特征向量。计算预测的CLIP/DINO特征与所有可见视图对应特征真值之间的平均L2损失。这里“所有可见视图”是指该3D点在那些视图里不被遮挡由NeRF的密度场大致判断。关键超参数与技巧尺度集合的选择论文中使用了从图像尺寸的1%到50%不等的多个尺度。这个选择需要根据场景中目标物体的大致尺寸范围来调整。如果场景中都是小物体可以侧重更小的尺度。体积查询的半径在推理时以点为中心的查询体积半径是一个重要参数。太大会导致语义过度平滑失去细节太小则容易受噪声影响产生破碎的结果。通常可以设置为场景包围盒对角线长度的0.5%~2%并通过可视化少量查询进行调试。训练平衡由于NeRF损失和语言场损失量级可能不同需要仔细调整两者的权重系数确保两者同步收敛。通常语言场损失的权重会设得小一些避免早期干扰NeRF几何的建立。3.3 交互式查询与结果可视化训练完成后LERF的推理过程非常直观可以实现实时交互文本编码用户输入自然语言查询使用与训练时相同的CLIP文本编码器将其转换为文本特征向量T。3D空间采样在场景的3D包围盒内进行密集的网格采样例如生成一个256x256x256的网格点阵。相关性计算对于每个网格点以其为中心用语言场网络计算一个或多个尺度下的CLIP特征向量V。计算V与文本特征T的余弦相似度。可以选择对多个尺度的相似度取平均或取最大值作为该点的最终相关性分数。生成热力图将所有网格点的相关性分数归一化到[0,1]区间形成一个3D标量场。可以通过设定一个阈值如0.7将高于阈值的区域提取为二进制掩码或者直接使用连续值进行颜色映射如Jet色彩在3D渲染器中可视化。结果提取对于得到的3D相关性热力图或掩码可以进一步进行连通成分分析提取出独立的3D物体实例或者将其与原始的NeRF几何结合渲染出只突出显示目标物体的新视角图像。实操心得在可视化时直接渲染3D热力网格可能比较笨重。一个更高效的做法是在推理时只计算从当前相机视角发出的射线与3D相关性场的交点将相关性分数作为额外的“语义通道”与颜色一起进行体积渲染。这样就能实时地从任意视角看到语言查询的结果叠加在原始场景上交互体验更好。4. 优势、局限与实战避坑指南LERF的想法非常新颖但在实际应用或尝试复现时我们必须清醒地认识到它的优势和当前存在的局限。4.1 LERF的独特优势分析无需微调开箱即用这是相比之前很多3D语言定位方法最大的优势。LERF直接利用预训练的CLIP和DINO模型不需要针对特定场景或物体类别进行微调。这意味着你拿到一个新的场景数据集不需要任何标注就能直接进行各种开放词汇的查询。这极大地拓宽了应用范围。真正的3D一致性与多尺度性通过3D语言场的连续优化LERF获得的相关性是3D空间一致的。一个物体无论从哪个角度看其语义相关性分数都是稳定的。同时多尺度训练机制使其能自然地处理“整体-部分”的语义关系如“汽车”和“车轮”。灵活处理抽象概念和属性得益于CLIP强大的图文对齐能力LERF不仅能找“杯子”这种名词还能找“黄色的”、“透明的”、“用来写字”的物体。这种对属性和功能的查询能力是传统基于类别分割的方法难以实现的。4.2 当前存在的局限性对CLIP偏差的继承LERF的语义能力完全来源于CLIP。因此CLIP模型已知的缺陷如对纹理偏见敏感、对空间关系理解弱、可能产生反直觉关联等都会被LERF继承。例如查询“西葫芦”可能错误地高亮其他绿色长条状蔬菜这正是CLIP在细粒度分类上不足的体现。计算成本高昂训练一个LERF不仅需要像传统NeRF一样优化辐射场还需要额外优化庞大的语言场并且监督信号涉及多尺度CLIP和DINO特征的计算与存储。这导致其训练时间和显存开销远大于标准NeRF。语义分辨率的限制语言场的“分辨率”受限于训练时采样的密度和网络容量。对于非常细小的物体或者语义上高度相似、空间临近的物体如两本并排的书LERF可能无法清晰地区分开相关性热力图可能会模糊成一片。依赖高质量的NeRF重建如果NeRF本身重建的几何有错误如漂浮物、伪影或者某些物体因遮挡严重而重建不完整那么在这些区域的语言场监督信号将是缺失或错误的导致语义查询失败。4.3 实战复现与调试避坑指南如果你打算在自己的项目或数据上尝试LERF的思路以下是一些关键的避坑点坑一尺度选择不当导致语义模糊问题训练时选择的图像块尺度范围不合适。例如场景主要是室内大场景却选择了很小的尺度导致语言场只学习了局部纹理特征无法理解“沙发”、“桌子”这类大物体。解决在训练前先分析场景中目标物体的大致像素尺寸范围。可以手动在几张训练图上框选几个典型物体估算其像素面积占图像面积的比例以此作为选择尺度集合的依据。通常建议覆盖从1%到50%图像面积的尺度。坑二语言场训练不稳定破坏几何问题语言场网络的损失权重过大或在NeRF几何尚未初步成型时就过早开始联合训练导致语言场的梯度严重干扰密度场的优化使得重建模型崩溃。解决采用分阶段训练策略。前N个迭代例如1万步只训练NeRF网络让场景的粗略几何先建立起来。然后再引入语言场网络进行联合训练并且初始时给语言场损失一个非常小的权重如1e-4随着训练逐步增加。坑三查询结果噪声大不连贯问题生成的3D相关性热力图充满噪声点物体区域不连贯。解决增加体积查询半径在推理时适当增大查询体积的半径利用邻域信息进行平滑。后处理对3D相关性网格应用3D高斯滤波或中值滤波可以有效平滑噪声。在提取实例时使用基于连通性的聚类算法如DBSCAN并设置最小体积阈值过滤掉小的噪声块。多尺度融合在推理时不仅计算单一尺度的相关性而是计算多个尺度的相关性并取平均或加权平均这能提高鲁棒性。坑四对复杂或抽象查询响应差问题查询“孩子最喜欢的玩具”或“阅读的地方”这类复杂或抽象概念时结果不准确或没有响应。解决认识到这是当前方法的边界。对于复杂查询可以尝试将其分解为多个简单查询的组合。例如先查询“书本”再查询“沙发”或“椅子”然后将两者的相关性图进行逻辑组合如相加。更高级的方案可以考虑引入大型语言模型来解析复杂查询并生成分步的、原子化的子查询交给LERF执行。5. 未来展望与同类技术对比LERF为3D视觉与自然语言的融合打开了一扇新的大门。它的出现让我们看到了无需精细标注、直接利用互联网规模预训练模型来理解3D世界的可能性。5.1 与LSeg-3D等方法的对比在LERF之前已有工作如LSeg-3D尝试将2D语言分割模型LSeg的结果融合到3D中。但两者有本质区别监督方式LSeg-3D依赖于在2D分割数据集如COCO上预训练的模型其词汇表是封闭的、有限的。而LERF使用CLIP是开放词汇的。3D一致性LSeg-3D本质上是将2D预测通过多视角几何“粘合”到3D不同视角的预测不一致会导致3D融合出现冲突和模糊。LERF通过联合优化一个连续的3D场天生保证了多视角一致性。灵活性LSeg-3D只能分割训练集中见过的类别。LERF可以响应任何CLIP能理解的文本包括属性、材料和抽象概念。如图7和图8所示在查询“碗里的鸡蛋”时LSeg可能只识别出“碗”或完全失败而LERF能准确定位对于“植物”这类开放概念LSeg基本无效而LERF表现良好。这清晰地展示了开放词汇方法的优势。5.2 可能的改进方向与扩展应用基于目前的局限我认为LERF后续可以从以下几个方向演进动态场景与增量学习当前的LERF针对静态场景。如何将其扩展到动态NeRF或视频序列实现动态场景中的语言查询是一个激动人心的方向。同时研究如何在不重新训练整个模型的情况下向已建好的LERF场景中增量地添加新物体的语义。融合更强大的VLMCLIP是开创性的但更新的视觉-语言模型如BLIP-2、Flamingo、GPT-4V具有更强的视觉推理和描述能力。将这些模型的表征能力嵌入到3D场中有望实现更复杂、更精准的语义查询和交互。与具身智能结合这是最具应用潜力的方向。将LERF作为机器人或虚拟智能体的“3D语义记忆”让它们能够理解“去卧室把床头柜上的眼镜拿过来”这样的指令。这需要将LERF的语义场与机器人的路径规划、操作技能模块紧密耦合。效率优化LERF的训练和推理开销是阻碍其普及的主要障碍。研究更轻量级的语言场网络结构、更高效的多尺度特征提取与存储方法、以及基于哈希表或张量分解的加速技术是使其走向实用的关键。从我个人的工程经验来看LERF更像是一个强大的“语义查询中间件”。它不一定非要取代传统的3D目标检测或分割而是在那些需要极高灵活性、缺乏预定义类别、或人机交互需求强烈的场景中发挥着不可替代的作用。它的出现标志着3D视觉理解正从“是什么”的感知阶段迈向“在哪里”和“干什么用”的认知与交互阶段。虽然目前还有瑕疵但这条路无疑充满了想象力。
LERF：将语言嵌入3D辐射场，实现开放词汇的3D语义查询
1. 项目概述当语言成为3D场景的“探针”如果你玩过NeRF神经辐射场肯定被它从几张2D照片生成逼真3D场景的能力震撼过。但不知道你有没有和我一样的感受生成的3D模型虽然好看但像个“美丽的哑巴”。我们能看到一个完整的厨房却没法直接问它“炒锅放在哪儿”我们能重建一个摆满零件的桌面却无法让它“高亮显示所有螺丝”。这背后的根本原因在于传统的NeRF输出的是一个纯粹的几何与外观场——它知道每个点的颜色和密度但不知道这个点“是什么”缺乏语义层面的理解。最近来自UC伯克利的研究团队搞出了一个让我眼前一亮的玩意儿LERF。这名字听起来就很有野心——Language Embedded Radiance Fields直接把语言嵌入到辐射场里。简单说它让NeRF不仅能“看”还能“听懂人话”。你输入一段自然语言描述比如“黄色的马克杯”或者“用来搅拌的金属工具”LERF就能在它构建的3D场景里把符合描述的区域给你高亮、提取甚至分割出来。这可不是简单的2D图像识别贴到3D上而是真正在3D空间里建立了一个连续的语言语义场。为什么这件事很重要想象一下这些场景在庞大的工业零件库里用语音快速定位某个特定型号的螺栓在虚拟的家居展厅里直接说“给我看看靠窗的皮质沙发”就能瞬间聚焦甚至是在机器人视觉中用“抓取桌子上的那个红色苹果”这样的指令来指导操作。LERF把自然语言这种最直观、最灵活的人机交互方式和3D视觉这个最丰富的感知维度结合了起来相当于给3D世界装了一个语义搜索引擎。它不依赖于预先定义好的类别比如COCO数据集的80类物体而是直接利用CLIP这种强大的视觉-语言模型处理开放式的、甚至带属性的查询这灵活性是传统3D实例分割方法难以企及的。2. 核心原理拆解语言场是如何被“注入”3D空间的LERF的核心思想非常巧妙它不是事后给NeRF模型打补丁而是在训练NeRF的同时联合优化一个并行的“语言嵌入场”。理解这个“场”的概念是关键。传统的NeRF输出的是一个函数输入一个3D坐标 (x, y, z) 和观察方向输出该点的颜色和密度。而LERF在此基础上增加了一个并行的网络这个网络输入一个3D坐标和一个物理尺度输出一个CLIP特征向量。2.1 多尺度监督让语义不再“近视”这里最精妙的设计在于“物理尺度”这个输入。为什么需要它因为语义是尺度相关的。在远处看一个“杯子”它可能只是图像上的几十个像素凑近了看你才能分辨它是“带有logo的陶瓷杯”。CLIP模型本身在处理不同尺度的物体时其嵌入特征会发生变化。LERF通过一种多尺度特征金字塔的监督方式来捕捉这一点。在训练时对于场景中的每一个3D点研究者不是简单地用该点对应像素的CLIP特征去监督而是做了一件更聪明的事他们会以这个3D点投影到2D图像上的位置为中心裁剪出不同大小尺度的图像块。然后将这些不同尺度的图像块分别送入CLIP编码器得到一组对应于不同观察尺度的CLIP特征。这些特征共同作为监督信号来训练那个语言场网络。这样做的直接好处是训练好的语言场学会了“尺度不变性”或说“尺度感知”的语义表达。当你在查询时无论物体在场景中是近是远、是大是小语言场都能给出合理的相关性响应。这解决了单纯将2D CLIP特征反向投影到3D时因尺度单一而导致的语义模糊问题。2.2 从“点”到“体积”的查询重构另一个关键设计是将查询从“点”重构为“体积”。在推理查询时你输入一个文本提示如“yellow mug”。LERF并不是计算空间中每一个孤立点与这个文本的相似度那样会非常嘈杂且不连续。相反它会定义一个以采样点为中心的小体积比如一个边长为若干厘米的立方体然后让语言场预测这个整个体积内所有内容对应的平均CLIP嵌入。然后将这个预测出的体积CLIP嵌入与你输入的文本通过CLIP文本编码器得到的嵌入计算余弦相似度。这个相似度分数就代表了该体积区域与查询文本的相关性。通过在整个3D空间密集采样并计算相关性LERF就能生成一个连续的3D相关性热力图。热力图中值高的区域就是与文本描述高度匹配的物体所在。这种体积查询的方式本质上是一种平滑和聚合它使得结果更加鲁棒减少了因单个视角CLIP预测的噪声或歧义带来的影响从而产生更完整、更连贯的3D分割区域。2.3 双网络架构与DINO正则化为了保证语言场的优化不影响原始NeRF的几何和外观重建质量LERF采用了双网络架构一个网络专门负责输出颜色和密度标准的NeRF另一个独立的网络则负责输出DINO特征和CLIP语言嵌入。两个网络共享相同的3D坐标输入但参数不共享。这种设计是一种归纳偏置明确告诉模型“视觉外观重建”和“语义理解”是两个可以独立学习的任务避免相互干扰。此外研究者发现仅用CLIP多尺度特征进行监督生成的相关性场有时会出现不完整或异常值如图5所示某些区域相关性支离破碎。为了规范语言场的优化他们引入了自监督的DINO特征作为一个额外的监督信号。DINO模型能在没有标签的情况下学习到强大的视觉特征对物体边界和语义一致性非常敏感。在LERF中DINO特征场与CLIP语言场通过一个共享的瓶颈层进行连接DINO特征提供的自监督信号有助于引导CLIP特征场学习到更几何一致、边界更清晰的语义表示相当于给语言场的训练加了一个“稳定器”。注意这里双网络的设计非常实用。在实际的3D重建项目中我们常常希望新增的功能模块如语义、深度不要破坏原有的重建质量。LERF的这种解耦设计提供了一个很好的范式即通过并行的、任务专用的子网络来扩展NeRF的能力核心的辐射场网络保持不变。3. 实操流程与关键实现环节解析虽然LERF的论文提供了宏观方法但要真正理解其实现我们需要深入到一些关键的工程细节。以下是我基于论文和常见NeRF实现经验梳理出的核心实操环节。3.1 数据采集与预处理多视角是基础LERF的输入和经典NeRF一样是一组从不同视角拍摄的、带有相机位姿通常由COLMAP等SfM软件计算得到的图像。数据质量直接决定上限。视角覆盖务必确保物体或场景被从足够多的角度拍摄避免大面积遮挡。对于想用LERF查询的物体尤其要保证它在多个视角中清晰可见。光照一致性尽量在稳定光照下拍摄避免闪烁或强烈阴影变化否则NeRF重建的几何和外观会受影响进而干扰语言场的稳定性。图像分辨率高分辨率图像能提供更丰富的细节但也会增加CLIP计算和NeRF训练的成本。通常1024x768或1280x720是一个不错的起点。预处理阶段除了用COLMAP估计位姿外还需要生成每个图像的DINO特征图和多尺度CLIP特征图。这通常是离线进行的使用DINO ViT模型以图像patch为单位提取全图的DINO特征形成一个空间特征图。对于CLIP需要预先计算多个尺度下的特征。例如对于图像中的每个像素点以其为中心分别裁剪出边长为S1, S2, S3...的正方形图像块然后分别用CLIP-ViT编码器提取特征。这些特征和对应的尺度、中心点位置会被存储下来用于后续训练中的监督。3.2 网络架构与训练策略详解LERF的网络包含两个MLP多层感知机NeRF网络输入3D位置(x,y,z)和视角方向(θ, φ)输出体积密度σ和RGB颜色。这是标准配置。语言场网络输入3D位置(x,y,z)和查询尺度s输出一个联合特征向量这个向量会通过不同的投影头分别预测DINO特征和CLIP特征对应多个尺度。训练过程是交替进行的但损失函数是分开的NeRF渲染损失从批量像素射线采样3D点通过NeRF网络得到颜色和密度进行体积渲染与真实像素颜色计算MSE损失。这是重建质量的基础。语言场监督损失对于同一条射线采样到的3D点将其投影到所有训练视图上。对于每个视图取该投影点对应尺度的、预先计算好的CLIP特征和DINO特征作为真值。语言场网络以该3D点和一个随机采样的尺度从训练所用的尺度集中采样为输入预测特征向量。计算预测的CLIP/DINO特征与所有可见视图对应特征真值之间的平均L2损失。这里“所有可见视图”是指该3D点在那些视图里不被遮挡由NeRF的密度场大致判断。关键超参数与技巧尺度集合的选择论文中使用了从图像尺寸的1%到50%不等的多个尺度。这个选择需要根据场景中目标物体的大致尺寸范围来调整。如果场景中都是小物体可以侧重更小的尺度。体积查询的半径在推理时以点为中心的查询体积半径是一个重要参数。太大会导致语义过度平滑失去细节太小则容易受噪声影响产生破碎的结果。通常可以设置为场景包围盒对角线长度的0.5%~2%并通过可视化少量查询进行调试。训练平衡由于NeRF损失和语言场损失量级可能不同需要仔细调整两者的权重系数确保两者同步收敛。通常语言场损失的权重会设得小一些避免早期干扰NeRF几何的建立。3.3 交互式查询与结果可视化训练完成后LERF的推理过程非常直观可以实现实时交互文本编码用户输入自然语言查询使用与训练时相同的CLIP文本编码器将其转换为文本特征向量T。3D空间采样在场景的3D包围盒内进行密集的网格采样例如生成一个256x256x256的网格点阵。相关性计算对于每个网格点以其为中心用语言场网络计算一个或多个尺度下的CLIP特征向量V。计算V与文本特征T的余弦相似度。可以选择对多个尺度的相似度取平均或取最大值作为该点的最终相关性分数。生成热力图将所有网格点的相关性分数归一化到[0,1]区间形成一个3D标量场。可以通过设定一个阈值如0.7将高于阈值的区域提取为二进制掩码或者直接使用连续值进行颜色映射如Jet色彩在3D渲染器中可视化。结果提取对于得到的3D相关性热力图或掩码可以进一步进行连通成分分析提取出独立的3D物体实例或者将其与原始的NeRF几何结合渲染出只突出显示目标物体的新视角图像。实操心得在可视化时直接渲染3D热力网格可能比较笨重。一个更高效的做法是在推理时只计算从当前相机视角发出的射线与3D相关性场的交点将相关性分数作为额外的“语义通道”与颜色一起进行体积渲染。这样就能实时地从任意视角看到语言查询的结果叠加在原始场景上交互体验更好。4. 优势、局限与实战避坑指南LERF的想法非常新颖但在实际应用或尝试复现时我们必须清醒地认识到它的优势和当前存在的局限。4.1 LERF的独特优势分析无需微调开箱即用这是相比之前很多3D语言定位方法最大的优势。LERF直接利用预训练的CLIP和DINO模型不需要针对特定场景或物体类别进行微调。这意味着你拿到一个新的场景数据集不需要任何标注就能直接进行各种开放词汇的查询。这极大地拓宽了应用范围。真正的3D一致性与多尺度性通过3D语言场的连续优化LERF获得的相关性是3D空间一致的。一个物体无论从哪个角度看其语义相关性分数都是稳定的。同时多尺度训练机制使其能自然地处理“整体-部分”的语义关系如“汽车”和“车轮”。灵活处理抽象概念和属性得益于CLIP强大的图文对齐能力LERF不仅能找“杯子”这种名词还能找“黄色的”、“透明的”、“用来写字”的物体。这种对属性和功能的查询能力是传统基于类别分割的方法难以实现的。4.2 当前存在的局限性对CLIP偏差的继承LERF的语义能力完全来源于CLIP。因此CLIP模型已知的缺陷如对纹理偏见敏感、对空间关系理解弱、可能产生反直觉关联等都会被LERF继承。例如查询“西葫芦”可能错误地高亮其他绿色长条状蔬菜这正是CLIP在细粒度分类上不足的体现。计算成本高昂训练一个LERF不仅需要像传统NeRF一样优化辐射场还需要额外优化庞大的语言场并且监督信号涉及多尺度CLIP和DINO特征的计算与存储。这导致其训练时间和显存开销远大于标准NeRF。语义分辨率的限制语言场的“分辨率”受限于训练时采样的密度和网络容量。对于非常细小的物体或者语义上高度相似、空间临近的物体如两本并排的书LERF可能无法清晰地区分开相关性热力图可能会模糊成一片。依赖高质量的NeRF重建如果NeRF本身重建的几何有错误如漂浮物、伪影或者某些物体因遮挡严重而重建不完整那么在这些区域的语言场监督信号将是缺失或错误的导致语义查询失败。4.3 实战复现与调试避坑指南如果你打算在自己的项目或数据上尝试LERF的思路以下是一些关键的避坑点坑一尺度选择不当导致语义模糊问题训练时选择的图像块尺度范围不合适。例如场景主要是室内大场景却选择了很小的尺度导致语言场只学习了局部纹理特征无法理解“沙发”、“桌子”这类大物体。解决在训练前先分析场景中目标物体的大致像素尺寸范围。可以手动在几张训练图上框选几个典型物体估算其像素面积占图像面积的比例以此作为选择尺度集合的依据。通常建议覆盖从1%到50%图像面积的尺度。坑二语言场训练不稳定破坏几何问题语言场网络的损失权重过大或在NeRF几何尚未初步成型时就过早开始联合训练导致语言场的梯度严重干扰密度场的优化使得重建模型崩溃。解决采用分阶段训练策略。前N个迭代例如1万步只训练NeRF网络让场景的粗略几何先建立起来。然后再引入语言场网络进行联合训练并且初始时给语言场损失一个非常小的权重如1e-4随着训练逐步增加。坑三查询结果噪声大不连贯问题生成的3D相关性热力图充满噪声点物体区域不连贯。解决增加体积查询半径在推理时适当增大查询体积的半径利用邻域信息进行平滑。后处理对3D相关性网格应用3D高斯滤波或中值滤波可以有效平滑噪声。在提取实例时使用基于连通性的聚类算法如DBSCAN并设置最小体积阈值过滤掉小的噪声块。多尺度融合在推理时不仅计算单一尺度的相关性而是计算多个尺度的相关性并取平均或加权平均这能提高鲁棒性。坑四对复杂或抽象查询响应差问题查询“孩子最喜欢的玩具”或“阅读的地方”这类复杂或抽象概念时结果不准确或没有响应。解决认识到这是当前方法的边界。对于复杂查询可以尝试将其分解为多个简单查询的组合。例如先查询“书本”再查询“沙发”或“椅子”然后将两者的相关性图进行逻辑组合如相加。更高级的方案可以考虑引入大型语言模型来解析复杂查询并生成分步的、原子化的子查询交给LERF执行。5. 未来展望与同类技术对比LERF为3D视觉与自然语言的融合打开了一扇新的大门。它的出现让我们看到了无需精细标注、直接利用互联网规模预训练模型来理解3D世界的可能性。5.1 与LSeg-3D等方法的对比在LERF之前已有工作如LSeg-3D尝试将2D语言分割模型LSeg的结果融合到3D中。但两者有本质区别监督方式LSeg-3D依赖于在2D分割数据集如COCO上预训练的模型其词汇表是封闭的、有限的。而LERF使用CLIP是开放词汇的。3D一致性LSeg-3D本质上是将2D预测通过多视角几何“粘合”到3D不同视角的预测不一致会导致3D融合出现冲突和模糊。LERF通过联合优化一个连续的3D场天生保证了多视角一致性。灵活性LSeg-3D只能分割训练集中见过的类别。LERF可以响应任何CLIP能理解的文本包括属性、材料和抽象概念。如图7和图8所示在查询“碗里的鸡蛋”时LSeg可能只识别出“碗”或完全失败而LERF能准确定位对于“植物”这类开放概念LSeg基本无效而LERF表现良好。这清晰地展示了开放词汇方法的优势。5.2 可能的改进方向与扩展应用基于目前的局限我认为LERF后续可以从以下几个方向演进动态场景与增量学习当前的LERF针对静态场景。如何将其扩展到动态NeRF或视频序列实现动态场景中的语言查询是一个激动人心的方向。同时研究如何在不重新训练整个模型的情况下向已建好的LERF场景中增量地添加新物体的语义。融合更强大的VLMCLIP是开创性的但更新的视觉-语言模型如BLIP-2、Flamingo、GPT-4V具有更强的视觉推理和描述能力。将这些模型的表征能力嵌入到3D场中有望实现更复杂、更精准的语义查询和交互。与具身智能结合这是最具应用潜力的方向。将LERF作为机器人或虚拟智能体的“3D语义记忆”让它们能够理解“去卧室把床头柜上的眼镜拿过来”这样的指令。这需要将LERF的语义场与机器人的路径规划、操作技能模块紧密耦合。效率优化LERF的训练和推理开销是阻碍其普及的主要障碍。研究更轻量级的语言场网络结构、更高效的多尺度特征提取与存储方法、以及基于哈希表或张量分解的加速技术是使其走向实用的关键。从我个人的工程经验来看LERF更像是一个强大的“语义查询中间件”。它不一定非要取代传统的3D目标检测或分割而是在那些需要极高灵活性、缺乏预定义类别、或人机交互需求强烈的场景中发挥着不可替代的作用。它的出现标志着3D视觉理解正从“是什么”的感知阶段迈向“在哪里”和“干什么用”的认知与交互阶段。虽然目前还有瑕疵但这条路无疑充满了想象力。
