轻量化开放词汇3D场景图动态物体跟踪技术解析

1. 项目概述轻量化开放词汇3D场景图动态物体跟踪在机器人感知领域3D场景图3D Scene Graphs, 3DSG正逐渐成为环境建模的主流方法。这种将几何结构与语义信息相结合的表征方式让机器人能够像人类一样理解周围世界的物体及其相互关系。然而现有大多数系统都面临一个共同痛点为了支持开放词汇open-vocabulary能力而不得不依赖CLIP等大型视觉语言模型生成的高维嵌入特征导致内存占用激增和计算效率下降。我们团队开发的LOST-3DSG系统提出了一种创新解决方案。通过采用word2vec词向量和句子嵌入等轻量化语义表示在保持开放词汇能力的同时将内存占用从传统方法的数百MB降低到仅需几KB。这个突破使得在资源受限的移动机器人如TIAGo上实现实时动态物体跟踪成为可能。关键创新用语义属性颜色、材质等替代密集视觉特征通过词向量空间中的相似度计算实现物体跨视角跟踪解决了动态环境中物体移动、消失等场景下的身份维持难题。2. 核心设计思路与技术选型2.1 传统方案的技术瓶颈当前主流的开放词汇3DSG方案如ConceptGraphs、DovSG等通常采用以下技术路线使用CLIP等模型提取每个物体/体素的视觉特征存储512维甚至更高维的浮点向量通过特征相似度匹配实现物体跟踪这种设计在25mm分辨率下单个场景就可能需要超过600MB内存。对于需要持续更新场景图的动态环境频繁的特征提取和匹配会带来巨大计算开销。2.2 轻量化语义跟踪方案LOST-3DSG的核心思想是将物体表示为语义属性的集合基础属性标签如锤子、颜色如红棕色、材质如木质细粒度描述由VLM生成的文本描述如带有金属头的木柄锤子表面有磨损痕迹这些属性通过以下方式编码为紧凑表示标签和材质转换为300维word2vec词向量颜色归一化RGB值3维描述使用text-embedding-3-small生成384维句子向量相比CLIP的512维特征我们的组合表示仅需约700维word2vec:300300RGB:3句子向量:384且大部分维度是稀疏的。2.3 系统架构设计系统采用模块化设计主要包含两个核心组件感知模块Perception Module输入RGB-D图像RGB帧深度图处理流程使用VLMGPT-5-mini提取场景中的物体标签OWLv2检测器进行开放词汇物体检测EfficientViT-SAM生成像素级分割掩码通过深度信息将2D检测投影到3D空间构建初始3D场景图包含物体节点和层级关系场景更新模块Scene Update Module核心算法基于语义相似度的物体跟踪计算新观测与已有物体的Lost相似度函数LSF通过阈值判定物体身份相同/新实例两种工作模式探索模式构建初始场景图跟踪模式动态更新物体位置和状态3. 关键技术实现细节3.1 Lost相似度函数LSF设计LSF是系统实现准确跟踪的核心算法由四个加权子项组成相似度类型计算方式权重作用语义相似度(sℓ)word2vec余弦相似度0.15判断物体类别相关性颜色相似度(sc)RGB空间欧氏距离0.30匹配物体外观颜色材质相似度(sm)word2vec余弦相似度0.15判断物体构成材料描述相似度(sd)句子嵌入余弦相似度0.40细粒度实例区分计算公式LSF(o1, o2) 0.15*sℓ 0.30*sc 0.15*sm 0.40*sd实际应用示例场景中存在两个杯子物体杯子A白色陶瓷杯描述为纯白陶瓷杯杯口有金色镶边杯子B透明玻璃杯描述为无花纹透明玻璃杯虽然语义标签相同sℓ1.0但颜色和描述差异明显sc≈0.2, sd≈0.3最终LSF0.151 0.30.2 0.151 0.40.3 0.45 阈值通常设0.7系统判定为不同实例3.2 场景图更新策略系统通过算法1实现动态场景维护关键逻辑包括物体匹配流程对新检测的物体d计算与场景图P中所有物体的LSF值选择最高分匹配pargmax(LSF(d, p∈P))如果LSF(d,p) τ阈值0.7判定为同一物体否则视为新物体加入场景图空间一致性检查即使语义匹配成功还需验证空间关系如果物体出现在不可能移动到的位置如穿过墙壁则标记原物体为不确定新增当前观测为可能实例内存管理机制定期清理不可见区域中未被观测到的物体保留不确定物体一段时间以待后续验证3.3 实现优化技巧VLM提示工程设计特定模板获取结构化属性描述以下物体的视觉特征 1. 主要颜色[颜色] 2. 主要材质[材质] 3. 详细描述[描述]相似度计算加速预计算word2vec向量使用FAISS进行最近邻搜索动态权重调整根据场景复杂度自动调整LSF权重物体密集时提高sd权重光照变化大时降低sc权重4. 实验验证与性能分析4.1 测试场景设计我们在TIAGo机器人上构建了三级复杂度测试环境场景级别物体数量动态性挑战点简单(★)3物体移动/消失基础跟踪能力验证中等(★★)21部分物体移出视野大数据量处理能力复杂(★★★)9高频不可见移动语义推理能力4.2 关键性能指标跟踪准确率场景级别检测率更新准确率删除准确率★100%100%100%★★95.2%100%66.7%★★★66.7%92.9%66.7%内存占用对比方法存储内容场景尺寸内存占用CLIP-based512维/体素626,140体素~641MBLOST-3DSG属性/物体21物体~3.3KB4.3 典型问题与解决方案问题1语义描述不一致现象同一物体在不同视角获得差异较大的描述解决方案引入时间滑动窗口聚合多次观测的描述问题2相似物体混淆现象同类别同颜色物体被误判为同一实例解决方案在LSF中增加几何特征如尺寸作为辅助判断问题3VLM幻觉现象生成不存在的属性如将塑料误认为金属解决方案设置属性置信度阈值可疑属性标记为待验证5. 实际部署建议基于我们在TIAGo机器人上的部署经验总结以下实践要点传感器标定RGB-D相机需要高精度时间同步深度图与RGB图像对齐误差需2像素计算资源分配优先保障VLM推理资源建议预留2CPU核心相似度计算可部署在边缘计算模块参数调优指南简单场景提高sc权重β0.4复杂场景提高sd权重δ0.5动态环境降低匹配阈值τ0.6异常处理机制设置物体生命周期计数器超过5次未观测到的物体自动归档这套系统已在实验室环境下稳定运行6个月成功支持了包括动态物体避障、语义导航等多项任务。相比传统方法内存占用降低99.5%同时保持了90%以上的跟踪准确率。