商汤开源 SenseNova-Vision-7B-MoT统一视觉大模型一个模型终结一任务一模型时代2026 年 7 月 13 日商汤科技正式发布并全面开源「日日新」SenseNova-Vision 理解生成统一视觉大模型同步释出SenseNova-Vision-7B-MoT权重。该模型将目标检测、图像分割、深度估计、法线预测、OCR、关键点定位、多视图几何等十余项经典计算机视觉任务首次在单一共享表征空间内实现原生统一——不再需要为每类任务堆叠独立预测头。一、背景视觉 AI 的结构性瓶颈长期以来计算机视觉领域沿袭着「一个任务对应一个模型」的演进路径。目标检测用一套模型语义分割用另一套深度估计再换一套。即便行业里出现过所谓的统一视觉方案本质上也只是将多个专家模型打包封装底层依然割裂。这种架构带来三个核心问题部署成本高每类任务需维护独立模型、独立推理管线知识无法复用不同任务之间的表征无法相互受益扩展性差每新增一种视觉任务意味着从头训练或微调一个新模型。SenseNova-Vision 的核心变革在于让视觉成为通用基础模型的原生能力彻底融入大模型体系将全部视觉任务统一表述为多模态生成问题。二、统一生成框架文本、图像与混合输出三位一体SenseNova-Vision 的设计哲学是一条根本不同的技术路线。它不依赖任何任务专属预测头、解码器或额外架构分支而是将一切视觉任务投射到统一多模态模型UMM的原生输入输出空间中。具体而言模型通过自然语言指令 可选视觉提示来指定任务、目标区域或视角、输出结构和解码规则并以三种形式进行响应输出类型承载内容示例文本生成类别、边界框、点坐标、OCR 字符串、关键点、相机参数等符号化视觉记录{bbox: [x1,y1,x2,y2], label: person}图像生成分割 mask、深度图、表面法线图、多视角点图等稠密空间信息像素级对齐的深度图、法线图图文混合同时包含符号输出与稠密输出的组合式任务检测框 对应分割 mask这种设计使得模型不仅能够处理固定基准测试中的标准任务还能通过自然语言即时定义超出传统任务边界的新视觉任务变体。三、架构设计Qwen2 SigLIP 的深度融合SenseNova-Vision-7B-MoT 以现成的预训练 UMM 为起点采用双核心架构3.1 语言模型Qwen27B参数值隐藏层维度3584中间层维度18944注意力头数28Transformer 层数28最大位置嵌入32768 tokens位置编码RoPEtheta1,000,000激活函数SiLU3.2 视觉编码器SigLIP参数值隐藏层维度1152中间层维度4304注意力头数16Transformer 层数27输入图像尺寸980 × 980 像素Patch 尺寸14 × 14视觉特征通过专门设计的投影层将 1152 维映射到 3584 维的语言空间实现跨模态信息的无缝对接。训练采用 bfloat16 混合精度推理阶段支持 KV Cache 与滑动窗口策略以提升效率。四、四大任务族全面覆盖SenseNova-Vision 以单一模型覆盖四大核心视觉领域在多项权威基准测试中比肩甚至超越对应专用专家模型4.1 结构化视觉理解涵盖目标检测、指代检测Referring、OCR、GUI 定位、关键点检测等输出以结构化文本记录呈现。在稠密小目标检测与长尾类别识别等复杂场景下表现尤为突出。基准指标结果对比COCO 目标检测56.6 mAP与 Grounding DINO-Swin-T 持平超越 Bagel、Qwen3-VL-8BRefCOCOg 指代检测80.5 Acc0.5所有对比方法中最佳Dense200 稠密检测66.8 mAP显著优于所有竞争对手HierText OCR31.2 bbox通用模型中最佳ScreenSpot-V2 GUI49.5 bbox所有方法中最佳COCO-Kpt 关键点34.6 point Acc0.5所有可比方法中最佳4.2 稠密几何预测深度估计与表面法线估计精度达到几何专用模型水准在室内外多场景下均保持极高稳定性。基准指标结果对比NYUv2 深度估计AbsRel0.040与 DepthAnything、FE2E 相当NYUv2 深度估计δ198.1-ScanNet 法线估计Mean12.8所有方法含 DSINE中最佳ScanNet 法线估计11.25°68.9-4.3 图像分割覆盖语义分割、实例分割、全景分割、交互式分割、推理分割Reasoning Segmentation以及对话式分割GCG Segmentation。基准指标结果对比ReasonSeggIoU63.2 / 60.7所对比方法中最佳推理分割与对话式分割得益于 LLM 的推理能力在需要语义理解的复杂分割场景中表现惊艳。4.4 多视角 3D 几何仅通过单模型即可完成高质量的多视角点云重建与相机位姿估计性能在通用视觉路线中处于领先位置。基准指标结果对比CO3Dv2 相机姿态RRA3097.4统一模型中最佳CO3Dv2 相机姿态RTA3095.4-CO3Dv2 相机姿态AUC3080.1-五、横向对比代际级优势在与其他通用视觉模型的横向对比中SenseNova-Vision 展现出显著优势对比语义导向模型如 Youtu-VL在检测、分割、深度等对细节要求极高的视觉任务上实现全面领先对比生成导向模型如 Vision Banana在绝大多数指标上实现超越且 SenseNova-Vision 覆盖四大核心板块的全部任务而后者仅能应对其中两类。跨任务知识互补是性能飞跃的关键——深度估计的知识强化了语义分割的空间理解分割能力又辅助检测任务的边界判断实现 11 2 的效果。六、极端场景泛化能力从执行工具到世界理解模型得益于原生通用底座带来的智能涌现SenseNova-Vision 在多种人类视觉都容易出错的极端场景中展现出惊人的鲁棒性零样本泛化面对训练集中从未出现的游戏画面如《黑神话悟空》场景无需任何针对性重训即可同步完成表面法向估计、实例分割与角色关键点检测。影视、游戏和数字内容创作者可直接将其投入工作流。超稠密物体分割面对高度重叠的鱼群、羊群或货架商品、俯拍车辆等极度稠密场景模型能精准地将每个独立个体剥离——即使颜色极度相近、边缘深度交织。看穿镜面反射在包含镜子、玻璃的复杂室内环境中传统视觉模型极易被镜中倒影误导。SenseNova-Vision 能够自动过滤反射干扰准确估计镜中物体的真实空间方向与深度关系。突破视觉错觉面对经典借位摄影等视觉错觉图像模型不仅能准确抠出被遮挡物体的完整轮廓还能输出完全正确的表面法向估计不被透视成像的近大远小现象误导。七、训练数据与开源生态为支撑大规模训练商汤将各类异构 CV 标注转换为指令-回答样本构建了SenseNova-Vision Corpus覆盖可解码的文本、图像以及图文混合目标。模型主要基于该语料训练同时引入辅助多模态数据以保持通用理解与生成能力。本次开源内容资源地址模型权重HuggingFace: SenseNova-Vision-7B-MoT模型权重国内ModelScope代码仓库GitHub: OpenSenseNova/SenseNova-Vision数据集SenseNova-Vision-Corpus-50M5000 万条指令样本技术论文arXiv: 2607.06560许可证CC BY-NC 4.0非商业用途八、快速上手git clone https://github.com/OpenSenseNova/SenseNova-Vision.git cd SenseNova-Vision bash setup.sh sensenova-vision conda activate sensenova-vision # 下载模型权重 # from huggingface_hub import snapshot_download # model_path snapshot_download(sensenova/SenseNova-Vision-7B-MoT) # 运行示例 bash scripts/run_sensenova_vision.sh example # 单次推理以二值分割为例 bash scripts/run_sensenova_vision.sh inference binary_seg person examples/images/2.jpg # 启动 Gradio Web Demo推荐 1×80GB GPU MODEL_PATH/path/to/SenseNova-Vision-7B-MoT bash scripts/run_sensenova_vision.sh demo九、总结与展望SenseNova-Vision-7B-MoT 不是一次简单的轻量化模型迭代而是视觉 AI 范式的一次结构性升级。其意义可从三个维度理解从工具执行者到通用理解者模型不再是只能执行特定指令的工具而是成长为对视觉世界拥有通用、深刻认知的基础多模态底座统一范式降低应用门槛开发者无需再为不同任务维护多套模型体系单个模型即可覆盖高频视觉需求大幅缩短研发周期、降低部署成本语言可编程的视觉能力通过自然语言即可定义新的视觉任务赋予下游应用前所未有的灵活性。在视觉 AI 连续十年蝉联中国市场份额第一的背景下商汤此次将行业领先的视觉能力融入统一多模态大模型体系并全面开源无疑将为全球视觉 AI 生态注入强劲动力。项目地址https://github.com/OpenSenseNova/SenseNova-Vision
商汤开源 SenseNova-Vision-7B-MoT：统一视觉大模型，一个模型终结“一任务一模型“时代
商汤开源 SenseNova-Vision-7B-MoT统一视觉大模型一个模型终结一任务一模型时代2026 年 7 月 13 日商汤科技正式发布并全面开源「日日新」SenseNova-Vision 理解生成统一视觉大模型同步释出SenseNova-Vision-7B-MoT权重。该模型将目标检测、图像分割、深度估计、法线预测、OCR、关键点定位、多视图几何等十余项经典计算机视觉任务首次在单一共享表征空间内实现原生统一——不再需要为每类任务堆叠独立预测头。一、背景视觉 AI 的结构性瓶颈长期以来计算机视觉领域沿袭着「一个任务对应一个模型」的演进路径。目标检测用一套模型语义分割用另一套深度估计再换一套。即便行业里出现过所谓的统一视觉方案本质上也只是将多个专家模型打包封装底层依然割裂。这种架构带来三个核心问题部署成本高每类任务需维护独立模型、独立推理管线知识无法复用不同任务之间的表征无法相互受益扩展性差每新增一种视觉任务意味着从头训练或微调一个新模型。SenseNova-Vision 的核心变革在于让视觉成为通用基础模型的原生能力彻底融入大模型体系将全部视觉任务统一表述为多模态生成问题。二、统一生成框架文本、图像与混合输出三位一体SenseNova-Vision 的设计哲学是一条根本不同的技术路线。它不依赖任何任务专属预测头、解码器或额外架构分支而是将一切视觉任务投射到统一多模态模型UMM的原生输入输出空间中。具体而言模型通过自然语言指令 可选视觉提示来指定任务、目标区域或视角、输出结构和解码规则并以三种形式进行响应输出类型承载内容示例文本生成类别、边界框、点坐标、OCR 字符串、关键点、相机参数等符号化视觉记录{bbox: [x1,y1,x2,y2], label: person}图像生成分割 mask、深度图、表面法线图、多视角点图等稠密空间信息像素级对齐的深度图、法线图图文混合同时包含符号输出与稠密输出的组合式任务检测框 对应分割 mask这种设计使得模型不仅能够处理固定基准测试中的标准任务还能通过自然语言即时定义超出传统任务边界的新视觉任务变体。三、架构设计Qwen2 SigLIP 的深度融合SenseNova-Vision-7B-MoT 以现成的预训练 UMM 为起点采用双核心架构3.1 语言模型Qwen27B参数值隐藏层维度3584中间层维度18944注意力头数28Transformer 层数28最大位置嵌入32768 tokens位置编码RoPEtheta1,000,000激活函数SiLU3.2 视觉编码器SigLIP参数值隐藏层维度1152中间层维度4304注意力头数16Transformer 层数27输入图像尺寸980 × 980 像素Patch 尺寸14 × 14视觉特征通过专门设计的投影层将 1152 维映射到 3584 维的语言空间实现跨模态信息的无缝对接。训练采用 bfloat16 混合精度推理阶段支持 KV Cache 与滑动窗口策略以提升效率。四、四大任务族全面覆盖SenseNova-Vision 以单一模型覆盖四大核心视觉领域在多项权威基准测试中比肩甚至超越对应专用专家模型4.1 结构化视觉理解涵盖目标检测、指代检测Referring、OCR、GUI 定位、关键点检测等输出以结构化文本记录呈现。在稠密小目标检测与长尾类别识别等复杂场景下表现尤为突出。基准指标结果对比COCO 目标检测56.6 mAP与 Grounding DINO-Swin-T 持平超越 Bagel、Qwen3-VL-8BRefCOCOg 指代检测80.5 Acc0.5所有对比方法中最佳Dense200 稠密检测66.8 mAP显著优于所有竞争对手HierText OCR31.2 bbox通用模型中最佳ScreenSpot-V2 GUI49.5 bbox所有方法中最佳COCO-Kpt 关键点34.6 point Acc0.5所有可比方法中最佳4.2 稠密几何预测深度估计与表面法线估计精度达到几何专用模型水准在室内外多场景下均保持极高稳定性。基准指标结果对比NYUv2 深度估计AbsRel0.040与 DepthAnything、FE2E 相当NYUv2 深度估计δ198.1-ScanNet 法线估计Mean12.8所有方法含 DSINE中最佳ScanNet 法线估计11.25°68.9-4.3 图像分割覆盖语义分割、实例分割、全景分割、交互式分割、推理分割Reasoning Segmentation以及对话式分割GCG Segmentation。基准指标结果对比ReasonSeggIoU63.2 / 60.7所对比方法中最佳推理分割与对话式分割得益于 LLM 的推理能力在需要语义理解的复杂分割场景中表现惊艳。4.4 多视角 3D 几何仅通过单模型即可完成高质量的多视角点云重建与相机位姿估计性能在通用视觉路线中处于领先位置。基准指标结果对比CO3Dv2 相机姿态RRA3097.4统一模型中最佳CO3Dv2 相机姿态RTA3095.4-CO3Dv2 相机姿态AUC3080.1-五、横向对比代际级优势在与其他通用视觉模型的横向对比中SenseNova-Vision 展现出显著优势对比语义导向模型如 Youtu-VL在检测、分割、深度等对细节要求极高的视觉任务上实现全面领先对比生成导向模型如 Vision Banana在绝大多数指标上实现超越且 SenseNova-Vision 覆盖四大核心板块的全部任务而后者仅能应对其中两类。跨任务知识互补是性能飞跃的关键——深度估计的知识强化了语义分割的空间理解分割能力又辅助检测任务的边界判断实现 11 2 的效果。六、极端场景泛化能力从执行工具到世界理解模型得益于原生通用底座带来的智能涌现SenseNova-Vision 在多种人类视觉都容易出错的极端场景中展现出惊人的鲁棒性零样本泛化面对训练集中从未出现的游戏画面如《黑神话悟空》场景无需任何针对性重训即可同步完成表面法向估计、实例分割与角色关键点检测。影视、游戏和数字内容创作者可直接将其投入工作流。超稠密物体分割面对高度重叠的鱼群、羊群或货架商品、俯拍车辆等极度稠密场景模型能精准地将每个独立个体剥离——即使颜色极度相近、边缘深度交织。看穿镜面反射在包含镜子、玻璃的复杂室内环境中传统视觉模型极易被镜中倒影误导。SenseNova-Vision 能够自动过滤反射干扰准确估计镜中物体的真实空间方向与深度关系。突破视觉错觉面对经典借位摄影等视觉错觉图像模型不仅能准确抠出被遮挡物体的完整轮廓还能输出完全正确的表面法向估计不被透视成像的近大远小现象误导。七、训练数据与开源生态为支撑大规模训练商汤将各类异构 CV 标注转换为指令-回答样本构建了SenseNova-Vision Corpus覆盖可解码的文本、图像以及图文混合目标。模型主要基于该语料训练同时引入辅助多模态数据以保持通用理解与生成能力。本次开源内容资源地址模型权重HuggingFace: SenseNova-Vision-7B-MoT模型权重国内ModelScope代码仓库GitHub: OpenSenseNova/SenseNova-Vision数据集SenseNova-Vision-Corpus-50M5000 万条指令样本技术论文arXiv: 2607.06560许可证CC BY-NC 4.0非商业用途八、快速上手git clone https://github.com/OpenSenseNova/SenseNova-Vision.git cd SenseNova-Vision bash setup.sh sensenova-vision conda activate sensenova-vision # 下载模型权重 # from huggingface_hub import snapshot_download # model_path snapshot_download(sensenova/SenseNova-Vision-7B-MoT) # 运行示例 bash scripts/run_sensenova_vision.sh example # 单次推理以二值分割为例 bash scripts/run_sensenova_vision.sh inference binary_seg person examples/images/2.jpg # 启动 Gradio Web Demo推荐 1×80GB GPU MODEL_PATH/path/to/SenseNova-Vision-7B-MoT bash scripts/run_sensenova_vision.sh demo九、总结与展望SenseNova-Vision-7B-MoT 不是一次简单的轻量化模型迭代而是视觉 AI 范式的一次结构性升级。其意义可从三个维度理解从工具执行者到通用理解者模型不再是只能执行特定指令的工具而是成长为对视觉世界拥有通用、深刻认知的基础多模态底座统一范式降低应用门槛开发者无需再为不同任务维护多套模型体系单个模型即可覆盖高频视觉需求大幅缩短研发周期、降低部署成本语言可编程的视觉能力通过自然语言即可定义新的视觉任务赋予下游应用前所未有的灵活性。在视觉 AI 连续十年蝉联中国市场份额第一的背景下商汤此次将行业领先的视觉能力融入统一多模态大模型体系并全面开源无疑将为全球视觉 AI 生态注入强劲动力。项目地址https://github.com/OpenSenseNova/SenseNova-Vision
