从目标检测到全景分割：五种常见视觉任务的区别

很多初学者会把目标检测、语义分割、前景分割、实例分割混在一起。它们的差别不在于谁“更高级”而在于模型需要回答的问题不同。先说结论任务模型输出能否区分同类目标典型问题目标检测类别 边界框能图中有什么大致在哪里语义分割每个像素的类别不能每个像素属于车、路、天空还是人前景分割前景 / 背景二值 mask通常不能哪些像素是主体实例分割类别 每个实例的 mask能每一辆车、每一个人分别占哪些像素全景分割全图语义类别 实例编号能每个像素是什么每个可数物体又是哪一个用一个场景理解五种任务假设一张街景图中有两辆车、一个人以及道路、立柱等背景区域。下面五种任务看到的是同一张图但输出结果不同。1. 目标检测给目标画框目标检测输出的是目标类别和矩形边界框例如“车1”“车2”“人”。优点能快速知道物体的类别和大致位置。局限框不是物体轮廓框内可能包含道路、背景或其他物体。常见应用车辆检测、行人检测、商品检测、安防告警。可以把它理解成告诉你有什么以及它大概在哪里。2. 语义分割给每个像素分配类别语义分割会给图中的每个像素分配一个类别例如道路、立柱、车辆、行人、天空等。优点边界精确到像素适合理解场景结构。局限同类目标不区分身份。两辆车的像素都只是“车辆”不会标为“车1”和“车2”。常见应用自动驾驶中的道路区域识别、遥感地物分类、医学器官分割。可以把它理解成每个像素是什么类别。3. 前景分割只分主体和背景前景分割通常是二值分割前景像素记为1背景像素记为0。优点目标明确、结果简洁适合把主体从背景中抠出来。局限通常不关心前景内部的类别和实例。例如多个人都可以合并成同一个“前景”。常见应用人像虚拟背景、视频运动目标提取、简单抠图。需要注意前景分割是常见说法但它更像一类二值分割任务不是唯一固定的数据集任务名。“什么算前景”要由具体业务定义。4. 实例分割每个物体各有一张 mask实例分割不仅知道目标类别还会为每个目标输出贴合轮廓的像素级 mask。优点能区分相邻、重叠或同类别的多个目标。例如两只猫都属于“猫”但结果会分别标为“猫1”和“猫2”。常见应用工业零件计数、细胞计数、零售货架分析、机器人抓取。可以把它理解成这是什么并且它具体是哪一个。5. 全景分割语义分割和实例分割的结合全景分割同时处理两类区域背景物stuff道路、天空、立柱、草地等。它们需要语义类别但通常不需要单独编号。可数物体thing人、车、自行车等。它们既需要类别也需要实例编号。因此全景分割可以同时告诉我们这片区域是道路还是立柱。这里有几辆车每一辆分别是哪一辆。它适合需要完整理解场景的任务例如自动驾驶、移动机器人和智能交通。容易混淆的三组概念目标检测 vs 实例分割目标检测给出的是框实例分割给出的是精确轮廓。当任务需要测量面积、处理遮挡或精确抠出物体时应选择实例分割。语义分割 vs 实例分割语义分割关心“类别”实例分割关心“个体”。例如两辆车语义分割两辆车都标为“车”。实例分割分别标为“车1”和“车2”。实例分割 vs 全景分割实例分割主要关注人、车等可数物体全景分割还会覆盖道路、天空等背景区域。因此全景分割的输出覆盖整张图不留下未分类像素。实际项目如何选择需求更合适的任务只需要定位人、车或商品目标检测需要识别道路、天空、建筑等所有区域语义分割只需要抠出主体前景分割需要数清每个物体并得到精确边缘实例分割既要理解完整场景又要区分每个目标全景分割总结一句话记忆目标检测类别 框。语义分割每个像素的类别。前景分割主体与背景。实例分割每个物体的精确 mask。全景分割全图语义类别 可数物体实例。选择任务时不要先问“哪个模型更强”而要先明确你需要的是大致位置、像素类别、主体轮廓还是每个物体的独立身份。