计算机视觉基础（11）——语义分割和实例分割-Toy模板网

这篇具有很好参考价值的文章主要介绍了计算机视觉基础（11）——语义分割和实例分割。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

在这节课，我们将学习语义分割和实例分割。在语义分割中，我们需要重点掌握语义分割的概念、常用数据集、评价指标（IoU）以及经典的语义分割方法（Deeplab系列）；在实例分割中，需要知道实力分割可以近似看为“目标检测+语义分割”，需要知道Mask R-CNN方法的计算流程，以及评价指标mAP。

一、语义分割

1.1 分割类任务的定义

分割类任务是一种密集标注任务，即将图像中每个像素赋予一个语义或者实例标签。

计算机视觉基础（11）——语义分割和实例分割,计算机视觉基础,计算机视觉,人工智能,语义分割,图像处理

1.2 语义分割的应用场景

无人驾驶

机器人

医学图像

……

1.3 常用数据集

1.3.1 Pascal VOC Dataset

VOC数据集是计算机视觉主流数据集之一，由牛津大学、比利时鲁汶大学等高校的视觉研究组联合发布，可以用作分类，分割，目标检测，动作检测和人物定位五类任务，包含21个类别标签，训练1464，验证1449，测试1456。

计算机视觉基础（11）——语义分割和实例分割,计算机视觉基础,计算机视觉,人工智能,语义分割,图像处理

1.3.2 MS COCO Dataset

MS COCO（Microsoft Common Objects in Context Dataset）是微软发布的一个大规模物体检测，分割及文字定位数据集，支持目标检测、实例分割、全景分割、Stuff Segmentation、关键点检测、看图说话等任务类型，包含80个对象类别。

计算机视觉基础（11）——语义分割和实例分割,计算机视觉基础,计算机视觉,人工智能,语义分割,图像处理

1.3.3 ADE20K Dataset

ADE20K数据集由 MIT CSAIL 研究组发布，涵盖广泛的场景和对象类别，可用于场景感知、解析、分割、多物体识别和语义理解。该数据集构建了一个场景解析基准，包含150个对象和素材类。

计算机视觉基础（11）——语义分割和实例分割,计算机视觉基础,计算机视觉,人工智能,语义分割,图像处理

1.3.4 CityScapes Dataset

CityScapes是由奔驰自动驾驶实验室、马克思·普朗克研究所、达姆施塔特工业大学联合发布的图像数据集，专注于对城市街景的语义理解。该数据集包含50个城市不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注，共有5000张精细标注的图像和2万张粗略标注的图像。

计算机视觉基础（11）——语义分割和实例分割,计算机视觉基础,计算机视觉,人工智能,语义分割,图像处理