使用mmdetection做实例分割-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用mmdetection做实例分割。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

使用mmdetection做实例分割

2022华为开发者大赛·无人车挑战赛，初赛使用mmlab的mmdetection作为baseline。基于baseline训练自己的网络完成实例分割。

在这个比赛中使用华为云的OBS桶、Modelarts平台。

mmdetection继承了目标检测、语义分割、实例分割的很多流行网络框架，也支持自定义。

有关mmdetection的介绍已经挺多了，这里只是总结如何训练自己的模型。

本文关键词：mmdetection、实例分割、mask-rcnn、HTC、coco

无人车大赛baseline（包括OBS、Modelarts简单使用）

由于个人也没有多少调参经验以及比赛中个人所采用的优化的效果不明显，就不介绍优化网络的策略了，需要的同学可以自行搜索相关内容。

零、准备环境

没有环境，一切都瞎忙活。

配置环境前，先确认一下本地的cuda、pytorch版本。

参考以下文档，下载与电脑cuda版本、pytorch版本匹配的mmcv版本。

mmcv的github官网

mmcv的gitee官网

mmdetection的github官网

mmdetection的gitee官网

一、准备数据集

好的数据集（包括标注文件）也是训练好坏的重要标准。

原始图片肯定越多越好，本文采用labelme作为标注工具，下面简单介绍如何标注数据集：

安装labelme
如何标注文件
转coco格式

python labelme2coco.py data_annotated data_dataset_coco --labels labels.txt
# data_annotated 为 labelme标注的数据集
# data_dataset_coco 为 转换后的coco数据集，会自动创建，不需要人为创建

如果想手动划分训练集、测试集、验证集等，可以先将数据集分在不同的文件夹，然后分别生成coco格式数据。

一般数据都是不够的，最好做一下数据增强，数据增强的工具很多，可以自行搜索。

增强时：注意避免对标注产生影响。例如改变颜色，那就要注意标注的类别是否和颜色高度相关，比如红绿灯就不适合做这方面的数据增强。

二、修改配置文件

训练之前，要先有网络模型，数据集和训练的一些超参数的配置。

这些框架在mmdetection中作了很好的集成，只要简单的修改，就可以完成网络的构建，这里我们简单介绍如何配置。

如何配置数据集文件

进入到 mmdetection/mmdet/datasets文件夹下，找到coco.py，将其中的CLASSES修改成为需要的类型，并查找所有的num_classes，改成需要的数目。或者新建一个py文件，将coco.py中的内容拷贝过来，进行修改，修改数据集名称、CLASSES以及num_classes，并且这样还需要打开__init__.py，在里面添加你设置的类别，如下。

注意不仅要在__all__添加，还要在上面添加 from xx import xx

使用mmdetection做实例分割

如何配置网络模型文件

在mmdetection/configs下包含了各种现成的流行框架，比如mask-rcnn、yolo、htc等等。
使用mmdetection做实例分割

在每一个文件夹下面都有一个README.md，简单介绍了该网络，也可以根据README.md来判断是不是我们需要的网络。

使用mmdetection做实例分割

由于本文做的是实例分割，所以选择查阅相关论文或者其他文档，找到适合做实例分割的网络模型。

参赛时，找到了mask-rcnn、ms-rcnn、cascade-mask-rcnn、htc等，耦合pafpn，当然这些网络是层次递进的，一般来说，新提出的网络要比早期的网络效果要好。

为了方便管理，对于我们自己的网络，最好新建一个文件夹，里面放我们的配置文件，例如参赛时，在mmdetection\configs下新建了wrc文件夹，并在wrc文件夹新建了wrc.py文件存放。

以ms-rcnn网络为例简单介绍，其余网络可以自行设计

_base_ = [
    '../_base_/models/mask_rcnn_r50_fpn.py',	#网络配置文件
    '../_base_/datasets/wrc.py',				#数据集配置文件
    '../_base_/schedules/schedule_1x.py',   	#训练配置文件
    '../_base_/default_runtime.py'
]

#可以认为：以上内容会直接copy过来
#下面的内容会对上面copy过来的部分进行替换		（一种类似继承的机制）

model = dict(
    type='MaskScoringRCNN',						
    neck=dict(
        type='PAFPN',				#这部分将原来的FPN替换成PAFPN
        in_channels=[256, 512, 1024, 2048],
        out_channels=256,
        num_outs=5),
    roi_head=dict(
        type='MaskScoringRoIHead',
        mask_iou_head=dict(
            type='MaskIoUHead',
            num_convs=4,
            num_fcs=2,
            roi_feat_size=14,
            in_channels=256,
            conv_out_channels=256,
            fc_out_channels=1024,
            num_classes=6)),
    # model training and testing settings
    train_cfg=dict(rcnn=dict(mask_thr_binary=0.5)))

如何配置…/_base_/datasets/wrc.py

wrc.py是新建的文件，可以结合实际情况修改，wrc.py修改自coco_instance.py(做实例分割)。

这个文件重点修改data_root以及下面的train、val、test中的地址。

dateset_type改成之前配置的文件，也就是数据集的类型（在__init__中注册的那个wrc）。

# dataset settings
dataset_type = 'wrc'
data_root = '/home/ma-user/work/wrc/data/labeled/'
img_norm_cfg = dict(
    mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)
train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations', with_bbox=True, with_mask=True),
    dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),
    dict(type='RandomFlip', flip_ratio=0.5),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='Pad', size_divisor=32),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels', 'gt_masks']),
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(
        type='MultiScaleFlipAug',
        img_scale=(1333, 800),
        flip=False,
        transforms=[
            dict(type='Resize', keep_ratio=True),
            dict(type='RandomFlip'),
            dict(type='Normalize', **img_norm_cfg),
            dict(type='Pad', size_divisor=32),
            dict(type='DefaultFormatBundle'),
            dict(type='Collect', keys=['img']),
        ])
]
data = dict(
    samples_per_gpu=2,				#batch_size相关设置
    workers_per_gpu=2,
    train=dict(
        type=dataset_type,
        ann_file=data_root + 'train/annotations.json',
        img_prefix=data_root+'train',
        pipeline=train_pipeline),
    val=dict(
        type=dataset_type,
        ann_file=data_root + 'val/annotations.json',
        img_prefix=data_root+'val',
        pipeline=test_pipeline),
    test=dict(
        type=dataset_type,
        ann_file=data_root + 'test/annotations.json',
        img_prefix=data_root+'test',
        pipeline=test_pipeline))
evaluation = dict(metric=['bbox'])

如何配置…/_base_/schedules/schedule_1x.py

这部分可以修改优化器等，也可以采用默认。

例如：可以将SGD修改成Adaw，当然后面的参数也要修改。

不同优化器接收的参数略有差异，可以查找相关文档

注意：epoch是不要太小。

如何配置…/_base_/default_runtime.py

这部分一般不修改，采用默认配置。

三、开始训练

经过以上的准备，就可以开始训练了。

在mmdetection/tools下包括了train.py，是用来训练模型的，常用的方式如下：

cd /home/ma-user/work/wrc/mmdetection
python ./tools/train.py configs/wrc/wrc.py --work-dir "/home/ma-user/work/wrc/ckpt/"

使用mmdetection/configs/wrc/wrc.py配置文件，其中包括了数据集位置、网络、学习策略等。

–work-dir指定存放checkpoint的存放位置，会生成epoch_x.pth的相关文件，pth文件就是我们的训练结果。

四、测试结果

一个网络要投入使用，必须进行相关的测试，一个模型要提交判分之前，也要在本地进行一些测试。

批量测试

mmdetecition/tools下包括了test.py，用来测试，如下：

cd /home/ma-user/work/wrc/mmdetection
python tools/test.py  configs/wrc/wrc.py ../ckpt/epoch_1.pth  --eval-options  'classwise=True'  --eval bbox  proposal

wrc.py必须和训练的配置文件一样，否则可能会出现其他状况，使得模型不匹配报错。

epoch_1.pth就是上面train.py训练的一个epoch的结果，一般前几个epoch的效果都不会很好，至少得6-15个左右才能有一个还不错的pth（我们的数据集大致有5000张图片，6个类别）。

会得到如下的结果：其中mAP是评价的重要指标，越大越好

使用mmdetection做实例分割

单张图片的可视化测试

%cd /home/ma-user/work/wrc/mmdetection

from mmdet.apis import init_detector
from mmdet.apis import inference_detector
from mmdet.apis import show_result_pyplot
 
# 模型配置文件-
config_file = 'configs/wrc/wrc.py'
 
# 预训练模型文件,
checkpoint_file = '../ckpt/epoch_12.pth'
 
# 通过模型配置文件与预训练文件构建模型
model = init_detector(config_file, checkpoint_file)
 
# 测试单张图片并进行展示
img = '../data/labeled/test/JPEGImages/109.jpg'
result = inference_detector(model, img)
show_result_pyplot(model,img, result)