分享IJCV2021上发表的一篇文章BiSeNetv2,这是BiSeNet的升级版本。开源代码地址:https://github.com/open-mmlab/mmsegmentation/tree/master/configs/bisenetv2
1.动机
语义分割是指为每个像素分配一个标签,它广泛用于场景理解、自动驾驶、人机交互、视频监控等领域中。近年来,随着卷积神经网络的发展,研究者们提出了一系列基于全卷积网络的语义分割算法,它们都达到了很好的性能。
全卷积网络的高性能往往来自于比较好的backbone,在语义分割任务中,有2种常用的backbone:
(1)使用了空洞卷积模块的backbone,在backbone中移除了部分下采样操作,使用空洞卷积增加感受野,同时保持feature map的尺寸以保留丰富的空间信息,如下图所示:
(2)使用了Encoder-Decoder的backbone,在decoder模块中,使用skip connections的方式恢复空间信息,如下图所示:
这2类backbone在设计时,没有充分考虑推理时间和计算资源的优化:
(1)空洞卷积的引入、下采样操作的移除,都会引入比较大的计算复杂度和显存消耗;
(2)encoder和decoder中的skip connections会增加显存消耗。
面对实时语义分割的需求,基于上面2种类型的backbone,一般采用以下方法降低模型对硬件资源的消耗:
- 减小输入图片分辨率
- 使用更少的通道
尽管这些方法能够有效地提高模型推理速度,但是牺牲了低层次特征,降低了网络的表达能力,导致模型性能下降。因此,设计一个兼顾性能和推理速度的语义分割算法是很重要的。
在语义分割任务中,空间细节信息和高级语义信息都是很重要的,如果不考虑推理速度,可以用一个深的、feature map尺寸大的网络去提取特征;而为了平衡精度和推理速度,作者提出了two-pathway的网络架构Bilateral Segmentation Network(BiSeNet V2)。在该结构中,一个分支提取空间细节信息,另一个分支提取高级语义信息。
2.BiSeNetv2
2.1 总体结构
BiSeNetv2的大体结构如下图所示:
网络主要包含3部分
- Detail分支 特点是网络层数较少,feature map尺寸大,用于提取空间细节信息。
- Semantic分支 特点是比较深,feature map尺寸小,感受野大,用于提取高级语义信息。
- 特征融合模块 用于融合Detail分支和Semantic分支的特征。
2.2 Detail分支
Detail分支负责提取低级空间细节信息,该分支有如下特点:
- 网络通道数要足够多;
- feature map的尺寸要稍大一些;
- 网络层数比较浅;
- 由于feature map尺寸大、通道数多,最好不要在网络结构中使用残差连接,避免增加显存占用、降低推理速度。
Detail分支的网络结构如下图所示,该分支共3个stage,每个卷积操作后面都有BN和激活函数。每个stage中第1个卷积层的步长都是2,其余卷积层的步长是1。因此Detail分支的输出feature map尺寸是原图的1/8。该分支的网络结构设计遵循VGG的设计准则,同时避免使用残差链接。
2.3 Semantic分支
Semantic分支用于提取高级语义信息,该分支有如下特点:
- 不需要很大的通道数,这里令Semantic分支的通道数是Detail分支的$\lambda(\lambda< 1)$倍;
- 有很多下采样操作,以增加感受野;
- 包含全局平均池化操作,以提取全局上下文特征。
Semantic分支的网络结构如图4所示,包含如下3部分:
(1)Stem Block
结构如下图所示:
Stem Block在2个分支中使用了2种不同的下采样操作,2个分支的输出通过concat操作进行融合。
(2)Gather-and-Expansion Layer(GE)
Gather-and-Expansion Layer在设计时借鉴了MobileNetv2中的inverted bottleneck结构,inverted bottleneck结构如图6(a)所示,虚线表示当该模块的步长为2时,残差连接不存在;当该模块的步长为1时,残差连接存在。
步长为1时,Gather-and-Expansion Layer的结构如图6(b)所示:
- 使用 3 × 3 3 \times 3 3×3卷积进行升维;
- 在高维度使用 3 × 3 3 \times 3 3×3的depthwise卷积进行特征提取;
- 使用 1 × 1 1 \times 1 1×1卷积进行降维。
当步长为2时,Gather-and-Expansion Layer的结构如图6©所示:
- 使用2个 3 × 3 3 \times 3 3×3的depthwise卷积进一步增加感受野;
- 在shortcut中使用1个 3 × 3 3 \times 3 3×3的depthwise卷积。
(3)Context Embedding Block(CE)
结构如下图所示:
该模块使用全局平均池化和残差连接提取全局上下文特征。
2.4 特征融合模块
特征融合模块用于融合Detail分支和Semantic分支提取到的特征。由于Semantic分支中包含较多的下采样操作,该分支的输出feature map尺寸较小,因此要对Semantic分支输出的feature map进行上采样操作,使其与Detail分支输出的feature map尺寸一致。通过元素相加或者concat的方式融合2个分支的特征是不合适的,因为这忽略了2个分支输出特征的差异性。
作者提出了Bilateral Guided Layer用于融合2个分支的特征,结构如下图所示:
上图中的 ⊗ \otimes ⊗表示元素乘法操作。该结构能够使得2个分支互相通信、互为引导。
综上,BiSeNetv2的总体结构如下图所示,紫色框内是2个分支,红色框内是融合结构,Down表示下采样操作,Up表示上采样操作, φ \varphi φ表示Sigmoid函数, ⊗ \otimes ⊗表示元素乘法。
3.辅助训练分支
为了进一步提高模型精度,训练时,在Semantic分支的不同位置增加了若干个辅助Segmentation Head,如图9橙色框内所示,这些结构仅用于训练,在推理时会删掉它们。
辅助Segmentation Head的结构如下图所示:
在上图中,使用 C i C_i Ci控制卷积的通道数, S S S表示上采样倍数, N N N表示最终输出的feature map的通道数。
4.实验
4.1 训练
超参数 在训练时,使用kaiming normal方式进行权重初始化,使用SGD优化器,batch size=16,momentum=0.9,初始学习率为 5 e − 2 5 e^{-2} 5e−2,学习率变化策略为初始学习率乘以 ( 1 − i t e r iter s max ) power \left(1-\frac{i t e r}{\text { iter } s_{\max }}\right)^{\text {power }} (1− iter smaxiter)power ,其中 power = 0.9 {\text {power }}=0.9 power =0.9。对于Cityscapes和CamVid数据集,weight_decay=0.0005,对于COCO-Stuff数据集,weight_decay=0.0001。对于Cityscapes和CamVid、COCO-Stuff这3个数据集,训练的迭代次数分别为150K、10K、20K。
数据增强 使用了随机水平翻转、随机缩放、随机裁剪进行数据增强。随机缩放的尺度为 { 0.75 , 1 , 1.25 , 1.5 , 1.75 , 2.0 } \{0.75,1,1.25,1.5,1.75,2.0\} {0.75,1,1.25,1.5,1.75,2.0}。
4.2 结果
BiSeNetv2在Cityscapes数据集上的性能如下,输入到BiSeNetv2模型中的图像尺寸为 1024 × 512 1024 \times 512 1024×512。上表中的 γ \gamma γ表示输入模型的图像尺寸对于 2048 × 1024 2048 \times 1024 2048×1024的下采样率。
BiSeNetv2在CamVid数据集上的性能如下,输入模型的图像尺寸为 960 × 720 960 \times 720 960×720。下表中的 * \text { * } * 表示该模型先在Cityscapes数据集上进行预训练。
BiSeNetv2在COCO-Stuff数据集上的性能如下,输入图像分辨率为为 640 × 640 640 \times 640 640×640。
-
如果你对计算机视觉领域的目标检测、跟踪、分割、轻量化神经网络、Transformer、3D视觉感知、人体姿态估计兴趣,欢迎关注公众号【CV51】一起学习交流~文章来源:https://www.toymoban.com/news/detail-470258.html
-
欢迎关注我的个人主页,这里沉淀了计算机视觉多个领域的知识:https://www.yuque.com/cv_51文章来源地址https://www.toymoban.com/news/detail-470258.html
到了这里,关于BiSeNetv2:语义分割经典方法BiSeNet的升级版本的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!