UNet - unet网络

这篇具有很好参考价值的文章主要介绍了UNet - unet网络。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1. u-net介绍

2. u-net网络结构

3. u-net 网络搭建

3.1 DoubleConv

3.2 Down 下采样

3.3 Up 上采样

3.4 网络输出

3.5 UNet 网络

UNet 网络

forward  前向传播

3.6 网络的参数

4. 完整代码


1. u-net介绍

Unet网络是医学图像分割领域常用的分割网络,因为网络的结构很像个U,所以称为Unet

Unet 网络是针对像素点的分类,之前介绍的LeNet、ResNet等等都是图像分类,最后分的是整幅图像的类别,而Unet是对像素点输出的是前景还是背景的分类

注:因为Unet 具体的网络框架均有所不同,例如有的连续卷积后会改变图像的size,有的上采样用的是线性插值的方法。这只介绍same卷积和上采样用的转置卷积

unet网络,图像分割,深度学习,计算机视觉,人工智能

Unet网络是个U型结构,左边是Encoder,右边为Decoder

左边是下采样的过程,通过减少图像size,增加图像channel来提取特征。

右边是还原图像的过程,上采样将逐步还原图像的size,这里上采样的输入特征图不仅仅是上一步的输出,还包含了左边对应特征信息。

2. u-net网络结构

本章采用的unet网络如图,为了后面数据的训练和预测。这里实现的方式和下图有些细小的区别,具体的会在下面讲解

unet网络,图像分割,深度学习,计算机视觉,人工智能

首先,网络输入图像的size设定为(480,480)的灰度图像(注意:这里输入是单通道的灰度图)

然后经过成对的3*3卷积,将图像的深度加深,变成维度为(64,480,480),这里因为图像的size没有变,又因为kernel_size = 3,stride = 1,因此需要保证padding = 1

接下来是下采样层,先经过一个最大池化层,stride = 2,kernel_size = 2 将图像的size变为原来的一半。然后接两个3*3 的卷积,输出的特征图维度是(128,240,240)

下采样层总共有四次,根据每次下采样都会将图像的size减半,图像的channel翻倍来计算的话。最后一次图像的size = 480 / (2^4) = 30 ,channel = 64 * (2^4) = 1024 ,所以最后一次下采样图像的维度为(1024,30,30)------> 这里和图上不一样,因为后面用的是转置卷积

左边的下采样部分实现后,就是右边的上采样部分

上采样会使图像的channel减半,size变为两倍,正好和下采样的部分反过来。这里利用的操作是转置卷积,转置卷积具体的实现这里不做介绍,主要看它的维度变换。转置卷积变换的公式为:

unet网络,图像分割,深度学习,计算机视觉,人工智能

这里为了保证图像的size变为两倍,所以要保证 out = 2 * in ,而in的系数2只能从stride来,所以公式变为out = 2 * in - 2 - 2 * padding + ksize ,这里我们让ksize = 2,因此padding = 0 就可以满足要求。而channel的减半只需要把卷积核的个数减半即可

unet网络,图像分割,深度学习,计算机视觉,人工智能

之前介绍过,最后一层的维度是(1024,30,30),这样通过转置卷积的操作图像的维度就变成了(512,60,60),刚好等于左边下采样的维度!! 所以将它们加在一块,然后进行成对的3*3卷积

之后就是和下采样的次数一样,重复四次上采样,直到将图像还原成(64,480,480)

最后一步,如果是图像分类的话,这里应该是全连接层找最大的预测值了。但是Unet是像素点的分类,所以最后产生的也是一副图像,因为这时候图像的size已经是480不需要变了,只需要将图像的channel改变,所以这里只需要一个kernel_size = 1的卷积核就可以了。

注:最后输出图像的维度是(480,480)的灰度图像,准确的说是二值图像

3. u-net 网络搭建

3.1 DoubleConv

观察unet 网络可以发现,3*3的卷积核都是成对出现的,所以这里将成对卷积核的操作封装成一个类

unet网络,图像分割,深度学习,计算机视觉,人工智能

1. 因为采用的是两个连续的3*3  卷积,不改变图像的size,所以这里卷积的参数要设置padding=1

2. ResNet 介绍过,BN代替Dropout 的时候,不需要Bias 

3. 最后经过ReLU 激活函数

3.2 Down 下采样

然后定义下采样的操作

unet网络,图像分割,深度学习,计算机视觉,人工智能

 

1. 这里下采样采用的就是最大池化层,kernel_size = 2,padding =2 会让图像的size减半

2. 然后经过两个连续3*3 的卷积

3. 将 下采样+两个3*3 的卷积 封装成一个新的类Down

3.3 Up 上采样

然后是定义上采样

unet网络,图像分割,深度学习,计算机视觉,人工智能 

1. 上采样用的是转置卷积,会将图像的size扩大两倍

2.  注意这里不是定义成 Sequential ,因为 Sequential 会从上到下顺序传播。这里还需要一步尺度融合,就是拼接的操作

3. 前向传播的时候,图像首先上采样,会将channel减小一半,size扩大两倍。这样就和左边对应的下采样的位置维度一致,将它们通过torch.cat 拼接,dim = 1是因为batch的维度是0 。然后经过两个3*3 的卷积就行了

3.4 网络输出

最后网络的输出很简单,经过一个1*1 的卷积核,不改变size的情况下。通过卷积核的个数调整图像的channel就行了

unet网络,图像分割,深度学习,计算机视觉,人工智能

3.5 UNet 网络

UNet 网络

网络的框架很简单,因为每个小的模块已经搭好了,将它们拼接起来就行了

因为搭建小的模块的时候,我们对于模块的输入都是in和out channel,所以在定义网络的时候,每个模块只要传入对应的channel就行了。

这里按照UNet 网络的框架设置

unet网络,图像分割,深度学习,计算机视觉,人工智能

 

forward  前向传播

前向传播的过程如下:

在下采样的时候,每个输出都要用变量保存,为了和后面上采样拼接使用

unet网络,图像分割,深度学习,计算机视觉,人工智能

 

3.6 网络的参数

# 计算 UNet 的网络参数个数
model = UNet(in_channels=1,num_classes=1)
print("Total number of paramerters in networks is {}  ".format(sum(x.numel() for x in model.parameters()))) 

UNet 网络参数个数为:

unet网络,图像分割,深度学习,计算机视觉,人工智能

 

4. 完整代码

代码:文章来源地址https://www.toymoban.com/news/detail-799205.html

import torch.nn as nn
import torch


# 搭建unet 网络
class DoubleConv(nn.Module):    # 连续两次卷积
    def __init__(self,in_channels,out_channels):
        super(DoubleConv,self).__init__()
        self.double_conv = nn.Sequential(
            nn.Conv2d(in_channels,out_channels,kernel_size=3,padding=1,bias=False),     # 3*3 卷积核
            nn.BatchNorm2d(out_channels),                                               # 用 BN 代替 Dropout
            nn.ReLU(inplace=True),                                                      # ReLU 激活函数

            nn.Conv2d(out_channels,out_channels,kernel_size=3,padding=1,bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(inplace=True)
        )

    def forward(self,x):    # 前向传播
        x = self.double_conv(x)
        return x


class Down(nn.Module):   # 下采样
    def __init__(self,in_channels,out_channels):
        super(Down, self).__init__()
        self.downsampling = nn.Sequential(
            nn.MaxPool2d(kernel_size=2,stride=2),
            DoubleConv(in_channels,out_channels)
        )

    def forward(self,x):
        x = self.downsampling(x)
        return x


class Up(nn.Module):    # 上采样
    def __init__(self, in_channels, out_channels):
        super(Up,self).__init__()

        self.upsampling = nn.ConvTranspose2d(in_channels, in_channels // 2, kernel_size=2, stride=2) # 转置卷积
        self.conv = DoubleConv(in_channels, out_channels)

    def forward(self, x1, x2):
        x1 = self.upsampling(x1)
        x = torch.cat([x2, x1], dim=1)  # 从channel 通道拼接
        x = self.conv(x)
        return x


class OutConv(nn.Module):   # 最后一个网络的输出
    def __init__(self, in_channels, num_classes):
        super(OutConv, self).__init__()
        self.conv = nn.Conv2d(in_channels, num_classes, kernel_size=1)

    def forward(self, x):
        return self.conv(x)


class UNet(nn.Module):   # unet 网络
    def __init__(self, in_channels = 1, num_classes = 1):
        super(UNet, self).__init__()
        self.in_channels = in_channels                  # 输入图像的channel
        self.num_classes = num_classes                  # 网络最后的输出

        self.in_conv = DoubleConv(in_channels, 64)      # 第一层

        self.down1 = Down(64, 128)                      # 下采样过程
        self.down2 = Down(128, 256)
        self.down3 = Down(256, 512)
        self.down4 = Down(512, 1024)

        self.up1 = Up(1024, 512)                        # 上采样过程
        self.up2 = Up(512, 256)
        self.up3 = Up(256, 128)
        self.up4 = Up(128, 64)

        self.out_conv = OutConv(64, num_classes)        # 网络输出

    def forward(self, x):           # 前向传播    输入size为 (10,1,480,480),这里设置batch = 10

        x1 = self.in_conv(x)        # torch.Size([10, 64, 480, 480])
        x2 = self.down1(x1)         # torch.Size([10, 128, 240, 240])
        x3 = self.down2(x2)         # torch.Size([10, 256, 120, 120])
        x4 = self.down3(x3)         # torch.Size([10, 512, 60, 60])
        x5 = self.down4(x4)         # torch.Size([10, 1024, 30, 30])

        x = self.up1(x5, x4)        # torch.Size([10, 512, 60, 60])
        x = self.up2(x, x3)         # torch.Size([10, 256, 120, 120])
        x = self.up3(x, x2)         # torch.Size([10, 128, 240, 240])
        x = self.up4(x, x1)         # torch.Size([10, 64, 480, 480])
        x = self.out_conv(x)        # torch.Size([10, 1, 480, 480])

        return x


# 计算 UNet 的网络参数个数
model = UNet(in_channels=1,num_classes=1)
print("Total number of paramerters in networks is {}  ".format(sum(x.numel() for x in model.parameters())))

到了这里,关于UNet - unet网络的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习分割任务——Unet++分割网络代码详细解读(文末附带作者所用code)

    ​ 分成语义分割和实例分割 语义分割:语义分割就是把每个像素都打上标签(这个像素点是人,树,背景等)(语义分割只区分类别,不区分类别中具体单位)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 实例分割:实例分割不光要区别类别,还

    2024年02月04日
    浏览(47)
  • 深度学习:使用UNet做图像语义分割,训练自己制作的数据集并推理测试(详细图文教程)

    语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支。与分类任务不同,语义分割需要判断图像每个像素点的类别,进行精确分割。语义分割目前在自动驾驶、自动抠图、医疗影像等领域有着比较广泛的应用。我总结了使用UNet网络做图像语义分割的方法,教程很详

    2024年01月18日
    浏览(50)
  • 图像分割UNet (1) : 网络结构讲解

    UNet 论文:Convolutional Networks for Biomedical Image Segmentation 这篇论文主要是针对生物医学影像这个领域提出的,所以一提到UNet一般都会联想到医学影像。 UNet它是一个encoder - decoder的结构,那么encoder对应就是这个u型网络左边这半部分,也就是我们特征提取及下采样这部分。decode

    2024年02月07日
    浏览(75)
  • 提升图像分割精度:学习UNet++算法

    由于工作需要对 UNet++ 算法进行调参,对规则做较大的修改,初次涉及,有误的地方,请各位大佬指教哈。 1.1 什么是 UNet++ 算法 UNet++ 算法是基于 UNet 算法的改进版本,旨在提高图像分割的性能和效果。它由 Zhou et al. 在论文 “ UNet++: A Nested U-Net Architecture for Medical Image Segment

    2024年02月03日
    浏览(45)
  • 计算机视觉智能中医(三):基于Unet模型的舌头舌体图片分割

    返回至系列文章导航博客 完整项目下载:下载链接 【闲鱼】https://m.tb.cn/h.52C8psW?tk=fMpwdwfqjz3 CZ3457 「我在闲鱼发布了【舌象数据集,详情见csdn!http://t.csdn.cn】」 点击链接直接打开 舌体分割是舌诊检测的基础,唯有做到准确分割舌体才能保证后续训练以及预测的准确性。此部

    2024年02月11日
    浏览(42)
  • 《图像分割Unet网络分析及其Pytorch版本代码实现》

      最近两个月在做学习图像分割方面的学习,踩了无数的坑,也学到了很多的东西,想了想还是趁着国庆节有时间来做个总结,以后有这方面需要可以来看看。   神经网络被大规模的应用到计算机视觉中的分类任务中,说到神经网络的分类任务这里不得不提到CNN(卷积神经网

    2024年02月05日
    浏览(45)
  • 论文阅读—2023.7.13:遥感图像语义分割空间全局上下文信息网络(主要为unet网络以及改unet)附加个人理解与代码解析

    前期看的文章大部分都是深度学习原理含量多一点,一直在纠结怎么改模型,论文看的很吃力,看一篇忘一篇,总感觉摸不到方向。想到自己是遥感专业,所以还是回归遥感影像去谈深度学习,回归问题,再想着用什么方法解决问题。 1、易丢失空间信息 在 Decoder 阶段输出多

    2024年02月16日
    浏览(46)
  • Python Unet ++ :医学图像分割,医学细胞分割,Unet医学图像处理,语义分割

    一,语义分割:分割领域前几年的发展 图像分割是机器视觉任务的一个重要基础任务,在图像分析、自动驾驶、视频监控等方面都有很重要的作用。图像分割可以被看成一个分类任务,需要给每个像素进行分类,所以就比图像分类任务更加复杂。此处主要介绍 Deep Learning-ba

    2024年02月16日
    浏览(66)
  • 基于计算机视觉,深度学习、机器学习,OpenCV,图像分割,目标检测卷积神经网络计算机毕业设计选题题目大全选题指导

    随着深度学习、机器学习和神经网络技术的快速发展,计算机视觉领域的应用变得越来越广泛和有趣。本毕业设计旨在探索这一领域的前沿技术,将深度学习模型、神经网络架构、OpenCV图像处理工具,以及卷积神经网络(CNN)的强大能力结合起来,以解决实际图像处理问题。

    2024年02月08日
    浏览(81)
  • UNet-肝脏肿瘤图像语义分割

    目录 一. 语义分割 二. 数据集 三. 数据增强 图像数据处理步骤 CT图像增强方法 :windowing方法 直方图均衡化 获取掩膜图像深度 在肿瘤CT图中提取肿瘤 保存肿瘤数据  四. 数据加载 数据批处理 ​编辑​编辑 数据集加载   五. UNet神经网络模型搭建          单张图片预测图

    2024年02月04日
    浏览(87)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包