转置卷积的应用

这篇具有很好参考价值的文章主要介绍了转置卷积的应用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

矩阵转置

一、转置卷积的背景

二、转置卷积的应用

三、转置卷积的区别

卷积


矩阵转置

转置卷积的应用,2023 AI,计算机视觉,深度学习,人工智能

 文章来源地址https://www.toymoban.com/news/detail-673267.html

矩阵的转置在信息处理中起到了重要的作用。在计算机科学领域,矩阵常用于表示图像、音频和视频等多媒体数据。当我们需要对这些数据进行处理时,常常需要进行矩阵转置操作。例如,在图像处理中,我们往往需要将图像矩阵进行转置来实现旋转、镜像等效果。在音频处理中,矩阵转置可以用于音频信号的变换和滤波等操作。因此,矩阵的转置在信息处理中具有重要的现实意义
知阵的转置在数据分析中也非常常见。在统计学和机器学习领域,短阵常用于表示样本数据和特征向量。通过对短阵进行转置,我们可以改变数据的排列方式,使得不同的变量或属性可以更好地进行比较和分析。例如,在多元统计分析中,矩阵的转置可以用于求解特征值和特征向量,进而得到数据的主成分和相关性。此外,在数据挖掘和预测分析中,短阵的转置也可以用于特征选择和模型建立等关键步骤。因此,短阵的转置在数据分析中具有重要的现实意义。
矩阵的转置在计算机图形学中也有看广泛的应用。在三维图形的表示和变换中,短阵常用于描述物体的位置、旋转和缩放等变换。通过对矩阵进行转置,我们可以方便地实现不同坐标系之间的转换和变换。例如,在计算机动画中,矩阵的转置可以用于实现物体的运动和变形效果。

一、转置卷积的背景


        通常,对图像进行多次卷积运算后,特征图的尺寸会不断缩小。而对于某些特定任务 (如 图像分割 和 图像生成 等),需将图像恢复到原尺寸再操作。这个将图像由小分辨率映射到大分辨率的尺寸恢复操作,叫做 上采样 (Upsample):
        上采样方法有很多,最近邻插值、线性插值、双线性插值、双三次插值。然而,这些上采样方法都是基于人们的先验经验来设计的,在很多场景中效果并不理想 (如 规则固定、不可学习)。

二、转置卷积的应用


        曾经,转置卷积 又称 反卷积 (Deconvolution)。与传统的上采样方法相比,转置卷积的上采样方式 并非预设的插值方法,而是同标准卷积一样,具有可学习的参数,可通过网络学习来获取最优的上采样方式。

        转置卷积 在某些特定领域具有广泛应用,比如:  

在 DCGAN,生成器将随机值转变为一个全尺寸图片,此时需用到转置卷积。
在语义分割中,会在编码器中用卷积层提取特征,然后在解码器中恢复原先尺寸,从而对原图中的每个像素分类。该过程同样需用转置卷积。经典方法有 FCN 和 U-Net。
CNN 可视化:通过转置卷积将 CNN 的特征图还原到像素空间,以观察特定特征图对哪些模式的图像敏感。

三、转置卷积的区别


        标准卷积的运算操作 其实是对卷积核中的元素 与输入矩阵上对应位置的元素 进行逐像素的乘积并求和。然后,卷积核在输入矩阵上以步长为单位进行滑动,直到遍历完输入矩阵的所有位置。 

        假设,输入是一个 4×4 矩阵,使用 3×3 的标准卷积进行计算,同时令 padding=0,stride=1。最终输出结果应是一个 2×2 矩阵,如图 2 所示:转置卷积的应用,2023 AI,计算机视觉,深度学习,人工智能


        在上例中,输入矩阵右上角 3×3 范围的值 (黄色 2 3 4) 会影响 输出矩阵右上角的值 (黄色 27),这其实也对应了标准卷积中感受野的概念。所以,可以说 3×3 标准卷积核 建立了 输入矩阵中 9 个值 到 输出矩阵中 1 个值 的映射关系。    

        综上所述,我们也就可以认为标准卷积操作实际上就是建立了一个 多对一的映射关系。    

        对转置卷积而言,我们实际上是想建立一个逆向操作,即 一对多的映射关系。对于上例,我们想要建立的其实是输出矩阵中的 1 个值与输入矩阵中的 9 个值的关系,如图 3 所示:

转置卷积的应用,2023 AI,计算机视觉,深度学习,人工智能


         当然,从信息论的角度上看,常规卷积操作是不可逆的,所以转置卷积并不是通过输出矩阵和卷积核计算原始输入矩阵,而是计算得到保持了相对位置关系的矩阵。

 

转置卷积的应用,2023 AI,计算机视觉,深度学习,人工智能

六、小结 
        注意:矩阵中的实际权值不一定来自原始卷积矩阵。重要的是权重的排布是由卷积矩阵的转置得来的。转置卷积运算与普通卷积形成相同的连通性,但方向是反向的

        我们可以用转置卷积来上采样,而 转置卷积的权值是可学习的,所以无需一个预定义的插值方法。

        尽管它被称为转置卷积,但这并不意味着我们取某个已有的卷积矩阵并使用转置后的版本。重点是,与标准卷积矩阵 (一对多关联而不是多对一关联) 相比,输入和输出之间的关联是以反向的方式处理的

        因此,转置卷积不是卷积,但可以用卷积来模拟转置卷积。通过在输入矩阵的值间插入零值 (以及周围填零) 上采样输入矩阵,然后进行常规卷积 就会产生 与转置卷积相同的效果。你可能会发现一些文章用这种方式解释了转置卷积。但是,由于需要在常规卷积前对输入进行上采样,所以效率较低。 

        注意:转置卷积会导致生成图像中出现 网格/棋盘效应 (checkerboard artifacts),因此后续也存在许多针对该问题的改进工作。

卷积

对于一个输入  的图像,不考虑通道的维度,卷积核的大小为 ,步长为 1,填充为 0。

转置卷积的应用,2023 AI,计算机视觉,深度学习,人工智能

转置卷积的应用,2023 AI,计算机视觉,深度学习,人工智能

转置卷积的应用,2023 AI,计算机视觉,深度学习,人工智能 

 

到了这里,关于转置卷积的应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 计算机视觉的应用12-卷积神经网络中图像特征提取的可视化研究,让大家理解特征提取的全过程

    大家好,我是微学AI,今天给大家介绍一下计算机视觉的应用12-卷积神经网络中图像特征提取的可视化研究,让大家理解特征提取的全过程。 要理解卷积神经网络中图像特征提取的全过程,我们可以将其比喻为人脑对视觉信息的处理过程。就像我们看到一个物体时,大脑会通

    2024年02月10日
    浏览(46)
  • 【AI视野·今日CV 计算机视觉论文速览 第262期】Fri, 6 Oct 2023

    AI视野 ·今日CS.CV 计算机视觉论文速览 Fri, 6 Oct 2023 Totally 73 papers 👉 上期速览 ✈更多精彩请移步主页 Improved Baselines with Visual Instruction Tuning Authors Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee 大型多模态模型 LMM 最近在视觉指令调整方面取得了令人鼓舞的进展。在这篇文章中,我们展

    2024年02月07日
    浏览(47)
  • 【AI视野·今日CV 计算机视觉论文速览 第271期】Thu, 19 Oct 2023

    AI视野 ·今日CS.CV 计算机视觉论文速览 Thu, 19 Oct 2023 Totally 63 papers 👉 上期速览 ✈更多精彩请移步主页 Learning from Rich Semantics and Coarse Locations for Long-tailed Object Detection Authors Lingchen Meng, Xiyang Dai, Jianwei Yang, Dongdong Chen, Yinpeng Chen, Mengchen Liu, Yi Ling Chen, Zuxuan Wu, Lu Yuan, Yu Gang Jiang 长尾

    2024年02月08日
    浏览(43)
  • 【AI视野·今日CV 计算机视觉论文速览 第258期】Mon, 2 Oct 2023

    AI视野 ·今日CS.CV 计算机视觉论文速览 Mon, 2 Oct 2023 (showing first 100 of 112 entries) Totally 100 papers 👉 上期速览 ✈更多精彩请移步主页 Interesting: 📚 *****The Dawn of LMMs, GPT4-V视觉大语言模型综述。(from Microsoft Corporation) 📚 生物外科组织数据集, Surgical Tattoos in Infrared (from ) website:htt

    2024年02月06日
    浏览(77)
  • 计算机视觉-卷积神经网络

    目录 计算机视觉的发展历程 卷积神经网络 卷积(Convolution) 卷积计算 感受野(Receptive Field) 步幅(stride) 感受野(Receptive Field) 多输入通道、多输出通道和批量操作 卷积算子应用举例 计算机视觉作为一门让机器学会如何去“看”的学科,具体的说,就是让机器去识别摄

    2024年02月10日
    浏览(46)
  • 计算机视觉:卷积步长(Stride)

    我们前面学习了卷积操作,也学习了填充,本节课程我们学习卷积步长,之前我们使用卷积核进行卷积操作都是在图像的左上角开始,从左到右、从上到下每次移动一步,其实移动多少步是可以变化的,这个移动步数称为步长。 卷积操作中的步长(Stride)是指卷积核在图像上

    2024年02月11日
    浏览(39)
  • 【EI/SCOPUS检索】第三届计算机视觉、应用与算法国际学术会议(CVAA 2023)

    第三届计算机视觉、应用与算法国际学术会议(CVAA 2023) The 3rd International Conference on Computer Vision, Application and Algorithm   2023年第三届计算机视觉、应用与算法国际学术会议(CVAA 2023) 主要围绕计算机视觉、计算机应用、计算机算法等研究领域展开讨论。会议旨在为从事相关科

    2024年02月13日
    浏览(45)
  • 计算机视觉 - 理论 - 从卷积到识别

    Vue框架: 从项目学Vue OJ算法系列: 神机百炼 - 算法详解 Linux操作系统: 风后奇门 - linux C++11: 通天箓 - C++11 Python常用模块: 通天箓 - python 计算机视觉系列博客分两条主线:算法理论 + opencv实操 理论来源于[计算机视觉(本科) 北京邮电大学 鲁鹏 清晰完整合集](https://www.

    2024年02月11日
    浏览(50)
  • 7.卷积神经网络与计算机视觉

    计算机视觉是一门研究如何使计算机识别图片的学科,也是深度学习的主要应用领域之一。 在众多深度模型中,卷积神经网络“独领风骚”,已经被称为计算机视觉的主要研究根据之一。 卷积神经网络最初由 Yann LeCun(杨立昆)等人在1989年提出,是最初取得成功的深度神经

    2024年04月10日
    浏览(79)
  • 计算机视觉:深层卷积神经网络的构建

    上一节课程中我们学习了单卷积层的前向传播,本次课程我们构建一个具有三个卷积层的卷积神经网络,然后从输入(39*39*3)开始进行三次卷积操作,我们来看一下每次卷积的输入和输出维度的变化。 第一层使用3*3*3的过滤器来提取特征,那么f[1]=3,然后步长s[1]=1,填充p[1]

    2024年02月10日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包