[全连接神经网络]Transformer代餐，用MLP构建图像处理网络

9月前作者：ViperL1 分类：Toy博客阅读(43) 违法举报

这篇具有很好参考价值的文章主要介绍了[全连接神经网络]Transformer代餐，用MLP构建图像处理网络。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、MLP-Mixer

使用纯MLP处理图像信息，其原理类似vit，将图片进行分块(patch)后展平(fallten)，然后输入到MLP中。理论上MLP等价于1x1卷积，但实际上1x1卷积仅能结合通道信息而不能结合空间信息。根据结合的信息不同分为channel-mixing MLPs和token-mixing MLPs。

总体结构如下图，基本上可以视为以mlp实现的vit。

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

二、RepMLP

传统卷积仅能处理局部领域信息，不具备捕获长程依赖的能力，其特性被称为归纳偏置(inductive bias)或局部先验性质(local prior)。而Transformer虽然可以使用自注意力捕获长程依赖，却无法有效获取局部先验信息。全连接(FC)结构与Transformer类似，可以捕获长程依赖(每个输入和输出都有连接)但是缺乏局部先验性质。而RepVGG则是通过将MLP和CNN的优点结合在一起实现高质量的特征提取。其核心是结构重参数技术(structural reparameterization technique)。

训练时的RepMLP与预测时截然不同。训练时，每一层都会添加平行的卷积+BN分支，而预测时会将卷积分支等效为MLP分支。

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

训练阶段由三部分组成：Global Perceptron、Partition Perceptron、Local Perceptron。其中Global Perceptron相当于vit中的patch-embed，通过将特征图分成7x7的小块来节省运算开销。但是这种切割会让每个patch失去位置信息，所以使用两个FC为patch添加位置信息；其操作如下：①使用avgpool将每个分区池化得到一个像素；②送入带一个BN的两层MLP中；将结果reshape后与原特征图相加，流程如下：

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

Partition Perceptron层包含FC和BN，由Global Perceptron切割后的特征图还会经过一组1x1的组卷积进一步降低参数量，然后由FC3进行处理后最终得到输出特征图。

Local Perceptron类似一个ASPP空洞卷积组，可以丰富特征图的空间信息，得到的结果与Partition Perceptron的特征图相加即可得到完整的输出。其结构如下：

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

三、ResMLP

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

ResMLP仅使用Linear Layers和GELU，不适用任何正则化层(Batch Norm)和自注意力(self-attention)。每个Block由sublayer+feedforward sublayer组成。

Sublayer由线性层和残差链接组成，即上图左边的部分；而feedforward sublayer则是上图右边的部分，由两个线性层和残差链接组成，中间使用GELU作为激活。其可以描述为下面公式：

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

其中sublayer中包含两次转置操作，其原因是要将channel维度换道最后一维以进行融合，融合过后再换回来。

ResMLP Block分为两种形式（一种全尺寸和一种轻量化结构），结构如图，全尺寸ResMLP效果略好于ResNet，轻量化Block效果持平ResNet。

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

四、gMLP

gMLP的g代表gating(闸门)，论文提出在视觉领域自注意力机制并不是那么重要，gMLP的性能可以与基于Transformer的DeiT模型相当。gMLP的Block结构如下图所示：

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

gMLP为同向网络(具有相同结构)，就其模块结构而言，Channel Projection可以获取通道信息，Spatial Gating Unit可以获取空间信息。

五、CycleMLP

CycleMLP的特点是构建基于密集预测的MLP架构。传统的诸如MLP-Mixer,ResMLP,gMLP存在一些问题：①均为同向性网络，不会产生金字塔结构，也不会产生多尺度特征图；②spatial FC的计算复杂度与尺寸呈平方关系，难以训练高分图。

[全连接神经网络]Transformer代餐，用MLP构建图像处理网络,神经网络,学习笔记,神经网络,transformer,人工智能

如上图所示，Cycle FC层类似于Spatial FC，且棋遵循金字塔结构（即随着层数的加深，特征分辨率逐渐减少，也就是token不断减少）文章来源地址https://www.toymoban.com/news/detail-810763.html

到了这里，关于[全连接神经网络]Transformer代餐，用MLP构建图像处理网络的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

什么是全连接神经网络？

解释全连接神经网络之前我们首先需要了解什么是神经网络？人工神经网络（Artificial Neural Network, ANN）简称神经网络，可以对一组输入信号和一组输出信号之间的关系进行模拟，是机器学习和认知科学领域中一种模仿生物神经网络的结构和功能的数学模型。用于对函数进

2024年02月10日
浏览(39)
DNN（全连接神经网络）

DNN网络一般分为三层 1.输入层 2.隐藏层 3.输出层简单网络如下：从第二层开始，每一个神经元都会获得它上一层所有神经元的结果。即每一个 y = wx + b的值。具体分析如下：如此下去就会非常可能出现了一个问题------就是越靠后的神经元获得的y值会非常大，试想一下，如果

2023年04月12日
浏览(36)
【卷积神经网络】卷积，池化，全连接

随着计算机硬件的升级与性能的提高，运算量已不再是阻碍深度学习发展的难题。卷积神经网络（Convolution Neural Network，CNN）是深度学习中一项代表性的工作，CNN 是受人脑对图像的理解过程启发而提出的模型，其雏形是 1998 年 LeCun 提出的 LeNet-5 模型。如今，卷积神经网络已被

2024年02月12日
浏览(37)
全连接神经网络：分类与回归示例

创建测试数据定义数据集（torch.utils.data.Dataset）定义数据集一般是创建一个class继承torch.utils.data.Dataset，在这个class里面要定义三个函数，分别是init、len、getitem。init一般用于数据集的初始化，预处理等操作；len函数要输出这个数据集有多少条数据，按理来说我们这个测试数

2024年02月16日
浏览(49)
神经网络--从0开始搭建全连接网络和CNN网络

前言： Hello大家好，我是Dream。今天来学习一下如何从0开始搭建全连接网络和CNN网络，并通过实验简单对比一下两种神经网络的不同之处，本文目录较长，可以根据需要自动选取要看的内容~ 说明：在此试验下，我们使用的是使用tf2.x版本，在jupyter环境下完成在本文中，我们

2024年02月19日
浏览(37)
【人工智能】深度神经网络、卷积神经网络（CNN）、多卷积核、全连接、池化

Pre-trainin

2024年02月16日
浏览(47)
【人工智能】— 深度神经网络、卷积神经网络（CNN）、多卷积核、全连接、池化

Pre-training + Fine-tuning Pre-training(预训练) : 监督逐层训练是多隐层网络训练的有效手段, 每次训练一层隐层结点, 训练时将上一层隐层结点的输出作为输入, 而本层隐结点的输出作为下一层隐结点的输入, 这称为”预训练”. Fine-tuning(微调) : 在预训练全部完成后, 再对整个网络进行

2024年02月10日
浏览(44)
神经网络ANN(MLP),CNN以及RNN区别和应用

1. Artificial Neural Network(ANN) 又称为Multilayer Perception Model(MLP) 2. CNN AAA 3. RNN 22 先占坑，后期再整理 References [1] CNN vs.RNN vs.ANN——浅析深度学习中的三种神经网络 - 知乎 [2] https://www.youtube.com/watch?v=u7obuspdQu4 [3] 深度学习——CNN与ANN的区别_51CTO博客_cnn ann

2024年02月13日
浏览(31)
【优化算法】使用遗传算法优化MLP神经网络参数（TensorFlow2）

使用启发式优化算法遗传算法对多层感知机中中间层神经个数进行优化，以提高模型的准确率。待优化的模型：基于TensorFlow2实现的Mnist手写数字识别多层感知机MLP 设置随机树种子，避免相同结构的神经网络其结果不同的影响。准确率为96.7% 使用scikit-opt提供的遗传算法库

2023年04月13日
浏览(52)
【深度学习_TensorFlow】感知机、全连接层、神经网络

感知机、全连接层、神经网络是什么意思？感知机：是最简单的神经网络结构，可以对线性可分的数据进行分类。全连接层：是神经网络中的一种层结构，每个神经元与上一层的所有神经元相连接,实现全连接。神经网络：是由大量神经元组成的网络结构，通过层与层之间

2024年02月14日
浏览(38)