7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型

这篇具有很好参考价值的文章主要介绍了7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一.前提知识

多层感知机:由一个输入层,一个或多个隐藏层和一个输出层组成。(至少有一个隐藏层,即至少3层)

全连接层:是MLP的一种特殊情况,每个节点都与前一层的所有节点连接,全连接层可以解决线性可分问题,无法学习到非线性特征。(只有输入和输出层)

二.NiN模型特点

NiN与过去模型的区别:AlexNet和VGG对LeNet的改进在于如何扩大加深这两个模块。他们都使用了全连接层,使用全连接层就可能完全放弃表征的空间结构。
NiN放弃了使用全连接层,而是使用两个1x1卷积层(将空间维度中的每个像素视为单个样本,将通道维度视为不同特征。),相当于在每个像素的通道上分别使用多层感知机

优点:NiN去除了全连接层,可以减少过拟合,同时显著减少NiN的参数数量

三.模型架构

7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型,动手学深度学习(计算机视觉篇),深度学习,计算机视觉,人工智能

四.代码

import torch
from torch import nn
from d2l import torch as d2l
import time
def nin_block(in_channels,out_channels,kernel_size,strides,padding):
    return nn.Sequential(
        # 卷积层
        nn.Conv2d(in_channels,out_channels,kernel_size,strides,padding),
        nn.ReLU(),
        # 两个带有ReLU激活函数的 1x1卷积层
        nn.Conv2d(out_channels,out_channels,kernel_size=1),nn.ReLU(),
        nn.Conv2d(out_channels,out_channels,kernel_size=1),nn.ReLU()
    )
net = nn.Sequential(
    nin_block(1,96,kernel_size=11,strides=4,padding=0),
    nn.MaxPool2d(3,stride=2),
    nin_block(96,256,kernel_size=5,strides=1,padding=2),
    nn.MaxPool2d(3,stride=2),
    nin_block(256,384,kernel_size=3,strides=1,padding=1),
    nn.MaxPool2d(3,stride=2),
    nn.Dropout(0.5),
    # 标签类别是10
    nin_block(384,10,kernel_size=3,strides=1,padding=1),
    # 二维自适应平均池化,不用指定池化窗口大小
    nn.AdaptiveAvgPool2d((1,1)),
    # 将(样本,通道,w,h) = (批量,10,1,1),四维的输出转成2维的输出,其形状为(批量大小,10)
    nn.Flatten()
)
X = torch.rand(size=(1,1,224,224))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)
Sequential output shape:	 torch.Size([1, 96, 54, 54])
MaxPool2d output shape:	 torch.Size([1, 96, 26, 26])
Sequential output shape:	 torch.Size([1, 256, 26, 26])
MaxPool2d output shape:	 torch.Size([1, 256, 12, 12])
Sequential output shape:	 torch.Size([1, 384, 12, 12])
MaxPool2d output shape:	 torch.Size([1, 384, 5, 5])
Dropout output shape:	 torch.Size([1, 384, 5, 5])
Sequential output shape:	 torch.Size([1, 10, 5, 5])
AdaptiveAvgPool2d output shape:	 torch.Size([1, 10, 1, 1])
Flatten output shape:	 torch.Size([1, 10])

六.不同参数训练结果

学习率是0.1的情况

# 训练模型
lr,num_epochs,batch_size = 0.1,10,128
train_iter,test_iter = d2l.load_data_fashion_mnist(batch_size,resize=224)
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())

7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型,动手学深度学习(计算机视觉篇),深度学习,计算机视觉,人工智能

学习率是0.05的情况(提升了6个点)

'''开始计时'''
start_time = time.time()
# 训练模型
lr,num_epochs,batch_size = 0.05,10,128
train_iter,test_iter = d2l.load_data_fashion_mnist(batch_size,resize=224)
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())
'''计时结束'''
end_time = time.time()
run_time = end_time - start_time
# 将输出的秒数保留两位小数
print(f'{round(run_time,2)}s')

7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型,动手学深度学习(计算机视觉篇),深度学习,计算机视觉,人工智能

学习率为0.01,批次等于30的情况(反而下降了)

7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型,动手学深度学习(计算机视觉篇),深度学习,计算机视觉,人工智能

思考

为什么NiN块中有两个1x1卷积层?

从NiN替换掉全连接层,使用多层感知机角度来说:
因为1个1x1卷基层相当于全连接层,两个1x1卷积层使输入和输出层中间有了隐藏层,才相当于多层感知机。文章来源地址https://www.toymoban.com/news/detail-646403.html

到了这里,关于7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • CentOS-7.3编译VTK-5.8.0,报错:ERROR:‘S_IFLINK‘未声明(首次在此函数中使用)

    ERROR:\\\'S_IFLINK\\\'未声明(首次在此函数中使用) Building C object Utilities/vtkhdf5/src/CMakeFiles/vtkhdf5.dir/H5F.c.o /build/src/VTK/Utilities/vtkhdf5/src/H5F.c: In function \\\'H5F_build_actual_name\\\': /build/src/VTK/Utilities/vtkhdf5/src/H5F.c:2224:12: error: \\\'S_IFLNK\\\' undeclared (first use in this function) 百度搜索了一番,按照“ubunt

    2024年02月02日
    浏览(36)
  • 深度学习实战(11):使用多层感知器分类器对手写数字进行分类

    1.1 什么是多层感知器(MLP)? MLP 是一种监督机器学习 (ML) 算法,属于前馈人工神经网络 [1] 类。该算法本质上是在数据上进行训练以学习函数。给定一组特征和一个目标变量(例如标签),它会学习一个用于分类或回归的非线性函数。在本文中,我们将只关注分类案例。

    2024年02月03日
    浏览(52)
  • 1x1 卷积:解释器

            在这篇博客中,我们将尝试深入探讨 1x1 卷积操作的概念,该概念出现在 Lin等人 (2013) 的论文“网络中的网络”和 Szegedy 等人 (2014) 的论文“Go Deep with Convolutions” 中,该论文提出了 GoogLeNet 架构。 来源:链接         深度卷积网络(如VGG,AlexNet)的缺点

    2024年02月12日
    浏览(58)
  • 十 动手学深度学习v2 ——卷积神经网络之NiN + GoogLeNet

    NiN块使用卷积层加两个1x1卷积层 后者对每个像素增加了非线性性 NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层 不容易过拟合,更少的参数个数 Inception块由四条并行路径组成。 前三条路径使用窗口大小为1x1、3x3和5x5的卷积层,从不同空间大小中提取信息。 中间的两条

    2024年02月09日
    浏览(64)
  • 多层感知机

    2024年02月11日
    浏览(40)
  • 多层感知机实战

    我们将继续使用Fashion-MNIST图像分类数据集 Fashion-MNIST中的每个图像由 28×28=784个灰度像素值组成。 所有图像共分为10个类别。 忽略像素之间的空间结构, 我们可以将每个图像视为具有784个输入特征 和10个类的简单分类数据集。 实现一个具有单隐藏层的多层感知机, 它包含

    2024年01月25日
    浏览(40)
  • 多层感知机(MLP)

    多层感知器(MLP,Multilayer Perceptron)是一种前馈人工神经网络模型,其将输入的多个数据集映射到单一的输出的数据集上。 它最主要的特点是有多个神经元层 ,因此也叫深度神经网络(DNN: Deep Neural Networks)。 感知机是单个神经元模型,是较大神经网络的前身。神经网络的强大

    2024年02月17日
    浏览(40)
  • 《动手学深度学习》——多层感知机

    参考资料: 《动手学深度学习》 隐藏层 + 激活函数能够模拟任何连续函数。 4.1.2.1 ReLu函数 ReLU ⁡ ( x ) = max ⁡ ( x , 0 ) operatorname{ReLU}(x) = max(x, 0) ReLU ( x ) = max ( x , 0 ) 当输入为负时,ReLU 的导数为 0 ;当输出为负时,ReLU 的导数为 1 。 ReLU的优势在于它的求导非常简单,要么让

    2024年02月12日
    浏览(55)
  • 多层感知机与DNN算法

    当隐藏层大于1时,神经网络具有更强大的学习能力,即多层感知机和DNN算法 神经网络 神经网络由输入层,隐藏层和输出层组成。如果隐藏层只有一层,就是最简单的单层神经网络。而如果隐藏层具有多层,则被称为多层感知机,深度学习就是多层感知机的一种。 深度神经网

    2024年04月12日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包