机器学习 | 卷积神经网络-Toy模板网

这篇具有很好参考价值的文章主要介绍了机器学习 | 卷积神经网络。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

机器学习 | 卷积神经网络

实验目的

采用任意一种课程中介绍过的或者其它卷积神经网络模型（例如LeNet-5、AlexNet等）用于解决某种媒体类型的模式识别问题。

实验内容

卷积神经网络可以基于现有框架如TensorFlow、Pytorch或者Mindspore等构建，也可以自行设计实现。
数据集可以使用手写体数字图像标准数据集，也可以自行构建。预测问题可以包括分类或者回归等。实验工作还需要对激活函数的选择、dropout等技巧的使用做实验分析。必要时上网查找有关参考文献。
用不同数据量，不同超参数，比较实验效果，并给出截图和分析

实验环境

Windows11; Anaconda+python3.11; VS Code

实验过程、结果及分析（包括代码截图、运行结果截图及必要的理论支撑等）

4.1 算法理论支撑

4.1.1 卷积神经网络(CNN)的基本原理

机器学习 | 卷积神经网络,机器学习,机器学习,cnn,人工智能

卷积神经网络(Convolutional Neural Network，CNN)是一种深度学习模型，特别设计用于处理和分析具有网格结构的数据，如图像和视频。它能够自动学习图像中的特征并进行高效的图像分类、对象检测、图像生成和分割等任务，其模型结构主要包含以下部分：

卷积层: 卷积层负责从图像中提取特征，如边缘和纹理。它们通过应用过滤器来捕捉这些特征，逐渐形成更复杂的视觉模式。
池化层: 池化层在保留基本信息的同时减小了特征图的大小。最常见的方法是最大池化，它有助于缩小图像，同时保持关键特征并增强鲁棒性。
全连接层: 全连接层结合从前一层提取的特征进行分类和决策。他们将这些特征映射到不同的类别，识别图像中的内容。

4.1.2 AlexNet的基本结构

AlexNet网络结构相对简单，使用了8层卷积神经网络，前5层是卷积层，剩下的3层是全连接层，具体如下图2所示。

机器学习 | 卷积神经网络,机器学习,机器学习,cnn,人工智能

与原始的LeNet相比，AlexNet网络结构更深，同时还包括以下特点：

ReLU激活函数的引入：采用修正线性单元(ReLU)的深度卷积神经网络能够大幅提高训练速度，同时能够有效防止过拟合现象的出现。
层叠池化操作：AlexNet中池化层采用了层叠池化操作，即池化大小>步长，这种类卷积操作可以使相邻像素间产生信息交互和保留必要的联系。
Dropout操作：Dropout操作会将概率小于0.5的每个隐层神经元的输出设为0，即去掉一些神经节点，能够有效防止过拟合现象的出现。

4.2 实验设计

4.2.1 实验数据集及数据预处理

MNIST数据集(Mixed National Institute of Standards and Technology database)是美国国家标准与技术研究院收集整理的大型手写数字数据集，包含60,000个样本的训练集以及10,000个样本的测试集。其中包括0到9的数字。

机器学习 | 卷积神经网络,机器学习,机器学习,cnn,人工智能

在本实验中，使用torchvision自带的数据集加载MNIST和CIFAR-10数据集，并使用transforms.ToTensor方法加载为Tensor张量，最后通过DataLoader加载进GPU进行运算。

机器学习 | 卷积神经网络,机器学习,机器学习,cnn,人工智能

4.2.2 模型设计

在本次实验中，仿照AlexNet，实现了包含五个卷积层和三个全连接层构建一个深度卷积神经网络，网络的定义是重写nn.Module实现的，卷积层和全连接层之间将数据通过view拉平，同时可选择加入Dropout层防止数据过拟合。

Feature map数变化：1→32→64→128→256，卷积核kernel size均为3，同时在边缘填充单位长度的0，步幅均为1。

MaxPooling核大小为2×2，每次将特征图大小缩为原来的一半。

机器学习 | 卷积神经网络,机器学习,机器学习,cnn,人工智能

4.3 实验结果及分析

4.3.1 实验结果

在本次实验中，使用交叉熵损失函数和SGD优化器，激活函数采用ReLU，将模型输入通道根据数据集设为1 机器学习 | 卷积神经网络,机器学习,机器学习,cnn,人工智能，并设置训练超参数epoch为10，batch size为128，学习率learning rate为0.01。训练过程中损失函数loss的值和在测试集上的准确率变化如下图所示。