人工智能卷积神经网络，CNN，梯度下降-Toy模板网

这篇具有很好参考价值的文章主要介绍了人工智能卷积神经网络，CNN，梯度下降。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

卷积神经网络

CNN，是针对图像领域提出的神经网络。

猫的视觉系统实验

得出的结论：

神经元存在局部感受区域，也称感受野
细胞对角度有选择性
如细胞对垂直光条响应最强
细胞对运动方向有选择性

对CNN的启发

1.视觉系统是分层，分级处理的。从低到高堆叠使用卷积和池化。
2.神经系统是存在局部感受区域的。

第一个神经网络

第一个卷积神经网络雏形 — 新认知机

1980年，日本使用c和s两个细胞堆叠使用，相当于卷积和池化。

缺点：没有反向传播更新权值。

第一个大型商用卷积神经网络 — Lenet-5

1989年美国，用于手写邮政编码识别。

缺点：没有大规模数据和高性能计算。

第一个技惊四座的卷积神经网络 – AlexNet

2012年，图像领域霸主。

成功秘诀：
GPU

卷积层

图像识别特点

1.特征具有局部性：如老虎”王“字
卷积核每次只链接K*K尺寸，相当于卷积核尺寸大小

2.特征可能出现在任意位置

3.调整了图片的尺寸，但是图像识别目标不会受到影响。

卷积核：

具可学习参数的算子，用于对输入图像进行特征提取，输出通常称为特征图。
理解：

可学习参数的算子：是指卷积核的权重，是在反向传播过程中优化学习的，能够逐渐更好的提取图像特征。
输出为特征图：卷积操作的结果是特征图，是通过在输入图像上面滑动卷积核得到的。

2012年，AlexNet第一个卷积核呈现边缘，频率和色彩的特征。

填充

在输入图像周围天空额外的行或者列

作用：
使得卷积后的图像尺寸不变，弥补特征图像提取后边界信息的丢失。

步幅

卷积核滑动的行数和列数，控制输出特征图大小，会被缩小1/s倍。

输出图像尺寸计算

多通道卷积

多通道卷积:RGB图像是3hw的三维的数据，第一个维度3表示通道数channel，一个卷积核是3-D张量，第一个维与输入通道有关。
解释：3是通道数，h是高度，w为宽度。
多通道卷积考虑了每个通道的信息。
一个卷积核是3-D张量：指的是每个卷积核都包括通道数，高度和宽度的信息。

池化层

池化层的解释

1.池化层也是一个特征图，如下所示：人工智能卷积神经网络，CNN，梯度下降,人工智能,cnn,神经网络

池化层一个像素就代表了前团一片区域的像素值。
通过这种方式降低了图像分辨率。
2.那前面的一个像素就代表了前团一片区域的像素值怎么实现呢？

取最大值，如上图左边所示
取最小值，如上图右边所示
3.输出图像的尺寸大小计算方式与卷积核计算方式相同。
注意：池化层没有学习参数。

池化的作用

1.缓解卷积层对位置的过度敏感。
2.减少冗余。
3.降低图像分辨率，从而减少参数量。

CNN

卷积计算

卷积其实是将卷积核反转180°之后的互相关操作，互相关就是最开始的点乘。
人工智能卷积神经网络，CNN，梯度下降,人工智能,cnn,神经网络

相乘后相加的到最后输出图像，取正方体的时候依次平移。
平移的距离是步长。

CNN的超参数和参数

人工智能卷积神经网络，CNN，梯度下降,人工智能,cnn,神经网络

CNN的代价函数

代价函数是指：单个或者整体训练样本与真实值之间的偏差。

交叉熵

交叉熵是一种代价函数，通常越小代表模型预测和实际情况越一致。

CNN反向传播-卷积层

反向传播中的filter（过滤器）旋转与卷积

最简单情况：
步长为一，通道为一，过滤器为一。

情况2：
步长为一，通道为D，过滤器为一。

当输入的通道为D，则过滤器的通道也为D。

情况3：
步长为一，通道为一，过滤器为N。
过滤器的数量为N，则输出层的通道也为N。

情况4：
步长为一，通道为D，过滤器为N。

卷积层权重更新
卷积层权值共享。

polling层（采样层）权重更新
无论是max polling 还是mean polling 都没有需要学习的参数。
polling层需要做的仅仅是将误差传递给上一层，没有梯度的计算。
1.对于最大采样（max polling），它的误差会原封不动的给上一层最大值对应的神经元，而其他神经元误差都是0.
2.对于mean polling（平均采样），它的误差会平均分给上一层对应区块的所有神经元。