Convolutional Neural network(卷积神经网络)-Toy模板网

这篇具有很好参考价值的文章主要介绍了Convolutional Neural network(卷积神经网络)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Why CNN for Image？

The whole CNN structure

Convolution（卷积）

Max Pooling

Flatten

CNN in Keras

What does CNN learn？

what does filter do

what does neuron do

what about output

Deep Dream

Application

Playing Go

Speech

Text

Why CNN for Image？

当我们直接用一般的fully connected的feedforward network来做图像处理的时候，往往会需要太多的参数；用CNN来做，就可以简化neural network的架构，我们根据自己的知识和对图像处理的理解，一开始就把某些实际上用不到的参数给过滤掉。

对一个神经元来说，想要侦测有没有某一个pattern出现，它其实并不需要看整张image，只需要看这张image的一小部分，就可以决定这件事情了。

Convolutional Neural network(卷积神经网络)

相同的pattern在不同区域时，神经元就可以使用相同的参数来学习不同位置的pattern。

Convolutional Neural network(卷积神经网络)

我们可以对一张image做subsampling(二次抽样)，对图像辨识来说，是没有太大的影响的。

Convolutional Neural network(卷积神经网络)

The whole CNN structure

下图展示了CNN的整体流程。

Convolutional Neural network(卷积神经网络)

convolution主要做两件事，第一件事检测某个pattern不需要看整张image，然后第二件事是同一个pattern会出现在图片的不同区域。Max Pooling主要做缩放图片。

Convolution（卷积）

Property 1

每一个Filter都是通过Training data学出来的，而不是人为设计的。当它侦测的时候，并不会去看整张image，它只看一个3*3范围内的pixel，就可以判断某一个pattern有没有出现，这就考虑了property 1。

Convolutional Neural network(卷积神经网络)

Property 2

同一个pattern出现在image左上角的位置和左下角的位置，并不需要用到不同的filter，我们用filter1就可以侦测出来，这就考虑了property 2

Convolutional Neural network(卷积神经网络)

Feature Map(特征映射)

我们用不同的filter去做convolution得到的结果就叫Feature Map(特征映射)，有多少个filter，对应就有多少个映射后的image。

Convolutional Neural network(卷积神经网络)

Convolution V.s. Fully connected

每一个filter就相当于一个神经元。如下图，我们将36个特征值排成一列，而filter1就相当于是9个w。下图用不同的颜色代表不同的w，卷积的时候并没有将所有的特征值与filter做内积，这也减少了参数的使用。

Convolutional Neural network(卷积神经网络)

Max Pooling

现在，我们将每个feature map划分成四等分，取每一份里最大的。

Convolutional Neural network(卷积神经网络)

这时feature map变成了2x2的矩阵了，再次减少了特征。

Convolutional Neural network(卷积神经网络)

Flatten

Flatten就是，把左边的feature map拉直，然后把它丢进一个Fully connected Feedforward network。

Convolutional Neural network(卷积神经网络)

CNN in Keras

Convolutional Neural network(卷积神经网络)

What does CNN learn？

我们任取一个filter，我们用 Convolutional Neural network(卷积神经网络) 来表示该filter每一个参数的和，这个和表示该filter被激活(被训练)的程度。这时我们要找一个输入x，这个x可以让这个和最大，当这个和最大的时候，被激活的程度也就越大。这时，我们使用梯度上升的方法去寻找使最大的x*。