DNN（全连接神经网络）-Toy模板网

这篇具有很好参考价值的文章主要介绍了DNN（全连接神经网络）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一.

DNN网络一般分为三层

1.输入层

2.隐藏层

3.输出层

简单网络如下：

DNN（全连接神经网络）

二.前向传播

从第二层开始，每一个神经元都会获得它上一层所有神经元的结果。即每一个 y = wx + b的值。

具体分析如下：

DNN（全连接神经网络）

如此下去就会非常可能出现了一个问题------就是越靠后的神经元获得的y值会非常大，试想一下，如果这个数远远大于它前面神经元的值，前面神经元对整个网络的表达就显得毫无意义。所以我们在每创建一层网络时就要多“y”进行一次约束。

我们有很多选择，但最好的方法就是运用Sigmoid函数。它可以将每层网络中的神经元全部控制在0-1之间。

DNN（全连接神经网络）

我们到最后输出层每个神经元就可以获得一个y值。

利用tensorflow所构建网络的代码如下：

model = Sequential([
    layers.Dense(256, activation=tf.nn.sigmoid),
    layers.Dense(128, activation=tf.nn.sigmoid),
    layers.Dense(64, activation=tf.nn.sigmoid),
    layers.Dense(32, activation=tf.nn.sigmoid),
    layers.Dense(10)
])

三.反向传播（数据一层层传播来，我们就一层层给它们每个反馈）

写到这里，我觉的我们可以先返回到我们出发点，我们为什么想要搭建一个网络，我相信大部分人的出发点就是想要网络对未知物体进行预测。反向传播所做的就是让每一个神经元都拥有一个w,h值。这样我们在传进一个新的数据时，我们可以将他准确的预测。
Here we go!!!!!

训练的目的是希望神经网络的输出和真实数据的输出＂一样＂，但是在＂一样＂之前，模型输出和真实数据都是存在一定的差异，我们把这个＂差异＂作这样的一个参数ee代表误差的意思，那么模型输出加上误差之后就等于真实标签了，作：y=wx+b+e。我们把每次的失误都加起来。为了防止e值的正负抵消。我们取其平方值。这样我们就可以获得一个损失函数。如下：

DNN（全连接神经网络）

我们将损失函数（Loss）展开：

DNN（全连接神经网络）

根据展开式作图：

DNN（全连接神经网络）

损失值顾名思义，它就是误差，我们肯定希望它越小越好，所以我们接下来想做的就是取得的新w值与b值使随时函数取得的值越小越好。专家们名其曰：梯度下降。

数学公式如下：

DNN（全连接神经网络）

我们可以利用此公式延申到我们计算w,b上

写出总式子： DNN（全连接神经网络）

带入loss函数： DNN（全连接神经网络）

利用复合函数：

DNN（全连接神经网络）

最终可以获得：

DNN（全连接神经网络）

这样我们就可以获得一个线性关系：

DNN（全连接神经网络）

利用这种链式传播，我们就可以更新我们的每个神经元。

利用tensorFlow所实现的反向传播如下：

 logits = model(x)
                y_onehot = tf.one_hot(y, depth=10)
                # 两种计算误差函数的方法
                loss = tf.reduce_mean(tf.losses.MSE(y_onehot, logits))
                loss2 = tf.losses.categorical_crossentropy(y_onehot, logits, from_logits=True)
                loss2 = tf.reduce_mean(loss2)
                loss_meter.update_state(loss)

            # 分别对w, b求偏导
            grads = tape.gradient(loss2, model.trainable_variables)
            # 将所有参数进行原地更新。即w‘ = w - lr*grad
            optimizer.apply_gradients(zip(grads, model.trainable_variables))