TensorFlow入门(十七、神经元的拟合原理)

这篇具有很好参考价值的文章主要介绍了TensorFlow入门(十七、神经元的拟合原理)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

深度学习的概念源于人工神经网络的研究,神经网络是由多个神经元组成,。一个神经元由以下几个关键知识点组成:

                                ①激活函数                ②损失函数                ③梯度下降

单个神经元的网络模型如图所示

TensorFlow入门(十七、神经元的拟合原理),TensorFlow入门,tensorflow,人工智能,python,深度学习

用计算公式表达如下:

TensorFlow入门(十七、神经元的拟合原理),TensorFlow入门,tensorflow,人工智能,python,深度学习

z为输出的结果,x为输入,w为权重,b为偏置值。z的计算过程是将输入的x与其对应的w相乘,然后再把结果加上偏置值b。

模型每次的训练学习是为了调整w和b从而得到一个合适的值,最终由这个值配合运算公式所形成的逻辑就是神经网络的模型。可以看一下大脑细胞里的神经突触。它和我们建立的模型有点神似。

TensorFlow入门(十七、神经元的拟合原理),TensorFlow入门,tensorflow,人工智能,python,深度学习

        大脑神经细胞是靠生物电来传递信号的,可以把它理解成经过模型的具体数值

        神经细胞相连的树突有粗有细,显然对通过不同粗细连接的生物电信号,会有不同的影响。这类似权重w,因为每个输入节点都会与相关连接的w相乘,也就实现了对信号的放大、缩小处理

        中间的细胞体是不知道如何运作的。可以将所有输入的信号经过w变换之后,再添加一个额外的偏置量b,把它们加在一起求和,然后再选择一个模拟细胞体处理的函数(即激活函数)来实现整个过程的仿真。当通过调整w和b得到一个合适的值后,再配合合适的激活函数,就会发现它可以产生很好的拟合效果,从而得出细胞体的运作逻辑。

正向传播

        模拟细胞体的仿真过程中,将数据从输入到输出的这种流向传递过程,称为正向传播。且该过程是在一个假设有合适的w和b的基础上,才可以实现对现实环境的正确拟合。然而,在现实环境中,是不知道w和b的值具体是多少才算正常的。

反向传播

        反向传播的目的 : 告诉模型w和b的值调整到多少合适。

        在一开始没有得到合适的权重时,正向传播生成的结果与实际的标签是有误差的,反向传播就是要把这个误差传递给权重,让权重做适当地调整来达到一个合适的输出。

        代码示例如下:

#反向优化
cost = tf.reduce_mean(tf.square(Y - z))
learning_rate = 0.01
#使用梯度下降算法
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

        实际训练过程中,模型需要通过多次迭代一点一点的修正,直到输出值与实际标签值的误差小于某个阈值为止。这个过程中,还需要将输出的误差转化为权重的误差,经常使用的算法是误差反向传播算法,也就是BP算法。

        为了要让损失值变得最小化,需要通过对其求导的方式,找到最小值时刻的函数切线斜率(也就是梯度),从而让w和b的值沿着这个梯度来调整。至于每次调整多少,我们引入一个叫做"学习率"的参数来控制,这样通过不断的迭代,使误差逐步接近最小值,最终找到w和b的合适值,达到拟合的效果。

误差反向传播算法-BP算法的思想

        反向传播使用的BP算法是应用较为广泛的一种参数学习算法。它是一种按照误差逆向传播算法训练的多层前馈神经网络。

        该算法的核心思想就是通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值。

        BP算法的模型示意图如下:

TensorFlow入门(十七、神经元的拟合原理),TensorFlow入门,tensorflow,人工智能,python,深度学习

        BP算法的学习过程由信号的正向传播(求损失)与误差的反向传播(误差回传)两个过程组成:

                正向传播FP(求损失) : 在这个过程中,根据输入的样本、给定的初始化权重值w和偏置量b,计算最终输出值以及输出值与实际值之间的损失值。如果损失值不在给定的范围内则进行反向传播的过程,否则停止w、b的更新。

                反向传播BP(回传误差) : 将输出以某种形式通过隐层向输入层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。

        由于BP算法是通过传递误差值δ进行更新求解权重值w和偏置值b,所以BP算法也常常被叫做δ算法。文章来源地址https://www.toymoban.com/news/detail-726854.html

到了这里,关于TensorFlow入门(十七、神经元的拟合原理)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 自适应PID算法学习(01)——单神经元PID控制

      单神经元含有n个输入,仅1个输出,每个输入端可记作 x i ( i = 1 , 2 , . . . n ) x_i (i=1,2,...n) x i ​ ( i = 1 , 2 , ... n ) ,若该神经元为多元组成网络中某一层(输入层/输出层/隐含层)其中的一个单元,记该神经元输出为 o j ( j = 1 , 2 , . . . ) o_j(j=1,2,...) o j ​ ( j = 1 , 2 , ... ) ;不

    2024年02月16日
    浏览(45)
  • 【人工智能】神经网络、M-P_神经元模型、激活函数、神经网络结构、学习网络参数、代价定义、总代价

    ⚫ 输入:来自其它n个神经元传递过来的输入信号 ⚫ 处理:输入信号通过带权重的连接进行传递, 神经元接受到总输入值将与神经元的阈值进行比较 ⚫ 输出:通过激活函数的处理以得到输出

    2024年02月16日
    浏览(55)
  • 【人工智能】神经元数学模型的基本方程式及其意义详细说明

    神经元数学模型的基本方程式及其意义 在神经科学中,数学模型被广泛应用于理解神经元及其网络的激活、沟通和计算作用。本文将详细讨论一些典型神经元数学模型的基本方程式及其意义,以表达对神经网络实现认知和行为功能的认识。 一、Hodgkin-Huxley 模型

    2024年02月07日
    浏览(56)
  • 人体大脑神经元运行模拟器!让你直观体验大脑的运行方式

    最近沾花在网上看到一个 神奇 的网站:A Neural Network Playground 经过沾花的亲手测试,发现这玩意儿能模拟人体大脑神经元的运行! 下面是网址: A Neural Network Playground OK,下面来教大家怎么用: 使用时,选择数据集中的一种数据,相应地调整神经元的类型和网络形态(至于怎

    2024年02月14日
    浏览(43)
  • 鲸鱼算法优化LSTM超参数-神经元个数-dropout-batch_size

    1、摘要 本文主要讲解:使用鲸鱼算法优化LSTM超参数-神经元个数-dropout-batch_size 主要思路: 鲸鱼算法 Parameters : 迭代次数、鲸鱼的维度、鲸鱼的数量, 参数的上限,参数的下限 LSTM Parameters 神经网络第一层神经元个数、神经网络第二层神经元个数、dropout比率、batch_size 开始

    2023年04月16日
    浏览(48)
  • 【AI】《动手学-深度学习-PyTorch版》笔记(十七):卷积神经网络入门

    我们在前面学习的多层感知机中,已经认识了全链接层,缺点很明显,在稍微大点的网络模型中,参数成指数级别增长。参数量很快就达到数十亿,这样的量级几乎无法计算。为此科学家们想出一个减少参数的方法:卷积。 从全链接层到卷积的推论,使用如下两个原则: 平

    2024年02月13日
    浏览(61)
  • OpenCV(三十七):拟合直线、三角形和圆形

    1.点集拟合的含义        点集拟合是一种通过拟合函数或曲线来近似描述给定离散数据点的技术,在点集拟合中,可以使用不同的函数或曲线拟合方法来拟合直线、三角形和圆形。 直线拟合 :对于给定的二维数据点集合,可以使用最小二乘法来拟合一条直线。 三角形拟合

    2024年02月03日
    浏览(55)
  • 【深度学习_TensorFlow】过拟合

    过拟合与欠拟合 欠拟合: 是指在模型学习能力较弱,而数据复杂度较高的情况下,模型无法学习到数据集中的“一般规律”,因而导致泛化能力弱。此时,算法在训练集上表现一般,但在测试集上表现较差,泛化性能不佳。 过拟合: 是指模型在训练数据上表现很好,但在测

    2024年02月10日
    浏览(44)
  • BP神经网络入门(原理+matlab代码实现)

    对于很多刚入门的小伙伴来说,神经网络可能比较陌生。神经网络其实是对人认知物体的一种仿真。比如幼儿园老师再教小朋友认动物的时候,会让记住一些特征:比如兔子有长长的耳朵,爱吃萝卜和青菜.........,神经网络也是这样通过构建特征值之间的关系来预测一个较为可

    2023年04月23日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包