神经网络与深度学习

这篇具有很好参考价值的文章主要介绍了神经网络与深度学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

马上期末考试了,就用这篇博客充当一下复习记录吧。一些部分可能有误,还请各位大佬批评指正。

第 1 章 绪论

  • 理解神经网络、深度学习与人工智能的之间的关系;
  • 掌握机器学习与深度学习的步骤;

有关神经网络、深度学习与人工智能的关系
神经网络与深度学习
链接: 图片博客来源
理解:深度学习是人工智能的一个子集合,而神经网络和深度学习又有交集。
那么,为什么神经网络和深度学习不是相互包含的关系呢?
神经网络中除了深度学习还有什么?
深度学习中除了神经网络还有什么?
问题:深度学习中除了神经网络还有什么?
深度学习可以采用神经网络模型,也可以采用其他模型(比如深度信念网络是一种概率图模型). 但是,由于神经网络模型可以比较容易地解决贡献度分配问题,因此神经网络模型成为深度学习中主要采用的模型参考
又或者周志华老师的深度森林,其实也是深度学习但却不是神经网络。

问题:神经网络中除了深度学习还有什么?
个人理解,深度学习是一些比较深的模型。而一些比较简单的神经网络(如单层感知机或者2层神经网络等)这些比较“浅”的模型虽然是神经网络但却不是深度学习。

因此神经网络与深度学习并不是相互包含的关系,深度学习与神经网络彼此有交集却并不等价也不存在包含关系。

问题:机器学习的步骤
首先,什么是机器学习?
机器学习(Machine Learning,ML)是指从有限的观测数据中学习(或“猜测”)出具有一般性的规律,并利用这些规律对未知数据进行预测的方法。
那么机器学习的步骤可以表示如下:
神经网络与深度学习
数据预处理:进行如缺失值处理、数据格式统一、数据归一化等操作。

特征提取:根据某些方法提取出有用的特征,提取出有用的特征,去除多余的或者起到干扰作用的特征,又或者在图像分类中提取边缘、在文本分类中去除停用词等。

特征转换:对提取出来的特征进行转换,如降维(PCA或LDA等方法)或升维。使得数据具有更好的表现力。

预测:选定一个合适的模型,学习一个函数(利用优化方法将损失函数降到最小)并在测试集上进行预测。

问题:深度学习的步骤
神经网络与深度学习
通过多层的特征转换,把原始数据变成更高层次、更抽象的表示.这些学习到的表示可以替代人工设计的特征,从而避免“特征工程”。数据预处理去哪了?

第 2 章 机器学习概述

  • 掌握什么是机器学习;常见的机器学习类型;
  • 掌握机器学习四要素;
  • 理解机器学习的几个关键点。

问题:什么是机器学习
根据维基百科对机器学习的解释:
机器学习(Machine Learning,ML)是指从有限的观测数据中学习(或“猜测”)出具有一般性的规律,并利用这些规律对未知数据进行预测的方法.

问题:常见的机器学习类型
常见的机器学习有有监督学习、无监督学习、半监督学习、强化学习等。

有监督学习:对每一个样本都有“标准答案”,机器学习根据“标准答案”利用损失函数计算损失,通过对损失函数的最小化达到模型学习的目的。如分类、回归等问题。

无监督学习:每一个样本都没有“标准答案”,利用这些数据解决模式识别中的问题(如类别划分)。常见的无监督学习有PCA、聚类、核密度估计等。

半监督学习:部分样本有“标准答案”部分样本没有。利用这些数据训练一个模型来解决问题(分类、回归等)。

问题:机器学习四要素

  • 数据
  • 模型:实现任务的数学模型,如决策树、支持向量机,k-means等模型。
  • 学习准则:衡量模型的好坏,也是模型的学习目标,如在有监督学习中学习准则即为损失函数,如分类中的交叉熵损失或者回归问题中的MSE损失。
  • 优化算法:能够是学习准则的到目标的方法,如梯度下降法等方法。
    以上四点为机器学习的四要素。

理解机器学习的几个关键点
待定

第 3 章 线性模型

  • 掌握交叉熵损失
  • 掌握MSE 损失

交叉熵和MSE损失的异同:
异:交叉熵是用于分类问题的,而MSE是用于回归问题的。
同:二者都是损失函数,都通过使损失函数最小从而找到最优模型的参数。

交叉熵损失
推导待定
公式:
二分类
在二分类的情况下,模型最后需要预测的结果只有两种情况,对于每个类别我们的预测得到的概率为 p p p 1 − p 1-p 1p ,此时表达式为( log ⁡ \log log e e e为底) :
L = 1 N ∑ i L i = 1 N ∑ i − [ y i ⋅ log ⁡ ( p i ) + ( 1 − y i ) ⋅ log ⁡ ( 1 − p i ) ] L=\frac{1}{N} \sum_{i} L_{i}=\frac{1}{N} \sum_{i}-\left[y_{i} \cdot \log \left(p_{i}\right)+\left(1-y_{i}\right) \cdot \log \left(1-p_{i}\right)\right] L=N1iLi=N1i[yilog(pi)+(1yi)log(1pi)]
其中:
− y i − -y_{i}- yi 表示样本 i i i 的label,正类为 1 ,负类为 0
− p i − -p_{i}- pi 表示样本 i i i 预测为正类的概率

如何直观理解:
损失函数的作用是什么?
是衡量模型表现好坏的指标,也是模型学习的目标,因此当模型表现较为好时,此时应该有较小的 L o s s Loss Loss。在上述公式中。
L i L_i Li为单个样本的损失,根据上述公式 L i = − [ y i ⋅ log ⁡ ( p i ) + ( 1 − y i ) ⋅ log ⁡ ( 1 − p i ) ] L_i = -\left[y_{i} \cdot \log \left(p_{i}\right)+\left(1-y_{i}\right) \cdot \log \left(1-p_{i}\right)\right] Li=[yilog(pi)+(1yi)log(1pi)]

那么,当样本的真实值为1也就是 y i = 1 y_i = 1 yi=1时,此时 L i = − [ y i ⋅ log ⁡ ( p i ) ] = − log ⁡ ( p i ) L_i = -\left[y_{i} \cdot \log \left(p_{i}\right)\right] = -\log \left(p_{i}\right) Li=[yilog(pi)]=log(pi)那么根据 l o g log log函数, p i p_i pi越接近于1,也就是模型认为该样本为正类的概率越大(正确的)此时 L i L_i Li越小;而若 p i p_i pi越接近于0,也就是模型认为该样本为负类的概率越大(错误的),此时 L i L_i Li越大。

当样本的真实值为0也就是 y i = 0 y_i = 0 yi=0时,此时 L i = − [ ( 1 − y i ) ⋅ log ⁡ ( 1 − p i ) ] = − log ⁡ ( 1 − p i ) L_i = -\left[(1-y_{i}) \cdot \log \left(1-p_{i}\right)\right] = -\log \left(1-p_{i}\right) Li=[(1yi)log(1pi)]=log(1pi)那么根据 l o g log log函数, p i p_i pi越接近于1,也就是模型认为该样本为正类的概率越大(错误的)此时 L i L_i Li越大;而若 p i p_i pi越接近于0,也就是模型认为该样本为负类的概率越大(正确的),此时 L i L_i Li越小。
多分类同理
多分类的情况实际上就是对二分类的扩展:
L = 1 N ∑ i L i = − 1 N ∑ i ∑ c = 1 M y i c log ⁡ ( p i c ) L=\frac{1}{N} \sum_{i} L_{i}=-\frac{1}{N} \sum_{i} \sum_{c=1}^{M} y_{i c} \log \left(p_{i c}\right) L=N1iLi=N1ic=1Myiclog(pic)
其中:

  • M M M —类别的数量
    − y i c − -y_{i c}- yic 一符号函数( 0 或 1 ),如果样本 i i i 的真实类别等于 c c c 取 1 ,否则取 0
    − p i c -p_{i c} pic 一观测样本 i i i 属于类别 c c c 的预测概率

参考:分类模型的 Loss 为什么使用 cross entropy 而不是 classification error 或 squared error

MSE损失
计算预测值和真实值之间的欧式距离。预测值和真实值越接近,两者的均方差就越小
均方差函数常用于线性回归(linear regression),即函数拟合(function fitting)。
J ( w , b ) = 1 2 m ∑ i = 1 m ( a i − y i ) 2 J(w, b)=\frac{1}{2 m} \sum_{i=1}^{m}\left(a_{i}-y_{i}\right)^{2} J(w,b)=2m1i=1m(aiyi)2很好理解,使用( a i − y i a_i - y_i aiyi)即可衡量第 i i i个点真实值与预测值之间的差距。
那么为什么要有平方呢?
这是因为( a i − y i a_i - y_i aiyi)可能会出现负值,而加绝对值又不太好处理,因此用平方来表示。
那么为什么要求和之后除以 m m m呢?
m为点的个数,除以m相当于取平均,可以反映整体的拟合状况。
那么为什么除以m之后还要除以2呢?
其实除不除都可以,只不过损失函数在误差反向传播或者优化时要进行求导。那么平方项求导之后前方就会有系数2,刚好与分母上的2相消。

第 4 章 前馈神经网络

  • 掌握神经网络特征
  • 激活函数(常用激活函数:S 型激活函数、斜坡型激活函数、复合激活函数);
  • 掌握前馈神经网络结构
  • 掌握前向传播及反向传播算法

神经网络的主要特征:

  1. 信息表示是分布式的(非局部的);
  2. 记忆和知识是存储在单元之间的连接上;
  3. 通过逐渐改变单元之间的连接强度来学习新的知识。

激活函数
激活函数的几个特征

  • 连续并可导(允许少数点上不可导)的非线性函数。
  • 激活函数及其导函数要尽可能的简单
  • 激活函数的导函数的值域要在一个合适的区间内

常用激活函数:S 型激活函数、斜坡型激活函数、复合激活函数

S 型激活函数
S 型激活函数是指Sigmoid型函数,常用的 Sigmoid型函数有Logistic函数和Tanh函数。
L o g i s t i c : σ ( x ) = 1 1 + e − x Logistic: \sigma(x) = \frac{1}{1+e^{-x}} Logisticσ(x)=1+ex1
优点:

  • Logistic函数的输出在(0,1)之间,输出范围有限,优化稳定,可以用作输出层。
  • 连续函数,便于求导。

缺点:

  • sigmoid函数在变量取绝对值非常大的正值或负值时会出现饱和现象,意味着函数会变得很平,并且对输入的微小改变会变得不敏感。
  • 在反向传播时,当梯度接近于0,权重基本不会更新,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练。
  • sigmoid函数的输出不是0均值的,会导致后层的神经元的输入是非0均值的信号,这会对梯度产生影响。
  • 计算复杂度高,因为sigmoid函数是指数形式。

t a n h ( x ) = e x − e − x e x + e x = 2 σ ( 2 x ) − 1 tanh(x) = \frac{e^{x} - e^{-x}}{e^{x}+e^{x}} = 2\sigma(2x) - 1 tanh(x)=ex+exexex=2σ(2x)1
Tanh函数是 0 均值的,因此实际应用中 Tanh 会比 sigmoid 更好。但是仍然存在梯度饱和与exp计算的问题
神经网络与深度学习
斜坡型激活函数
斜坡型激活函数主要是 R E L U RELU RELU函数以及一系列 R E L U RELU RELU函数的改进。
RELU函数
ReLU ⁡ ( x ) = { x x ≥ 0 0 x < 0 = max ⁡ ( 0 , x ) \begin{aligned} \operatorname{ReLU}(x) &= \begin{cases}x & x \geq 0 \\ 0 & x<0\end{cases} =\max (0, x) \end{aligned} ReLU(x)={x0x0x<0=max(0,x)
优点:

  • 计算简单,计算速度快。
  • 在一定程度上缓解了神经网络的梯度消失问题,加速梯度下降的收敛速度。
  • 不会像S型激活函数那样出现饱和现象。

缺点:

  • 输出不是0均值的,会导致后层的神经元的输入是非0均值的信号,这会对梯度产生影响。
  • 由于RELU函数在小于0的部分导数始终为0,因此如果参数在一次不恰当的更新后,第一个隐藏层中的某个ReLU 神经元在所有的训练数据上都不能被激活,那么这个神经元自身参数的梯度永远都会是0,在以后的训练过程中永远不能被激活。也就是死亡RELU现象。

Leaky RELU
为了解决 R E L U RELU RELU函数中的死亡现象, L e a k y R E L U Leaky RELU LeakyRELU做出了适当改进:不再让小于0的部分恒等于0。
LeakyReLU ⁡ ( x ) = { x  if  x > 0 γ x  if  x ≤ 0 = max ⁡ ( 0 , x ) + γ min ⁡ ( 0 , x ) \begin{aligned} \operatorname{LeakyReLU}(x) &= \begin{cases}x & \text { if } x>0 \\ \gamma x & \text { if } x \leq 0\end{cases} =\max (0, x)+\gamma \min (0, x) \end{aligned} LeakyReLU(x)={xγx if x>0 if x0=max(0,x)+γmin(0,x)其中 γ \gamma γ是一个很小的常数。而 γ \gamma γ也可以作为一个参数来学习。Parametric ReLU,PReLU,这样不同的神经元就可以有不同的激活函数,相对更加灵活。
但即使这样仍然有一个问题没有解决,输出并不是0中心化的。因此为了解决这一问题,又提出了 E L U ELU ELU

ELU
ELU ⁡ ( x ) = { x  if  x > 0 γ ( exp ⁡ ( x ) − 1 )  if  x ≤ 0 = max ⁡ ( 0 , x ) + min ⁡ ( 0 , γ ( exp ⁡ ( x ) − 1 ) ) \begin{aligned} \operatorname{ELU}(x) &= \begin{cases}x & \text { if } x>0 \\ \gamma(\exp (x)-1) & \text { if } x \leq 0\end{cases} =\max (0, x)+\min (0, \gamma(\exp (x)-1)) \end{aligned} ELU(x)={xγ(exp(x)1) if x>0 if x0=max(0,x)+min(0,γ(exp(x)1))
其中 γ ≥ 0 \gamma \geq 0 γ0 是一个超参数, 决定 x ≤ 0 x \leq 0 x0 时的饱和曲线,并调整输出均值在 0附近。虽然ELU解决了死亡RELU的问题,也解决了输出的0中心化问题,但是由于引入了e,提高了计算的复杂度,因此运行起来相对会慢一些。

神经网络与深度学习
复合激活函数
Swish函数
Swish 函数是一种自门控 ( Self-Gated ) 激活 函数, 定义为
swish ⁡ ( x ) = x σ ( β x ) , \operatorname{swish}(x)=x \sigma(\beta x), swish(x)=xσ(βx),
其中 σ ( ⋅ ) \sigma(\cdot) σ() 为 Logistic 函数, β \beta β 为可学习的参数或一个固定超参数. σ ( ⋅ ) ∈ ( 0 , 1 ) \sigma(\cdot) \in(0,1) σ()(0,1) 可 以看作一种软性的门控机制. 当 σ ( β x ) \sigma(\beta x) σ(βx) 接近于 1 时, 门处于 “开” 状态, 激活函数的 输出近似于 x x x 本身; 当 σ ( β x ) \sigma(\beta x) σ(βx) 接近于 0 时, 门的状态为 “关”, 激活函数的输出近似 于 0 .
GELU(Gaussian Error Linear Unit,高斯误差线性单元)也是一种通过门控机制来调整其输出值的激活函数,和 Swish 函数比较
类似.
G E L U ( 𝑥 ) = 𝑥 𝑃 ( 𝑋 ≤ 𝑥 ) GELU(𝑥) = 𝑥𝑃(𝑋 ≤ 𝑥) GELU(x)=xP(Xx)

其中𝑃(𝑋 ≤ 𝑥)是高斯分布𝒩(𝜇, 𝜎2)的累积分布函数,其中𝜇, 𝜎为超参数,一般设𝜇 = 0, 𝜎 = 1即可.由于高斯分布的累积分布函数为S型函数,因此GELU函数可以用Tanh函数或Logistic函数来近似.

前馈神经网络结构

  • 各神经元分别属于不同的层,层内无连接。
  • 相邻两层之间的神经元全部两两连接。
  • 整个网络中无反馈,信号从输入层向输出层单向传播,可用一个有向无环图表示。

前向传播及反向传播算法
可以看这位大佬的博文,讲的很清楚。
神经网络BP反向传播算法原理和详细推导流程

第 5 章 卷积神经网络

  • 理解什么是卷积神经网络,其三个结构特征;
  • 掌握卷积过程和不同类型的卷积(窄卷积、宽卷积和等宽卷积);
  • 掌握卷积神经网络中卷积核、卷积层、卷积网络结构;
  • 了解各种不同类型的卷积(空洞卷积等);
  • 理解残差网络机理

卷积神经网络以及其三个结构特征

卷积神经网络(Convolutional Neural Network,CNN或ConvNet)是一种
具有局部连接、权重共享等特性的深层前馈神经网络.

特征:

  • 局部连接:在卷积层(假设是第𝑙 层)中的每一个神经元都只和前一层(第𝑙 − 1层)中某个局部窗口内的神经元相连,构成一个局部连接网络
  • 权重共享:为一个卷积核只捕捉输入数据中的一种特定的局部特征.因此,如果要提取多种特征就需要使用多个不同的卷积核
  • 空间或时间上的次采样

卷积过程和不同类型的卷积
当卷积核在输入图像上扫描时,将卷积核与输入图像中对应位置的数值逐个相乘,最后汇总求和,就得到该位置的卷积结果。不断移动卷积核,就可算出各个位置的卷积结果。
神经网络与深度学习
卷积的结果按输出长度不同可以分为三类:

  • 窄卷积:步长 𝑇 = 1 ,两端不补零 𝑃 = 0 ,卷积后输出长度为 𝑀 − 𝐾 + 1
  • 宽卷积:步长 𝑇 = 1 ,两端补零 𝑃 = 𝐾 − 1 ,卷积后输出长度 𝑀 + 𝐾 − 1
  • 等宽卷积:步长 𝑇 = 1 ,两端补零 𝑃 =(𝐾 − 1)/2 ,卷积后输出长度 𝑀
    (M为输入序列长度,K为窗口大小)

掌握卷积神经网络中卷积核、卷积层、卷积网络结构
卷积层
输入:D个特征映射 M × N × D
输出:P个特征映射 M′ × N′ × P

卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。

  • 趋向于小卷积、大深度
  • 趋向于全卷积

各种不同类型的卷积(空洞卷积等)
问题的产生:如何增加输出单元的感受野?
解决方法:

  1. 增加卷积核的大小 -缺点:增加参数数量,模型变复杂
  2. 增加层数来实现 -缺点: 增加参数数量,模型变复杂
  3. 在卷积之前进行汇聚操作 -缺点:汇聚操作会丢失信息

针对以上,提出了空洞卷积:
空洞卷积通过给卷积核插入“空洞”来变相地增加其大小.如果在卷积核的每两个元素之间插入𝐷 − 1个空洞,卷积核的有效大小为𝐾′ = 𝐾 + (𝐾 − 1) × (𝐷 − 1)其中𝐷 称为膨胀率(Dilation Rate).当𝐷 = 1时卷积核为普通的卷积核.
神经网络与深度学习
各种卷积的动图
附上个人感觉讲的很通俗的一篇文章卷积神经网络——介绍

残差网络机理
残差网络提出的背景。网络越深,表达性能越强。那么网络越深,就一定越优秀吗?

并不是这样的,在网络的训练过程中随着网络层数的增加,网络发生了退化(degradation)的现象:随着网络层数的增多,训练集loss逐渐下降,然后趋于饱和,当你再增加网络深度的话,训练集loss反而会增大。

那么为什么会出现这种现象呢?
在一层又一层的卷积中,是特征的提取过程,但是随着特征的提取也会丢失掉很多信息。在前向传输的过程中,随着层数的加深,特征图包含的图像信息会逐层减少,因此若网络过深可能会起到反作用。

那么如何避免这种情况呢,能不能在提取特征的同时保证信息不丢失?
针对这一问题,残差网络被提了出来。
神经网络与深度学习
残差单元由多个级联的(等宽)卷积层和一个跨层的直连边组成,再经过ReLU激活后得到输出。
多个级联的(等宽)卷积层起到的作用是特征提取。而跨层的直连边起到的作用就是保证在本次操作之后信息不会变的更少。
而在执行加法操作融合之前,为了保证x与提取之后的特征图维度匹配,往往要对x再进行操作(如1*1卷积)以调整x的维度。
假设在一个深度网络中,我们期望一个非线性单元(可以为一层或多层的卷积层)𝑓(𝒙; 𝜃)去逼近一个目标函数为ℎ(𝒙).如果将目标函数拆分成两部分:恒等函数(Identity Function)𝒙和残差函数(Residue Function)ℎ(𝒙) − 𝒙.
呢么就有 ℎ(𝒙) = 𝒙+ (ℎ(𝒙) − 𝒙)
参考详解残差网络

第 6 章 循环神经网络

  • 掌握递归神经网络(RNN)的前向传播,理解反向传播过程(BPTT);
  • 理解梯度消失和梯度爆炸形成原因;
  • 掌握 LSTM 结构及核心思想;
  • 了解 LSTM 的训练过程(误差反向传播);
  • 了解 LSTM 的变体。

掌握递归神经网络(RNN)的前向传播,理解反向传播过程(BPTT)
前向传播:
其中, x t x_t xt表示 t t t时刻的输入, s t s_t st表示 t t t时刻的隐状态, o t o_t ot表示 t t t时刻的输出。
神经网络与深度学习
t t t 时刻 中间隐层输入为 s t = U x t + W h t − 1 s_{t}=U x_{t}+W h_{t-1} st=Uxt+Wht1 t t t 时刻中间隐层输出为 (其中 f f f 为sigmoid 函 数) h t = f ( s t ) h_{t}=f\left(s_{t}\right) ht=f(st)
t t t 时刻输出层输出为 (其中 g g g 为 softmax 函数) o t = g ( V h t ) o_{t}=\mathrm{g}\left(V h_{t}\right) ot=g(Vht)损失函数为 L t = − [ y t log ⁡ o t + ( 1 − y t ) log ⁡ ( 1 − o t ) ] L_{t}=-\left[y_{t} \log o_{t}+\left(1-y_{t}\right) \log \left(1-o_{t}\right)\right] Lt=[ytlogot+(1yt)log(1ot)]
LSTM
神经网络与深度学习
t t t 时刻, LSTM的更新方式:
遗忘门 f t = σ ( W f ⋅ h t − 1 + U f ⋅ x t + b f ) f^{t}=\sigma\left(W_{f} \cdot h^{t-1}+U_{f} \cdot x^{t}+b_{f}\right) ft=σ(Wfht1+Ufxt+bf)
输入门 i t = σ ( W i ⋅ h t − 1 + U i ⋅ x t + b i ) i^{t}=\sigma\left(W_{i} \cdot h^{t-1}+U_{i} \cdot x^{t}+b_{i}\right) it=σ(Wiht1+Uixt+bi)
侯选内部记忆单元 c ~ t = tanh ⁡ ( W c ⋅ h t − 1 + U c ⋅ x t + b c ) \tilde{c}^{t}=\tanh \left(W_{c} \cdot h^{t-1}+U_{c} \cdot x^{t}+b_{c}\right) c~t=tanh(Wcht1+Ucxt+bc)
内部记忆单元 c t = f t ∗ c t − 1 + i t ∗ c ~ t c^{t}=f^{t} * c^{t-1}+i^{t} * \tilde{c}^{t} ct=ftct1+itc~t
输出门 o t = σ ( W o ⋅ h t − 1 + U o ⋅ x t + b o ) o^{t}=\sigma\left(W_{o} \cdot h^{t-1}+U_{o} \cdot x^{t}+b_{o}\right) ot=σ(Woht1+Uoxt+bo)
隐层输出 h t = o t ∗ tanh ⁡ ( c t ) h^{t}=o^{t} * \tanh \left(c^{t}\right) ht=ottanh(ct)文章来源地址https://www.toymoban.com/news/detail-478277.html

到了这里,关于神经网络与深度学习的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习卷积神经网络垃圾分类系统 - 深度学习 神经网络 图像识别 垃圾分类 算法 小程序 计算机竞赛

    🔥 优质竞赛项目系列,今天要分享的是 深度学习卷积神经网络垃圾分类系统 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🧿 更多资料, 项目分享: https://gitee.com/dancheng-senior/postgraduate 近年来,随着我国经济的快速发展,国家各项建设都蒸蒸日上,成绩显著。

    2024年02月04日
    浏览(51)
  • 计算机竞赛 深度学习卷积神经网络垃圾分类系统 - 深度学习 神经网络 图像识别 垃圾分类 算法 小程序

    🔥 优质竞赛项目系列,今天要分享的是 深度学习卷积神经网络垃圾分类系统 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🧿 更多资料, 项目分享: https://gitee.com/dancheng-senior/postgraduate 近年来,随着我国经济的快速发展,国家各项建设都蒸蒸日上,成绩显著。

    2024年02月07日
    浏览(54)
  • 【机器学习】——深度学习与神经网络

    目录 引入 一、神经网络及其主要算法 1、前馈神经网络 2、感知器 3、三层前馈网络(多层感知器MLP) 4、反向传播算法 二、深度学习 1、自编码算法AutorEncoder 2、自组织编码深度网络 ①栈式AutorEncoder自动编码器 ②Sparse Coding稀疏编码 3、卷积神经网络模型(续下次) 拓展:

    2024年02月09日
    浏览(41)
  • 【机器学习】——神经网络与深度学习

    目录 引入 一、神经网络及其主要算法 1、前馈神经网络 2、感知器 3、三层前馈网络(多层感知器MLP) 4、反向传播算法 二、深度学习 1、自编码算法AutorEncoder 2、自组织编码深度网络 ①栈式AutorEncoder自动编码器 ②Sparse Coding稀疏编码 3、卷积神经网络模型(续下次) 拓展:

    2024年02月10日
    浏览(48)
  • 深度学习,卷积神经网络

      CV领域发展 CV领域是计算机视觉(Computer Vision)领域的简称。 计算机视觉是指利用计算机模拟人类视觉系统的科学,让计算机具有类似于人类在观察外界的视觉、图像的能力,包括图像处理、图像分析、图像理解等。 计算机视觉领域发展有以下特点: 视觉系统的出现和不

    2024年02月15日
    浏览(51)
  • 深度学习神经网络

    神经网络算法是一种基于人工神经网络的机器学习算法。它的灵感来源于生物神经系统,能够通过学习大量数据来识别模式和关系,并进行分类、回归、聚类等任务。 神经网络算法通常由多个层次组成,每个层次包含多个神经元。这些神经元之间通过不同的权重相互连接,通

    2024年02月12日
    浏览(37)
  • 神经网络/深度学习(一)

    感知机 多层感知机(神经网络) 误差逆传播(error BackPropagation,简称BP)算法 深度学习 卷积神经网络(Convolutional Neural Networks, CNN) 递归(循环)神经网络(Recurrent Neural Networks,简称RNN) 长短时记忆单元(Long-Short Term Memory,简称LSTM) https://github.com/apachecn/AiLearning https://

    2023年04月18日
    浏览(31)
  • 深度学习循环神经网络

    循环神经网络(Recurrent Neural Network,RNN)是一种广泛应用于序列数据、自然语言处理等领域的神经网络。与传统的前馈神经网络不同,循环神经网络的输入不仅取决于当前输入,还取决于之前的状态。这使得循环神经网络可以对序列数据进行建模,具有记忆和递归的能力。

    2024年02月13日
    浏览(39)
  • 深度学习与神经网络

    深度学习的名字来源于其使用的神经网络有很多层,也就是“深”层网络。这些深层网络可以学习并表示数据的高级别抽象,从而捕捉输入数据中的复杂模式。每一层的神经元都根据前一层的输出进行学习,这样,每一层都可以根据前一层的特征表示学习更高级别的特征表示

    2024年02月11日
    浏览(24)
  • 深度学习(神经网络)

    提出 形式神经元模型(M-P模型) (1943) 提出 感知器 (1958) 感知器无法解决线性不可分问题(1969) 提出 神经认知机 (1980) 提出 霍普菲尔德模型 (1982) 提出 误差反向传播算法 (1986) 提出 卷积神经网络 (1989) 提出 将 预训练和自编码器 与 深度神经网络 相结合 (20

    2024年02月08日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包