机器学习笔记之核函数再回首:Nadarya-Watson核回归python手写示例

这篇具有很好参考价值的文章主要介绍了机器学习笔记之核函数再回首:Nadarya-Watson核回归python手写示例。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言

本节从代码角度,介绍基于高维特征向量使用 Nadaraya-Watson \text{Nadaraya-Watson} Nadaraya-Watson核回归的示例。

回顾: Nadaraya-Watson \text{Nadaraya-Watson} Nadaraya-Watson核回归

在注意力机制基本介绍中,我们提到过这种基于注意力机制权重懒惰学习方法。该方法与注意力机制关联的核心操作有如下步骤:

通过核函数描述样本之间的关联关系

我们想要主观获取某陌生样本 x ∈ R p x \in \mathbb R^p xRp数据集内各样本 x ( i ) ∈ D = { x ( i ) , y ( i ) } i = 1 N , x ( i ) ∈ R p x^{(i)} \in \mathcal D = \{x^{(i)},y^{(i)}\}_{i=1}^N,x^{(i)} \in \mathbb R^p x(i)D={x(i),y(i)}i=1N,x(i)Rp之间的关联关系。而这种描述关联关系的操作,我们首先会想到内积
x ⋅ x ( i ) = x T [ x ( i ) ] x \cdot x^{(i)} = x^T [x^{(i)}] xx(i)=xT[x(i)]
如果涉及到一个非线性问题——或者说仅仅使用内积对关联关系的表达不够丰富,可以通过高维特征转换非线性问题转化为高维线性问题
{ x ⇒ ϕ ( x ) x ( i ) = ϕ ( x ( i ) ) ( i = 1 , 2 , ⋯   , N ) x T [ x ( i ) ] ⇒ [ ϕ ( x ) ] T ϕ ( x ( i ) ) \begin{cases} x \Rightarrow \phi(x) \\x^{(i)} = \phi(x^{(i)})(i=1,2,\cdots,N) \\ x^T[x^{(i)}] \Rightarrow [\phi(x)]^T \phi(x^{(i)}) \end{cases} xϕ(x)x(i)=ϕ(x(i))(i=1,2,,N)xT[x(i)][ϕ(x)]Tϕ(x(i))
低维特征转化为高维特征同样存在弊端。在核方法思想与核函数中介绍过:映射后的特征结果 ϕ ( x ) , \phi(x), ϕ(x),其特征维数远远超过原始特征维数 p p p,甚至是无限维。在这种情况下去计算 [ ϕ ( x ) ] T ϕ ( x ( i ) ) [\phi(x)]^T \phi(x^{(i)}) [ϕ(x)]Tϕ(x(i)),其计算代价是无法估量的。而核技巧提供了一种简化运算的方式。关于核函数 κ ( ⋅ ) \kappa(\cdot) κ()的定义表示如下:
κ [ x , x ( i ) ] = ⟨ ϕ ( x ) , ϕ ( x ( i ) ) ⟩ = [ ϕ ( x ) ] T ϕ ( x ( i ) ) \kappa \left[x,x^{(i)}\right] = \left\langle\phi(x),\phi(x^{(i)})\right\rangle= [\phi(x)]^T \phi(x^{(i)}) κ[x,x(i)]=ϕ(x),ϕ(x(i))=[ϕ(x)]Tϕ(x(i))
可以看出:核函数 κ ( ⋅ ) \kappa(\cdot) κ()的自变量是未经过高维转换的原始特征;而对应函数是高维转换后的内积结果。因而该函数的作用可以简化运算。最终我们可以通过核函数描述 x x x与数据集内所有样本 x ( i ) ( i = 1 , 2 , ⋯   , N ) x^{(i)}(i=1,2,\cdots,N) x(i)(i=1,2,,N)之间的关联关系
κ [ x , x ( i ) ] i = 1 , 2 , ⋯   , N \kappa \left[x,x^{(i)}\right] \quad i=1,2,\cdots,N κ[x,x(i)]i=1,2,,N

使用 Softmax \text{Softmax} Softmax函数对权重进行划分

此时已经得到 x x x所有样本 x ( i ) x^{(i)} x(i)核函数结果,这 N N N个结果有大有小,数值大的意味着样本之间的关联程度。从而可以将关联关系描述成 x x x与样本 x ( i ) x^{(i)} x(i)对应标签结果 y ( i ) y^{(i)} y(i)的权重 G ( x , x ( i ) ) \mathcal G(x,x^{(i)}) G(x,x(i))
G ( x , x ( i ) ) = κ ( x , x ( i ) ) ∑ j = 1 N κ ( x , x ( j ) ) \mathcal G(x,x^{(i)}) = \frac{\kappa(x,x^{(i)})}{\sum_{j=1}^{N}\kappa(x,x^{(j)})} G(x,x(i))=j=1Nκ(x,x(j))κ(x,x(i))
关于权重 G ( x , x ( i ) ) \mathcal G(x,x^{(i)}) G(x,x(i)),必然有如下结果:
∑ i = 1 N G ( x , x ( i ) ) = ∑ i = 1 N κ ( x , x ( i ) ) ∑ i = 1 N κ ( x , x ( i ) ) = 1 \sum_{i=1}^N \mathcal G(x,x^{(i)}) = \frac{\sum_{i=1}^{N} \kappa(x,x^{(i)})}{\sum_{i=1}^{N} \kappa(x,x^{(i)})} = 1 i=1NG(x,x(i))=i=1Nκ(x,x(i))i=1Nκ(x,x(i))=1
为什么是 Softmax \text{Softmax} Softmax函数呢——如果该核函数是一个指数函数。例如高斯核函数
将大括号内的项视作 Δ ( i ) \Delta^{(i)} Δ(i)
κ ( x , x ( i ) ) = exp ⁡ { − 1 2 σ 2 ∥ x − x ( i ) ∥ 2 ⏟ Δ ( i ) } \kappa (x,x^{(i)}) = \exp \left\{\underbrace{- \frac{1}{2 \sigma^2} \left\|x - x^{(i)} \right\|^2 }_{\Delta^{(i)}}\right\} κ(x,x(i))=exp Δ(i) 2σ21 xx(i) 2
那么 G ( x , x ( i ) ) \mathcal G(x,x^{(i)}) G(x,x(i))可表示为:
G ( x , x ( i ) ) = exp ⁡ { Δ ( i ) } ∑ j = 1 N exp ⁡ { Δ ( j ) } = Softmax ( Δ ( i ) ) \mathcal G(x,x^{(i)}) = \frac{\exp \{\Delta^{(i)}\}}{\sum_{j=1}^N \exp\{\Delta^{(j)}\}} = \text{Softmax}(\Delta^{(i)}) G(x,x(i))=j=1Nexp{Δ(j)}exp{Δ(i)}=Softmax(Δ(i))
最终可以得到如下权重向量
G ( x , D ) = [ κ ( x , x ( 1 ) ) ∑ j = 1 N κ ( x , x ( j ) ) , ⋯   , κ ( x , x ( N ) ) ∑ j = 1 N κ ( x , x ( j ) ) ] 1 × N \mathcal G(x,\mathcal D) = \left[\frac{\kappa(x,x^{(1)})}{\sum_{j=1}^N \kappa(x,x^{(j)})},\cdots,\frac{\kappa (x,x^{(N)})}{\sum_{j=1}^N \kappa(x,x^{(j)})} \right]_{1 \times N} G(x,D)=[j=1Nκ(x,x(j))κ(x,x(1)),,j=1Nκ(x,x(j))κ(x,x(N))]1×N

将权重与相应标签执行加权运算

得到权重向量 G ( x , D ) \mathcal G(x,\mathcal D) G(x,D)后,与对应标签向量 Y = ( y ( 1 ) , ⋯   , y ( N ) ) T \mathcal Y = (y^{(1)},\cdots,y^{(N)})^T Y=(y(1),,y(N))T内积运算,得到关于陌生样本 x x x的预测结果 f ( x ) f(x) f(x)
本质上就是关于标签 y ( i ) ( i = 1 , 2 , ⋯   , N ) y^{(i)}(i=1,2,\cdots,N) y(i)(i=1,2,,N)的加权平均数~
f ( x ) = G ( x , D ) ⋅ Y = κ ( x , x ( 1 ) ) ∑ j = 1 N κ ( x , x ( j ) ) ⋅ y ( 1 ) + ⋯ κ ( x , x ( N ) ) ∑ j = 1 N κ ( x , x ( j ) ) ⋅ y ( N ) \begin{aligned} f(x) & = \mathcal G(x,\mathcal D) \cdot \mathcal Y \\ & = \frac{\kappa(x,x^{(1)})}{\sum_{j=1}^N \kappa(x,x^{(j)})} \cdot y^{(1)} + \cdots \frac{\kappa(x,x^{(N)})}{\sum_{j=1}^N \kappa(x,x^{(j)})} \cdot y^{(N)} \end{aligned} f(x)=G(x,D)Y=j=1Nκ(x,x(j))κ(x,x(1))y(1)+j=1Nκ(x,x(j))κ(x,x(N))y(N)

Nadaraya-Watson \text{Nadaraya-Watson} Nadaraya-Watson核回归代码示例

关于径向基核函数与高斯核函数

在上述注意力机制基本介绍一节中,我们模糊了径向基核函数高斯核函数的区别。这里提出一些新的认识。两种核函数的公式表示如下:
{ RBF :  κ ( x , x ( i ) ) = exp ⁡ ( − γ ⋅ ∥ x − x ( i ) ∥ 2 ) Gaussian :  κ ( x , x ( i ) ) = exp ⁡ [ − 1 2 σ 2 ∥ x − x ( i ) ∥ 2 ] \begin{cases} \begin{aligned} & \text{RBF : } \kappa (x,x^{(i)}) = \exp ( - \gamma \cdot \|x - x^{(i)}\|^2) \\ & \text{Gaussian : } \kappa(x,x^{(i)}) = \exp \left[- \frac{1}{2\sigma^2} \|x - x^{(i)}\|^2 \right] \end{aligned} \end{cases} RBF : κ(x,x(i))=exp(γxx(i)2)Gaussian : κ(x,x(i))=exp[2σ21xx(i)2]
相比之下,径向基核函数它的参数 γ ∈ [ 0 , 1 ] \gamma \in [0,1] γ[0,1],相比高斯核函数 σ \sigma σ的范围描述的更加方便

关于高维向量的核函数表示

根据上面公式,高维向量的核函数表示,其核心步骤是范数的表示。可以使用numpy模块中的numpy.linalg.norm()方法进行表示。下面分别通过调用径向基核函数模块sklearn.metrics.pairwise.rbf_kernel以及手写方式进行实现:

import numpy as np
from sklean.metrics.pairwise import rbf_kernel

def RBFKernelFunction(xInput, xSample, gamma):
    def NormCalculation(xInput, xSample):
        NormResult = np.linalg.norm(xInput - xSample)
        return NormResult ** 2
    return np.exp((-1 * gamma) * NormCalculation(xInput, xSample))

a = np.array([1,2,3,4])
b = np.array([5,6,7,4])

SklearnOut = rbf_kernel(a.reshape(1,-1),b.reshape(1,-1),gamma=0.5)
ManuOut = RBFKernelFunction(a.reshape(1,-1),b.reshape(1,-1),gamma=0.5)
# [[3.77513454e-11]]
print(SklearnOut)
# 3.775134544279111e-11
print(ManuOut)

关于回归任务的相关示例

完整代码如下:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import math
from tqdm import tqdm

def ReadXlsx(Path):
    Df = pd.read_excel(Path,sheet_name="Sheet1")
    return Df

def DealTokenAndLabel(Df):

    def DivideTokenAndLabel(ListInput):
        Label = ListInput.pop(3)
        return ListInput,Label

    def LinearCorrectOperation(Input,mode="Token"):
        assert mode in ["Token","Label"]
        if mode == "Token":
            OriginalToken = Input[3]
            UpdateToken = OriginalToken / 10.0
            Input[3] = round(UpdateToken,3)
        else:
            UpdateLabel = Input * 10.0
            Input = round(UpdateLabel,4)
        return Input

    DataList = list()
    LabelList = list()
    for (Ids,i) in Df.iterrows():
        Token,Label = DivideTokenAndLabel(list(i))
        UpdateToken = LinearCorrectOperation(Token)
        UpdateLabel = LinearCorrectOperation(Label,mode="Label")
        DataList.append(np.array(UpdateToken))
        LabelList.append(np.array(UpdateLabel))
    return DataList,LabelList

def AlgorithmProcess(DataList,LabelList,gamma,mode="RBF"):

    assert mode in ["Linear","RBF"]

    def RBFKernelFunction(xInput,xSample,gamma):

        def NormCalculation(xInput, xSample):
            NormResult = np.linalg.norm(xInput - xSample)
            return NormResult ** 2

        return np.exp((-1 * gamma) * NormCalculation(xInput, xSample))

    def LinearKernelFunction(xInput,xSample):

        return np.dot(xInput,xSample)

    def SoftmaxFunction(xInput,xSample,gamma,mode):

        if mode == "Linear":
            return LinearKernelFunction(xInput,xSample) / sum(LinearKernelFunction(xInput,i) for i in DataList)
        else:
            return RBFKernelFunction(xInput,xSample,gamma) / sum(RBFKernelFunction(xInput,i,gamma) for i in DataList)


    def NWKernalRegressionResult(xInput,gamma,mode):
        KernelRegressionList = list()
        for _,(TokenSample,LabelSample) in enumerate(zip(DataList,LabelList)):
            if (TokenSample == xInput).all():
                continue
            else:
                if mode == "RBF":
                    xInput = xInput.reshape(1, -1)
                    TokenSample = TokenSample.reshape(1, -1)

                SoftmaxCoeff = SoftmaxFunction(xInput, TokenSample, gamma, mode)
                KernelRegressionList.append(SoftmaxCoeff * LabelSample)

        return sum(KernelRegressionList)

    return [NWKernalRegressionResult(i,gamma,mode) for i in DataList]
    # return NWKernalRegressionResult(xInput,gamma)

def EmpiricRiskStatic(mode):

    def EmpiricRisk(NWKernelPredictList,LabelList,mode="FirstOrder"):

        assert mode in ["FirstOrder","SecondOrder"]
        ErrorList = list()
        for _,(NWKernelPredict,Label) in enumerate(zip(NWKernelPredictList,LabelList)):

            if mode == "FirstOrder":
                ErrorList.append(abs(NWKernelPredict - Label))
            else:
                ErrorList.append((NWKernelPredict - Label) ** 2)
        return sum(ErrorList) / len(ErrorList)

    GammaLimits = list(np.linspace(0, 0.5, 2000))
    EmpiricRiskList = list()
    EmpiricRiskListSecond = list()
    for GammaChoice in tqdm(GammaLimits):
        NWKernelPredictList = AlgorithmProcess(DataList,LabelList,GammaChoice,mode=mode)
        EmpiricRiskResult = EmpiricRisk(NWKernelPredictList, LabelList)
        EmpiricRiskList.append(EmpiricRiskResult)
        EmpiricRiskResultSecond = EmpiricRisk(NWKernelPredictList,LabelList,mode="SecondOrder")
        EmpiricRiskListSecond.append(EmpiricRiskResultSecond)

    plt.scatter(GammaLimits,EmpiricRiskList,s=2,c="tab:blue")
    plt.scatter(GammaLimits,EmpiricRiskListSecond,s=2,c="tab:orange")
    plt.savefig("EmpiricRisk.png")
    plt.show()

if __name__ == '__main__':
    Path = r""
    DataList, LabelList = DealTokenAndLabel(ReadXlsx(Path))
    EmpiricRiskStatic(mode="RBF")

关于使用 Nadaraya-Watson \text{Nadaraya-Watson} Nadaraya-Watson核回归时,需要注意的点:

  • 由于 Nadaraya-Watson \text{Nadaraya-Watson} Nadaraya-Watson核回归自身是懒惰学习方法,因此,这里唯一的参数就是径向基核函数中描述的 γ \gamma γ。而针对选择最优 γ \gamma γ,这里使用的目标函数经验风险 ( Empiric Risk ) (\text{Empiric Risk}) (Empiric Risk)
    J ( γ ) = E P ^ d a t a { L [ f ( x ( i ) ; γ ) , y ( i ) ] } = 1 M ∑ i = 1 M L [ f ( x ( i ) ; γ ) , y ( i ) ] \mathcal J(\gamma) =\mathbb E_{\hat {\mathcal P}_{data}} \left\{\mathcal L[f(x^{(i)};\gamma),y^{(i)}]\right\} = \frac{1}{\mathcal M} \sum_{i=1}^{\mathcal M} \mathcal L[f(x^{(i)};\gamma),y^{(i)}] J(γ)=EP^data{L[f(x(i);γ),y(i)]}=M1i=1ML[f(x(i);γ),y(i)]
    其中 L [ f ( x ( i ) ; γ ) ] \mathcal L[f(x^{(i)};\gamma)] L[f(x(i);γ)]表示关于 x ( i ) x^{(i)} x(i)预测结果 f ( x ( i ) ) f(x^{(i)}) f(x(i))真实标签 y ( i ) y^{(i)} y(i)之间的差异性结果,也就是损失函数 L ( ⋅ ) \mathcal L(\cdot) L() x ( i ) x^{(i)} x(i)点处的结果。目标函数确定后,这里的处理方式是:

    • γ \gamma γ确定的情况下,将数据集 P ^ d a t a \hat {\mathcal P}_{data} P^data中的每一个样本抽取出来,并使用剩余样本进行预测;
      值得注意的是:在抽取操作结束后,使用剩余样本做预测。因为如果被抽取样本依然保留在数据集内,那么在计算权重系数 κ ( x , x ( i ) ) ∑ j = 1 N κ ( x , x ( j ) ) \begin{aligned}\frac{\kappa(x,x^{(i)})}{\sum_{j=1}^N \kappa (x,x^{(j)})}\end{aligned} j=1Nκ(x,x(j))κ(x,x(i))过程中,数据集内与被抽取样本相同的样本其权重必然占据极高比重,因为该项的分子必然是 1 ( e 0 ) 1(e^0) 1(e0),从而该样本的预测结果会被数据集内相同的样本进行主导或者控制。个人实践踩过的坑~
    • 在所有样本均被遍历一次后,计算 J ( γ ) \mathcal J(\gamma) J(γ),记录并修改 γ \gamma γ,执行下一次迭代。从而通过统计的方式得到 γ ∈ [ 0 , 1 ] \gamma \in [0,1] γ[0,1]中的最优解
  • 关于损失函数 L [ f ( x ( i ) ; γ ) , y ( i ) ] \mathcal L[f(x^{(i)};\gamma),y^{(i)}] L[f(x(i);γ),y(i)],可以使用曼哈顿距离( 1 1 1阶)或者欧几里得距离( 2 2 2阶)对标签之间的差异性进行描述:
    无论 f ( x ( i ) ; γ ) f(x^{(i)};\gamma) f(x(i);γ)还是 y ( i ) y^{(i)} y(i)都是标量形式。因而没有使用范数进行表达。
    L [ f ( x ( i ) ; γ ) , y ( i ) ] = { ∣ f ( x ( i ) ; γ ) − y ( i ) ∣ ⇒ Manhattan Distance [ f ( x ( i ) ; γ ) − y ( i ) ] 2 ⇒ Euclidean Distance \mathcal L[f(x^{(i)};\gamma),y^{(i)}] = \begin{cases} \left|f(x^{(i)};\gamma) - y^{(i)} \right| \quad \Rightarrow \text{Manhattan Distance}\\ \quad \\ \left[f(x^{(i)};\gamma) - y^{(i)} \right]^2 \quad \Rightarrow \text{Euclidean Distance} \end{cases} L[f(x(i);γ),y(i)]= f(x(i);γ)y(i) Manhattan Distance[f(x(i);γ)y(i)]2Euclidean Distance

这里基于某数据集的回归任务,关于曼哈顿距离、欧式距离作为损失函数, J ( γ ) \mathcal J(\gamma) J(γ) γ \gamma γ之间的关联关系表示如下:
其中横坐标表示 γ \gamma γ的取值;纵坐标表示 J ( γ ) \mathcal J(\gamma) J(γ)的映射结果。
机器学习笔记之核函数再回首:Nadarya-Watson核回归python手写示例,python,机器学习,径向基核函数,Nadaraya-Watson,回归任务,python,经验风险
其中蓝色点形状表示曼哈顿距离作为损失函数的图像结果;而橙色点形状表示欧几里得距离作为损失函数的图像结果。从图中可以看出:在相似位置可以得到目标函数的最小值
需要注意的是,两种函数无法相互比较,因为两者对应目标函数的值域不同。

个人想法

虽然通过统计的方式得到了 γ \gamma γ的最优解,但它可能并不准。或者说:基于当前数据集 P ^ d a t a \hat {\mathcal P}_{data} P^data,使用径向基核函数条件下的最准结果。其他优化的方式有:

  • 核函数的选择;
    一般情况下,线性核函数本身是够用的。
  • 扩充样本数据;
    • 在最早的概率与概率模型中介绍过,模型预测的不准的本质原因是预测模型与真实模型之间的差异性较大。而在 Nadaraya-Watson \text{Nadaraya-Watson} Nadaraya-Watson核回归中,并没有涉及到具体模型。因而反馈的结果是:当前训练集所描述的概率分布真实分布之间存在较大差距
    • 由于真实分布是客观存在的,也就是说训练集的样本越多,分布就越稳定。体现在参数 γ \gamma γ中的效果是:在样本数量较少时,不同的数据集对应的 γ \gamma γ差异性可能很大(波动较大);随着样本数量的增多, γ \gamma γ会逐渐趋于稳定

文章来源地址https://www.toymoban.com/news/detail-690414.html

到了这里,关于机器学习笔记之核函数再回首:Nadarya-Watson核回归python手写示例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能基础_机器学习006_有监督机器学习_正规方程的公式推导_最小二乘法_凸函数的判定---人工智能工作笔记0046

    我们来看一下公式的推导这部分比较难一些, 首先要记住公式,这个公式,不用自己理解,知道怎么用就行, 比如这个(mA)T 这个转置的关系要知道 然后我们看这个符号就是求X的导数,X导数的转置除以X的导数,就得到单位矩阵, 可以看到下面也是,各种X的导数,然后计算,得到对应的矩阵

    2024年02月08日
    浏览(58)
  • [学习笔记] [机器学习] 10. 支持向量机 SVM(SVM 算法原理、SVM API介绍、SVM 损失函数、SVM 回归、手写数字识别)

    视频链接 数据集下载地址:无需下载 学习目标: 了解什么是 SVM 算法 掌握 SVM 算法的原理 知道 SVM 算法的损失函数 知道 SVM 算法的核函数 了解 SVM 算法在回归问题中的使用 应用 SVM 算法实现手写数字识别器 学习目标: 了解 SVM 算法的定义 知道软间隔和硬间隔 在很久以前的

    2024年02月09日
    浏览(90)
  • 人工智能基础_机器学习007_高斯分布_概率计算_最小二乘法推导_得出损失函数---人工智能工作笔记0047

    这个不分也是挺难的,但是之前有详细的,解释了,之前的文章中有, 那么这里会简单提一下,然后,继续向下学习 首先我们要知道高斯分布,也就是,正太分布, 这个可以预测x在多少的时候,概率最大 要知道在概率分布这个,高斯分布公式中,u代表平均值,然后西格玛代表标准差,知道了

    2024年02月07日
    浏览(73)
  • 人工智能_机器学习065_SVM支持向量机KKT条件_深度理解KKT条件下的损失函数求解过程_公式详细推导_---人工智能工作笔记0105

    之前我们已经说了KKT条件,其实就是用来解决 如何实现对,不等式条件下的,目标函数的求解问题,之前我们说的拉格朗日乘数法,是用来对 等式条件下的目标函数进行求解. KKT条件是这样做的,添加了一个阿尔法平方对吧,这个阿尔法平方肯定是大于0的,那么 可以结合下面的文章去

    2024年02月04日
    浏览(43)
  • 机器学习激活函数

    激活函数是人工神经网络中的一个重要组成部分。它们用于向神经网络中添加非线性因素,使得网络能够解决复杂问题,如图像识别、语言处理等。激活函数的作用是决定一个神经元是否应该被激活,也就是说,它帮助决定神经元的输出是什么。 一些常见的激活函数包括:

    2024年02月01日
    浏览(37)
  • 机器学习——损失函数(lossfunction)

    问:非监督式机器学习算法使用样本集中的标签构建损失函数。   答:错误 。非监督式机器学习算法不使用样本集中的标签构建损失函数。这是因为非监督式学习算法的目的是在没有标签的情况下发现数据集中的特定结构和模式,因此它们依赖于不同于监督式学习的算法。

    2024年02月04日
    浏览(44)
  • 机器学习——SVM核函数

    核函数这块,原理理解起来,相对比较简单 但还是会有一些不太理解的地方 对于非线性可分的数据而言,在当前维度,直接使用SVM有分不出的情况 那么就可以从当前维度,直接升到更高维度,进行计算。 例如原本数据只有3个影响因素 x a , x b , x c x_a,x_b,x_c x a ​ , x b ​ ,

    2024年02月13日
    浏览(43)
  • 机器学习-sigmoid函数和relu函数-个人解读

    今天博主来解读一下sigmoid函数和relu函数,我觉得很多同学可能都知道这两个函数是什么,他们干什么的,他们有什么用,但是呢?我想这两个常用的激活函数内在的本质,很多同学应该不是很理解,今天博主就给出自己的一些解读。 首先,我们先谈谈激活函数是什么: 激活

    2024年02月16日
    浏览(37)
  • 机器学习笔记——机器学习的分类

    机器学习是人工智能的一个分支,它是一门研究机器获取新知识和新技能,并识别现有知识的学问。 机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA 序列测序、语音和手写识别、战略

    2024年01月18日
    浏览(36)
  • 【机器学习】机器学习笔记(吴恩达)

    https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes https://www.bilibili.com/video/BV164411b7dx?p=4 https://study.163.com/course/courseLearn.htm?courseId=1210076550#/learn/video?lessonId=1280912351courseId=1210076550 定义机器学习为:在进行特定编程的情况下,给予计算机 学习能力的领域。目前存在几种不同类型的学习算

    2024年02月06日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包