传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

这篇具有很好参考价值的文章主要介绍了传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

传统机器学习(七)支持向量机(1)

1 算法概述

1.1 超平面的理解

1.1.1 超平面公式

我们对“平面”概念的理解,一般是定义在三维空间中的,如下:

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

假设M和M0为平面上的两点,n为该平面的法向量,那么,通过下图可以容易推导出三维空间中的平面方程:
A x + B y + C z + D = 0 Ax + By+Cz+D=0 Ax+By+Cz+D=0
传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

我们把A、B、C写作w,把x、y、z写作x,且拓展到n维空间:
w 1 x 1 + w 2 x 2 + w 3 x 3 + . . . + w n x n + b = w T x + b = 0 w_1x_1 + w_2x_2 + w_3x_3 + ...+w_nx_n + b=w^Tx + b=0 w1x1+w2x2+w3x3+...+wnxn+b=wTx+b=0
因此,n维空间的超平面方程为
ω T x + b = 0 \omega^T x + b = 0 ωTx+b=0
虽然当维度大于3才可以成为“超”平面,但是你仍然可以认为,一条直线是 R2 空间内的超平面,一个平面是 R3 空间内的超平面 。Rn 空间的超平面是Rn 空间内的一个 n - 1 维的仿射子空间。

1.1.2 点到超平面的距离公式推导

我们已经知道,超平面A可以表达为:
ω T x + b = 0 \omega^T x + b = 0 ωTx+b=0
假设x'为超平面上任意一点,那么显然就满足:
ω T x ’ + b = 0 ( 公式 1 ) \omega^T x’ + b = 0 (公式1) ωTx+b=0(公式1)

我们知道,对于空间上任意一点 x, 到平面 A 的距离 H,等于 向量 xx’ 在平面A法向量上的投影。

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

而计算投影,将 xx’ 乘以法向量 w 即可。并且,我们不光要投影,还要计算单位,即使用单位为 1 的投影。也就是在分母除以 || w ||。所以,距离 H 可以表示为:
H = ∣ ω T ( x − x ′ ) ∣ ∣ ∣ ω ∣ ∣ ( 公式 2 ) H = \frac{\mid \omega^T (x-x') \mid}{\mid\mid \omega \mid\mid}(公式2) H=∣∣ω∣∣ωT(xx)(公式2)
然后,将公式1和公式2进行合并。

因此,样本空间中的任意一点 x,到超平面(w,b)的距离,可以表示为
d = ∣ ω T x + b ∣ ∣ ∣ ω ∣ ∣ d = \frac{\mid \omega^T x + b \mid}{\mid\mid \omega \mid\mid} d=∣∣ω∣∣ωTx+b

1.2 SVM硬间隔模型和损失函数

SVM硬间隔模型用于样本线性可分的二分类,它的原始目的是找出一个判别面,让样本离判断面的最小距离最大化。硬间隔是相对软间隔模型而言,软间隔不要求样本线性可分。

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

不过,由于直接找最优判别面较难找,SVM并不是直接找最优判别面,而是在两类样本之间,引入两个平行的支持面(支持面之间不能有样本),然后让支持平面尽量撑开。

当两个支持平面的距离最大化时,两个支持平面的中心,就是要找的最优判别面。所以,SVM的直接目标是找出距离最大化的两个支持面,从而找出最优判别面的原始目的。

落在支持面上的样本,称为支持向量,它们是模型的关键样本。

1.2.1 SVM支持面的表达式

(w,b)代表两个支持面的中心平面(即判别面)wx + b = 0,中心平面向两边展开d距离,就是两个支持面。
我们注意到 d 的取值范围为 ( 0 , + ∞ ) 对平面 w x + b = 0 , 1 ∥ w ∥ 的取值范围也是 ( 0 , + ∞ ) 不妨用 1 ∥ w ∥ 来替代 d , 这样可以消去 d 我们注意到d的取值范围为 (0,+\infty ) \\对平面wx+b=0,\dfrac{1}{\left \| w \right \| } 的取值范围也是 (0,+\infty ) \\不妨用\dfrac{1}{\left \| w \right \| } 来替代d,这样可以消去d 我们注意到d的取值范围为(0,+)对平面wx+b=0w1的取值范围也是(0,+)不妨用w1来替代d,这样可以消去d

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

因此,SVM对于支持面的表示如下:
支持面的表示方法: ( w , b ) 其中, w x + b = 0 是两个支持面的中心 ( 即判别面 ) d = 1 ∥ w ∥ 是支持面离中面心的距离,即由 w x + b = 0 ,两边展开 1 ∥ w ∥ 距离, 就得到了两个支持面 支持面的表示方法:(w,b) \\ 其中,wx+b=0是两个支持面的中心(即判别面) \\ d=\dfrac{1}{\left \| w \right \| }是支持面离中面心的距离,即由wx+b=0,两边展开\dfrac{1}{\left \| w \right \| } 距离,\\ 就得到了两个支持面 支持面的表示方法:(w,b)其中,wx+b=0是两个支持面的中心(即判别面)d=w1是支持面离中面心的距离,即由wx+b=0,两边展开w1距离,就得到了两个支持面

1.2.2 SVM模型表达式

SVM模型数学表达式为
y = sign ( w x + b ) \text{y} = \text{sign}(wx+b) y=sign(wx+b)
也就是判断样本是在判别面的正侧还是负侧,从而决定模型是正样本还是负样本。
由几何关系可知,样本到判别面的距离为 d ( x ) = ∣ w x + b ∥ w ∥ ∣ 如果保留距离的正负号,则有 d ± ( x ) = w x i + b ∥ w ∥ 即有: d ± ( x ) = w x + b ∥ w ∥ ⇒ d ± ( x ) = d ∗ ( w x + b ) ⇒ d ± ( x ) d = w x + b 其中 d = 1 ∥ w ∥ 是支持平面到判别平面的距离 由几何关系可知,样本到判别面的距离为 d(x) = \left | \dfrac{wx+b}{\left \| w \right \| } \right | \\ 如果保留距离的正负号,则有 d_{\pm }(x) = \dfrac{wx_i+b}{\left \| w \right \| } \\ 即有:\\ \begin{aligned} &d_{\pm }(x) = \dfrac{wx+b}{\left \| w \right \| } \\ \Rightarrow &d_{\pm }(x) = d*(wx+b) \\ \Rightarrow & \dfrac{ d_{\pm }(x)}{d} = wx+b \end{aligned} \\ 其中 d=\dfrac{1}{\left \| w \right \| }是支持平面到判别平面的距离 由几何关系可知,样本到判别面的距离为d(x)= wwx+b 如果保留距离的正负号,则有d±(x)=wwxi+b即有:d±(x)=wwx+bd±(x)=d(wx+b)dd±(x)=wx+b其中d=w1是支持平面到判别平面的距离
因此,如下图,wx + b的意义是:样本和判别面直接的距离支持面到判别面的距离的比值,符号代表在判别面的正侧还是负侧。

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

1.2.3 SVM模型的损失函数

1.2.3.1 损失函数的推导

优化目标

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

目标函数

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

1.2.3.2 损失函数的意义

损失函数的优化目标 L ( w , b ) =  1 2 ∥ w ∥ 2 本质是最小化 ∥ w ∥ , 又因为 ∥ w ∥ = 1 d ,所以本质是最大化两个支持面之间的距离 ( 2 d ) 将 ∥ w ∥ 改成 1 2 ∥ w ∥ 2 ,加平方是为了可以去掉范数里的根号, 同时乘以 1 2 ,进一步方便损失函数求导后的简洁 损失函数的优化目标 L(w,b) = \dfrac{1}{2} \left \| w \right \|^2 \\ 本质是最小化\left \| w \right \|,\\ 又因为\left \| w \right \|=\dfrac{1}{d},所以本质是最大化两个支持面之间的距离(2d) \\ 将 \left \| w \right \| 改成 \dfrac{1}{2} \left \| w \right \|^2 ,加平方是为了可以去掉范数里的根号,\\同时乘以\dfrac{1}{2} ,进一步方便损失函数求导后的简洁 损失函数的优化目标L(w,b)=21w2本质是最小化w又因为w=d1,所以本质是最大化两个支持面之间的距离(2d)w改成21w2,加平方是为了可以去掉范数里的根号,同时乘以21,进一步方便损失函数求导后的简洁

y i ( w x i + b ) ⩾ 1 ,可以将它拆成 y i = 1 , 和 y i = − 1 两种情况 ( w x i + b ) ⩾ 1 , y i = 1 ( w x i + b ) ≤ − 1 , y i = − 1 w x + b 的意义就是样本和判别面直接的距离与支持面到判别面的距离的比值,符号代表在判别面的正侧还是负侧。 因此约束条件是 y i = 1 时,即正样本,不能在正支持面的负侧 因此约束条件是 y i = − 1 时,即负样本,不能在负支持面的正侧 y_i(wx_i+b)⩾1,可以将它拆成\text{y}_i=1,和 \text{y}_i=-1两种情况 \\ (wx_i+b)⩾1,\text{y}_i=1 \\ (wx_i+b)≤-1,\text{y}_i=-1 \\ wx +b的意义就是样本和判别面直接的距离与支持面到判别面的距离的比值,符号代表在判别面的正侧还是负侧。\\ 因此约束条件是\text{y}_i=1时,即正样本,不能在正支持面的负侧\\ 因此约束条件是\text{y}_i=-1时,即负样本,不能在负支持面的正侧 yi(wxi+b)1,可以将它拆成yi=1,yi=1两种情况(wxi+b)1,yi=1(wxi+b)1,yi=1wx+b的意义就是样本和判别面直接的距离与支持面到判别面的距离的比值,符号代表在判别面的正侧还是负侧。因此约束条件是yi=1时,即正样本,不能在正支持面的负侧因此约束条件是yi=1时,即负样本,不能在负支持面的正侧
损失函数总的意思就是约束两个支持面必须在正负样本之间,且两个支持面之间不能有样本,然后最大化两个支持面之间的距离。

1.2.4 拉格朗日乘子法求解硬间隔损失函数

硬间隔的损失函数
目标函数 : L ( w , b ) =  1 2 ∥ w ∥ 2 约束条件 : y i ( w x i + b ) − 1 ⩾ 0 , i = 1 , 2 , 3 , . . . , N 目标函数: L(w,b) = \dfrac{1}{2} \left \| w \right \|^2 \\ 约束条件: y_i(wx_i+b) - 1⩾0,i=1,2,3,...,N 目标函数:L(w,b)=21w2约束条件:yi(wxi+b)10i=1,2,3,...,N
带有约束条件,一般先转为拉格朗日函数形式:
拉格朗日函数形式 : L ( w , b , a ) = 1 2 ∥ w ∥ 2 − ∑ i = 1 N a i [ y i ( w x i + b ) − 1 ] = 1 2 ∥ w ∥ 2 − ∑ i = 1 N a i y i ( w x i + b ) + ∑ i = 1 N a i 其中 a i ⩾ 0 拉格朗日函数形式: \\ L(w,b,a) = \dfrac{1}{2} \left \| w \right \|^2 - \sum\limits_{i=1}^N a_i[y_i(wx_i+b) - 1] \\ = \dfrac{1}{2} \left \| w \right \|^2 - \sum\limits_{i=1}^Na_iy_i(wx_i+b)+ \sum\limits_{i=1}^Na_i \\ 其中a_i⩾0 拉格朗日函数形式:L(w,b,a)=21w2i=1Nai[yi(wxi+b)1]=21w2i=1Naiyi(wxi+b)+i=1Nai其中ai0
svm求解

-- 满足以下两个条件,可以转为对偶问题
1.目标函数与约束条件是凸函数                  
2.约束条件里,是严格可执行的(即一定有解)
原问题与对偶问题的解就相等,且两个问题的解满足满足KKT条件

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

通过拉格朗日乘子法以及对原问题的对偶问题进行求解,我们得到了二次规划的公式。虽然我们已经把式子化简成了只有一种参数α,但这个极值又应该怎么求呢?这需要引入一个新的算法——SMO。

SMO的全写是Sequential Minimal Optimization,翻译过来是序列最小优化算法。算法的核心思想是由于我们需要寻找的是一系列的α值使得二次规划的公式取极值。后续会详细介绍SMO算法。

1.2.5 SVM求解实例

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

1.3 SVM软间隔模型和损失函数

  • 由于硬间隔损失函数的前提是样本一定线性可分,但现实中的数据往往无法线性可分,于是,在SVM硬间隔模型的基础上进行改进,提出了SVM软间隔模型。

  • 软间隔SVM模型与硬间隔SVM模型一致,仍然是判别平面+两个支持平面,用(w,b)表示,其中(w,b)代表判别平面,1/|w|代表支持平面到判别平面的距离。

  • 软间隔SVM模型与硬间隔SVM模型不同的是,软间隔SVM允许正支持平面的负侧有正样本,也允许负支持平面正侧有负样本,它的目标在于,尽量让两个支持面的距离更大的同时,样本的错误程度尽量少

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

1.3.1 SVM软间隔模型

SVM模型数学表达式为
y = sign ( w x + b ) \text{y} = \text{sign}(wx+b) y=sign(wx+b)
损失函数表达式为
目标函数 : L ( w , b ) = 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ϵ i 约束条件 : ( 1 ) y i ( w x i + b ) − ( 1 − ϵ i ) ⩾ 0 ( 2 ) ϵ i ⩾ 0 目标函数: L(w,b) = \dfrac{1}{2} \left \| w \right \|^2 + C\sum\limits_{i=1}^N\epsilon_i \\ 约束条件: (1) y_i(wx_i+b) - (1-\epsilon_i)⩾0 \\ (2)\epsilon_i⩾0 目标函数:L(w,b)=21w2+Ci=1Nϵi约束条件:(1)yi(wxi+b)(1ϵi)0(2)ϵi0

约束条件的意义
y i ( w x i + b ) ⩾ ( 1 − ϵ i ) ,可以将它拆成 y i = 1 , 和 y i = − 1 两种情况 ( w x i + b ) ⩾ ( 1 − ϵ i ) , y i = 1 ( w x i + b ) ≤ − ( 1 − ϵ i ) , y i = − 1 硬间隔 y i ( w x i + b ) ⩾ 1 ,代表正样本不能在正支持面的负侧,现在改为 y i ( w x i + b ) ⩾ ( 1 − ϵ i ) 其实是引入了松弛变量 ϵ i ,代表允许第 i 个正样本,可以在正支持面的负侧 ϵ i 位置 同理,第 i 个负样本,可以在负支持面的正侧 ϵ i 位置 y_i(wx_i+b)⩾(1-\epsilon_i),可以将它拆成\text{y}_i=1,和 \text{y}_i=-1两种情况 \\ (wx_i+b)⩾(1-\epsilon_i),\text{y}_i=1 \\ (wx_i+b)≤-(1-\epsilon_i),\text{y}_i=-1 \\ 硬间隔y_i(wx_i+b)⩾1,代表正样本不能在正支持面的负侧,现在改为y_i(wx_i+b)⩾(1-\epsilon_i)\\ 其实是引入了松弛变量\epsilon_i,代表允许第i个正样本,可以在正支持面的负侧\epsilon_i位置 \\ 同理,第i个负样本,可以在负支持面的正侧\epsilon_i位置 yi(wxi+b)(1ϵi),可以将它拆成yi=1,yi=1两种情况(wxi+b)(1ϵi),yi=1(wxi+b)(1ϵi),yi=1硬间隔yi(wxi+b)1,代表正样本不能在正支持面的负侧,现在改为yi(wxi+b)(1ϵi)其实是引入了松弛变量ϵi,代表允许第i个正样本,可以在正支持面的负侧ϵi位置同理,第i个负样本,可以在负支持面的正侧ϵi位置
传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

目标函数的意义
在约束条件的基础上,再在目标函数中,加入对所有样本总偏离的惩罚项 C ∑ i = 1 N ϵ i ,其中 C 为惩罚因子。 当 C 很大的时候,意味着分类严格不能有错误。 当 C 很大小时候,意味着可以有更大的错误容忍。 总的损失函数为 L ( w , b ) = 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ϵ i 这样既能够让两个支持面尽量最大化的同时,也在尽量降低支持面没有支持到样本的总偏离总量。 在约束条件的基础上,再在目标函数中,加入对所有样本总偏离的惩罚项C\sum\limits_{i=1}^N\epsilon_i,其中C为惩罚因子。\\ 当C很大的时候,意味着分类严格不能有错误。\\ 当C很大小时候,意味着可以有更大的错误容忍。\\总的损失函数为L(w,b) = \dfrac{1}{2} \left \| w \right \|^2 + C\sum\limits_{i=1}^N\epsilon_i \\ 这样既能够让两个支持面尽量最大化的同时,也在尽量降低支持面没有支持到样本的总偏离总量。 在约束条件的基础上,再在目标函数中,加入对所有样本总偏离的惩罚项Ci=1Nϵi,其中C为惩罚因子。C很大的时候,意味着分类严格不能有错误。C很大小时候,意味着可以有更大的错误容忍。总的损失函数为L(w,b)=21w2+Ci=1Nϵi这样既能够让两个支持面尽量最大化的同时,也在尽量降低支持面没有支持到样本的总偏离总量。

软间隔支持向量定义

我们已经知道,硬间隔的支持向量,是指落在支持面上的样本。

而软间隔的支持向量,指的是落在支持面上的样本,及支持面没支持住的样本。

实质就是决定支持面的关键样本,在这点上与硬间隔是统一与一致的。不够软间隔支持面不仅要考虑最大间隔,还要考虑没支持住的样本。

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

1.3.2 拉格朗日乘子法求解软间隔损失函数

带有约束条件,一般先转为拉格朗日函数形式,再通过交换拉格朗日函数形式中的优化顺序来获得对偶问题。

软间隔损失函数如下:
目标函数 : L ( w , b ) = 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ϵ i 约束条件 : ( 1 ) y i ( w x i + b ) − ( 1 − ϵ i ) ⩾ 0 , i = 1 , 2 , 3 , . . . , N ( 2 ) ϵ i ⩾ 0 , i = 1 , 2 , 3 , . . . , N 目标函数: L(w,b) = \dfrac{1}{2} \left \| w \right \|^2 + C\sum\limits_{i=1}^N\epsilon_i \\ 约束条件: (1) y_i(wx_i+b) - (1-\epsilon_i)⩾0 ,i=1,2,3,...,N\\ (2)\epsilon_i⩾0,i=1,2,3,...,N 目标函数:L(w,b)=21w2+Ci=1Nϵi约束条件:(1)yi(wxi+b)(1ϵi)0i=1,2,3,...,N(2)ϵi0i=1,2,3,...,N

传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数

推导过程可以参考:http://ml.bbbdata.com/site/text/226

1.4 SVM多类别模型

SVM的多类别模型,是基于两分类模型的基础上,进行改进得到的。它将样本数据按类别进行两两建模,最终得到 k*(k-1)/2个模型,k是类别个数。
在预测时,用这 k ∗ ( k − 1 ) / 2 个模型分别对样本进行投票,对于用 i , j 建立的模型, 如果输出的判别值 > 0 ,则认为是 i 类,给 i 类投一票如果输出的判别值 ⩽ 0 ,则认为是 j 类,给 j 类投一票 共 k ∗ ( k − 1 ) / 2 个模型,所以一共 k ∗ ( k − 1 ) / 2 票,最后哪个类别的得票最多,就认为是哪个类别 在预测时,用这 k*(k-1)/2 个模型分别对样本进行投票,对于用i,j建立的模型,\\ 如果输出的判别值>0,则认为是i类,给i类投一票 如果输出的判别值\leqslant0,则认为是j类,给j类投一票 \\ 共 k*(k-1)/2 个模型,所以一共 k*(k-1)/2票,最后哪个类别的得票最多,就认为是哪个类别 在预测时,用这k(k1)/2个模型分别对样本进行投票,对于用i,j建立的模型,如果输出的判别值>0,则认为是i类,给i类投一票如果输出的判别值0,则认为是j类,给j类投一票k(k1)/2个模型,所以一共k(k1)/2票,最后哪个类别的得票最多,就认为是哪个类别

本篇博客借鉴大佬的博客网站:

http://ml.bbbdata.com/site/text/223

https://www.huaxiaozhuan.com/

https://apachecn.org/#/docs/tree/README文章来源地址https://www.toymoban.com/news/detail-426998.html

到了这里,关于传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • SVM(支持向量机)-机器学习

    支持向量机(Support Vector Machine,SVM) 是一种用于分类和回归分析的监督学习算法 。它属于机器学习中的一类强大而灵活的模型,广泛应用于模式识别、图像分类、自然语言处理等领域。 基本原理: SVM的基本原理是通过找到能够有效分隔不同类别的超平面来进行分类。在二维

    2024年02月03日
    浏览(48)
  • 机器学习——支持向量机SVM

    支持向量机(SVM)是一种二类分类模型,其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大,间隔最大使它有别于感知机,支持向量机也可通过核技巧使它成为非线性分类器。支持向量机的学习策略是间隔最大化,可将其转化为一个求解凸二次

    2024年01月17日
    浏览(51)
  • 【机器学习】支持向量机SVM入门

    相较于之前学习的线性回归和神经网络,支持向量机(Supprot Vector Machine,简称SVM)在拟合复杂的非线性方程的时候拥有更出色的能力,该算法也是十分经典的算法之一。接下来我们需要学习这种算法 首先我们回顾逻辑回归中的经典假设函数,如下图: 对于任意一个实例 (

    2024年02月15日
    浏览(51)
  • 机器学习算法:支持向量机(SVM)

    Solem《python计算机视觉编程》、李航《统计学习方法》、周志华《机器学习》 要理解好支持向量机需要较好的数学功底,且能不被公式以及文字绕晕,这里我们就理清楚支持向量机的大体过程。具体的数学计算推导其实已经封装好了,那么理解算法的原理也对我们将来的学习

    2024年02月03日
    浏览(46)
  • 机器学习(六)支持向量机(SVM)

    目录 1.间隔与支持向量 1.1线性可分 1.2支持向量 1.3 最大间隔超平面 2.对偶问题 2.1拉格朗日乘子法 2.2 SMO算法 2.3SMO算法代码实现 3.核函数 4. SVM实例(手写体数字识别) 5.实验总结 支持向量机(SVM) 是有监督学习中最有影响力的机器学习算法之一,一般用于解决二分类问题(

    2024年02月09日
    浏览(49)
  • 机器学习:基于支持向量机(SVM)进行人脸识别预测

    作者:i阿极 作者简介:Python领域新星作者、多项比赛获奖者:博主个人首页 😊😊😊如果觉得文章不错或能帮助到你学习,可以点赞👍收藏📁评论📒+关注哦!👍👍👍 📜📜📜如果有小伙伴需要数据集和学习交流,文章下方有交流学习区!一起学习进步!💪 专栏案例:

    2024年01月23日
    浏览(45)
  • 机器学习:Python中如何使用支持向量机(SVM)算法

    (简单介绍一下支持向量机,详细介绍尤其是算法过程可以查阅其他资) 在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类(异常值检测)以及回归分析。 其具有以下特征: (1)SVM可以表示为凸优化问题,因此可以利用已知的

    2024年02月04日
    浏览(51)
  • 第29步 机器学习分类实战:支持向量机(SVM)建模

    支持向量机(SVM)建模。 先复习一下参数(传送门),需要调整的参数有: ① kernel:{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’},默认为’rbf’。使用的核函数,必须是“linear”,“poly”,“rbf”,“sigmoid”,“precomputed”或者“callable”中的一个。 ② c:浮点

    2024年02月02日
    浏览(60)
  • [学习笔记] [机器学习] 10. 支持向量机 SVM(SVM 算法原理、SVM API介绍、SVM 损失函数、SVM 回归、手写数字识别)

    视频链接 数据集下载地址:无需下载 学习目标: 了解什么是 SVM 算法 掌握 SVM 算法的原理 知道 SVM 算法的损失函数 知道 SVM 算法的核函数 了解 SVM 算法在回归问题中的使用 应用 SVM 算法实现手写数字识别器 学习目标: 了解 SVM 算法的定义 知道软间隔和硬间隔 在很久以前的

    2024年02月09日
    浏览(87)
  • 机器学习实战:Python基于支持向量机SVM-RFE进行分类预测(三)

    1.1 支持向量机的介绍 支持向量机( Support Vector Machine,SVM )是一种监督学习的分类算法。它的基本思想是找到一个能够最好地将不同类别的数据分开的超平面,同时最大化分类器的边际(margin)。SVM的训练目标是最大化间隔(margin),即支持向量到超平面的距离。 具体地,

    2024年02月05日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包