机器学习---支持向量机的初步理解

这篇具有很好参考价值的文章主要介绍了机器学习---支持向量机的初步理解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. SVM的经典解释

改编自支持向量机解释得很好 |字节大小生物学 (bytesizebio.net)

       话说,在遥远的从前,有一只贪玩爱搞破坏的妖怪阿布劫持了善良美丽的女主小美,智勇双全

的男主大壮挺身而出,大壮跟随阿布来到了妖怪的住处,于是,妖怪将两种能量球吐到了桌子上,

并要求大壮用他手里的棍子将两种能量球分开,如果大壮能赢得游戏,就成全他和小美。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

大壮思索了片刻,就将他手里的棍子放了上去,正好将两种能量球分到不同阵营。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

然后阿布胸有成竹的又吐出了新的球,恰巧有一个球在不属于他的阵营。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

大壮将手里的棍子变粗,并试图通过在棍子两侧留出尽可能大的间隙来将棍子放在最佳位置。 

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

阿布气急败坏,将桌子上的能量球全部打乱顺序。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

        大壮一时间想不出办法,阿布转身就要和小美去玩游戏,大壮很生气的拍了一下桌子,恍然

大悟,并将手里的棍子扔了出去。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

 在阿布的眼中,棍子正好穿过了所有的能量球,并将其划分在不同的领域。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

棍子也恰好打在了阿布的头上,大壮和小美幸福的生活在了一起。 

        经过后人的杜篡,将球写成了数据(data),将棍子写为了分类(classifier ),将最大间隙

写成了最优化(optimization)、将拍桌子描绘成核方法(kernelling),将桌子写为超平面

(hyperplane)。

2. SVM的算法定义

        SVM全称是supported vector machine(⽀持向量机),即寻找到⼀个超平⾯使样本分成两

类,并且间隔最大。 SVM能够执⾏线性或非线性分类、回归,甚⾄是异常值检测任务。它是机器

学习领域最受欢迎的模型之⼀。SVM特别适用于中小型复杂数据集的分类。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

超平面最⼤间隔介绍:
机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

        上左图显示了三种可能的线性分类器的决策边界:虚线所代表的模型表现非常糟糕,甚至都

⽆法正确实现分类。其余两个模型在这个训练集上表现堪称完美,但是它们的决策边界与实例过于

接近,导致在面对新实例时,表现可能不会太好。 右图中的实线代表SVM分类器的决策边界,不

仅分离了两个类别,且尽可能远离最近的训练实例。 

2.1 硬间隔

       在上面我们使用超平⾯进行分割数据的过程中,如果我们严格地让所有实例都不在最⼤间隔之

间,并且位于正确的⼀边,这就是硬间隔分类。 硬间隔分类有两个问题,⾸先,它只在数据是线

性可分离的时候才有效;其次,它对异常值非常敏感。

        当有⼀个额外异常值的鸢尾花数据:左图的数据根本找不出硬间隔,⽽右图最终显示的决策

边界与我们之前所看到的⽆异常值时的决策边界也⼤不相同,可能⽆法很好地泛化。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

2.2 软间隔

        要避免这些问题,最好使⽤更灵活的模型。⽬标是尽可能在保持最⼤间隔宽阔和限制间隔违

例(即位于最⼤间隔之上, 甚⾄在错误的⼀边的实例)之间找到良好的平衡,这就是软间隔分

类。 要避免这些问题,最好使⽤更灵活的模型。⽬标是尽可能在保持间隔宽阔和限制间隔违例之

间找到良好的平衡,这就是软间隔分类。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

       在Scikit-Learn的SVM类中,可以通过超参数C来控制这个平衡:C值越小,则间隔越宽,但是

间隔违例也会越多。上图显示了在⼀个非线性可分离数据集上,两个软间隔SVM分类器各自的决

策边界和间隔。 左边使用了高C值,分类器的错误样本(间隔违例)较少,但是间隔也较小。 右

边使用了低C值,间隔大了很多,但是位于间隔上的实例也更多。看起来第⼆个分类器的泛化效果

更好,因为⼤多数间隔违例实际上都位于决策边界正确的⼀边,所以即便是在该训练集上,它做出

的错误预测也会更少。 

3. SVM的损失函数

在SVM中,我们主要讨论三种损失函数:

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

绿色:0/1损失

        当正例的点落在y=0这个超平⾯的下边,说明是分类正确,⽆论距离超平⾯所远多近,误差都是0。

        当这个正例的样本点落在y=0的上方,说明分类错误,⽆论距离多远多近,误差都为1。 

        图像就是上图绿色线。

蓝色:SVM Hinge损失函数

        当⼀个正例点落在y=1的直线上,距离超平面长度1,那么1-ξ=1,ξ=0,也就是说误差为0。 

        当它落在距离超平面0.5的地方,1-ξ=0.5,ξ=0.5,也就是说误差为0.5。

        当它落在y=0上的时候,距离为0,1-ξ=0,ξ=1,误差为1。

        当这个点落在了y=0的上方,被误分到了负例中,距离算出来应该是负的,比如-0.5,那么1-

ξ=-0.5,ξ=1.5。误差为1.5。

        以此类推,画在⼆维坐标上就是上图中蓝色那根线了。

红色:Logistic损失函数

        损失函数的公式为:机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

        当y = 0时,损失等于ln2,这样线很难画,所以给这个损失函数除以ln2,这样到y = 0时,损

失为1,即损失函数过(0,1)点,即上图中的红色线。 

4. SVM的核方法

       核函数并不是SVM特有的,核函数可以和其他算法也进⾏结合,只是核函数与SVM结合的优

势非常⼤。核函数,是将原始输⼊空间映射到新的特征空间,从而,使得原本线性不可分的样本可

能在核空间可分。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

       下图所示的两类数据,分别分布为两个圆圈的形状,这样的数据本身就是线性不可分的,此时

该如何把这两类数据分开呢? 

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

       假设X是输⼊空间, H是特征空间, 存在⼀个映射ϕ使得X中的点x能够计算得到H空间中的点

h, 对于所有的X中的点都成立:

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

若x,z是X空间中的点,函数k(x,z)满足下述条件,则称k为核函数,⽽ϕ为映射函数:

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

核方法案例1:

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能经过上⾯公式,具体变换过过程为:

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

核方法案例2:

       下⾯这张图位于第⼀、⼆象限内。我们关注红色的门,以及“北京四合院”这⼏个字和下面的紫

色的字母。 下⾯这张图位于第⼀、⼆象限内。我们关注红色的门,以及“北京四合院”这几个字和下

⾯的紫色的字母。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

       绿色的平面可以完美地分割红色和紫色,两类数据在三维空间中变成线性可分的了。 三维中

的这个判决边界,再映射回⼆维空间中:是⼀条双曲线,它不是线性的。 核函数的作用就是⼀个

从低维空间到高维空间的映射,⽽这个映射可以把低维空间中线性不可分的两类点变成线性可分

的。

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能

常见的核函数:

机器学习---支持向量机的初步理解,机器学习,机器学习,支持向量机,人工智能1.多项核中,d=1时,退化为线性核;

2.高斯核亦称为RBF核。 

线性核和多项式核:

        这两种核的作用也是⾸先在属性空间中找到⼀些点,把这些点当做base,核函数的作用就是

找与该点距离和角度满足某种关系的样本点。

        当样本点与该点的夹角近乎垂直时,两个样本的欧式长度必须非常长才能保证满足线性核函

数大于0;而当样本点与base点的方向相同时,长度就不必很长;而当方向相反时,核函数值就是

负的,被判为反类。即它在空间上划分出⼀个梭形,按照梭形来进⾏正反类划分。

RBF核:

          高斯核函数就是在属性空间中找到⼀些点,这些点可以是也可以不是样本点,把这些点当做

base,以这些 base 为圆心向外扩展,扩展半径即为带宽,即可划分数据。 换句话说,在属性空

间中找到⼀些超圆,⽤这些超圆来判定正反类。

Sigmoid核:

        同样地是定义⼀些base, 核函数就是将线性核函数经过⼀个tanh函数进⾏处理,把值域限制

在了-1到1上。 总之,都是在定义距离,⼤于该距离,判为正,小于该距离,判为负。至于选择哪

⼀种核函数,要根据具体的样本分布情况来确定。

⼀般有如下指导规则:

       1) 如果Feature的数量很大,甚至和样本数量差不多时,往往线性可分,这时选用LR或者线

性核Linear;

       2) 如果Feature的数量很小,样本数量正常,不算多也不算少,这时选用RBF核;

       3) 如果Feature的数量很小,而样本的数量很大,这时⼿动添加⼀些Feature,使得线性可

分,然后选用LR或者线性核Linear;

       4) 多项式核⼀般很少使用,效率不高,结果也不优于RBF;

       5) Linear核参数少,速度快;RBF核参数多,分类结果⾮常依赖于参数,需要交叉验证或网

格搜索最佳参数,⽐较耗时;

       6)应用最⼴的应该就是RBF核,⽆论是小样本还是⼤样本,高维还是低维等情况,RBF核函

数均适用。

 文章来源地址https://www.toymoban.com/news/detail-738283.html

 

 

 

 

 

 

 

到了这里,关于机器学习---支持向量机的初步理解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习-6 支持向量机

    支持向量机(SVM)是一种基于 统计学习理论 的 监督学习 方法。 支持向量机在各个领域内的模式识别问题中都有广泛应用,包括人脸识别、文本分类、笔迹识别等。 支持向量机解决不同类型的问题: 当训练数据 线性可分 时,通过 硬间隔最大化 ,学习一个线性可分支持向

    2024年02月08日
    浏览(41)
  • 机器学习—支持向量机

    在本练习中,我们将使用支持向量机(SVM)来构建垃圾邮件分类器。 在开始练习前,需要 下载如下的文件进行数据上传 : data.tgz -包含本练习中所需要用的数据文件 其中: ex5data1.mat -数据集示例1 ex5data2.mat -数据集示例2 ex5data3.mat -数据集示例 3 spamTrain.mat -垃圾邮件训练集

    2024年02月09日
    浏览(38)
  • 【机器学习】支持向量机(上)

    支持向量机作为传统机器学习算法中的霸主,其背后的数学知识是相当复杂且精密的。对于每个学习机器学习的同学而言,理解并掌握支持向量机的思路对于认识和学习其他算法也会起到非常巨大的推动作用。遗憾的是,鲜有博客能真正说清楚它的美妙之处,这也包括一些高

    2024年02月13日
    浏览(48)
  • 机器学习 -- 支持向量机

    之前尝试用knn算法尝试一个图像识别(给苹果,香蕉分类)的案例,很吃性能且准确率不佳。支持向量机(SVM)是一种广泛应用于分类和回归问题的强大监督学习算法。就很适用于这种场景。 支持向量(Support Vectors) 在支持向量机(SVM)中,支持向量是非常核心的概念。它

    2024年01月25日
    浏览(33)
  • 机器学习——支持向量机

    【说明】文章内容来自《机器学习——基于sklearn》,用于学习记录。若有争议联系删除。         支持向量机(support vector machine,SVM)是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面(maximum-marginhyperplane)。与逻辑

    2024年02月03日
    浏览(46)
  • 支持向量机(SVM)白话之个人理解(学习记录)

    本文仅有文字理解部分,没有相应的数学公式推导过程,便于新手理解。 首先我们看下面这张图,在图中圆形和三角形分别代表不同的数据类型,如何画出一条直线使两者能够显著地区分开来呢? 答案可以多种多样,我们可以画出无数条直线将这两种数据分开。那么如何判

    2024年04月12日
    浏览(33)
  • 动手机器学习支持向量机+习题

    非参数化模型,当数据集规模增大时,其参数量也相应变多 希望从这无数个可以分隔两个点集的超平面中,挑选出与任意一点间隔(margin)的最小值最大的平面 对上式来说,当w和b的大小同时变为λ倍时,式中的分母||w||也变为λ倍,这时划分超平面完全不变  定义γ = yi(wx+

    2024年04月09日
    浏览(38)
  • 机器学习_8、支持向量机

    2024年01月23日
    浏览(35)
  • 机器学习——支持向量机SVM

    支持向量机(SVM)是一种二类分类模型,其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大,间隔最大使它有别于感知机,支持向量机也可通过核技巧使它成为非线性分类器。支持向量机的学习策略是间隔最大化,可将其转化为一个求解凸二次

    2024年01月17日
    浏览(52)
  • 机器学习-支持向量机SVM

    在本练习中,我们将使用支持向量机(SVM)来构建垃圾邮件分类器。 我们将从一些简单的2D数据集开始使用SVM来查看它们的工作原理。 然后,我们将对一组原始电子邮件进行一些预处理工作,并使用SVM在处理的电子邮件上构建分类器,以确定它们是否为垃圾邮件。 我们要做

    2024年02月12日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包