支持向量机(SVM)白话之个人理解(学习记录)

这篇具有很好参考价值的文章主要介绍了支持向量机(SVM)白话之个人理解(学习记录)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文仅有文字理解部分,没有相应的数学公式推导过程,便于新手理解。

一、什么是支持向量机

首先我们看下面这张图,在图中圆形和三角形分别代表不同的数据类型,如何画出一条直线使两者能够显著地区分开来呢?

支持向量机(SVM)白话之个人理解(学习记录),支持向量机,学习,算法,数学建模,机器学习

答案可以多种多样,我们可以画出无数条直线将这两种数据分开。那么如何判断哪一条直线画的最好呢?这就牵扯到我们划该直线的目的。当另外又来了一个数据时,我们可以根据划分的直线来判断这个数据属于哪一种类型?对的,这个数据的类型我们可以估计为和它所在的那一侧的数据类型一样的数据类型。所以,我们可以看到上侧所画的红线就相对不是很好,因为当来了一个新数据接近与该直线时,我们有很大的几率将这个数据判断错误。

于是,我们进一步拓展:此时数据是在一个平面内,那如果是在三维、四维以及高维空间内呢?在二维空间内,我们可以找到一个平面来区分这些三维数据,这个平面就称为超平面。于是乎,我们提出:针对多个n维的数据类型,我们可以相应地找到一个n-1维的超平面来区分这两类n维数据类型。

我们重新回到二维平面上来,我们将所画的直线称之为决策边界(也叫超平面)。那么怎样的决策边界才是好的决策边界呢?根据上边的分析,我们初步认识到,当决策边界与两侧的数据都保持一定的距离时,这个距离在分析决策时起到了一个缓冲的作用,从而使出错的概率大大降低。那么这个缓冲区我们称之为间隔。而寻找最佳决策边界线其实就是找到间隔最大的那条直线。

支持向量机(SVM)白话之个人理解(学习记录),支持向量机,学习,算法,数学建模,机器学习

由上图知,蓝线是最佳决策边界(决策超平面),其到两侧黑线的距离相等,而两侧黑线与两类数据相距最近的点相切。我们把黑线称为正超平面和负超平面(上侧是正超平面,下侧是负超平面)。而两侧黑线相切的点决定了间隔的大小,我们称相切的点为支持向量点,这也是支持向量机的由来。

二、进一步研究

探究一

如果两类数据类型中有一类数据有离群点(比如下图中的红点),我们按照之前的思路就会得到下图。

支持向量机(SVM)白话之个人理解(学习记录),支持向量机,学习,算法,数学建模,机器学习

在上图中,虚线表示加入离群点后的超平面及其两侧正负超平面。而实线则是没加入红点之前的超平面和两侧正负超平面。那么我们是否要按照原来的思路选择虚线作为最终结果呢?我们可以看到,如果选择虚线,那么间隔距离就会大大减少,出错的概率就会增大。为此在上图中我们不妨舍弃这个异常离群点,仍旧选择实线作为输出结果。在上图中,我们把原来的间隔称为软间隔,把加入红点后的间隔称为硬间隔,而因为加入而失去的距离称为损失因子

当然,在实际问题中,离群点可能会很多并且很复杂,那么我们就需要用相应的数学方法去考量要不要舍弃某些离群点,在牺牲间隔距离和减少出错率之间达到最佳的平衡。

探究二

如果出现两类数据类型如下图所示,我们该如何分类画线呢?(两类数据分别用红点和蓝点表示)

支持向量机(SVM)白话之个人理解(学习记录),支持向量机,学习,算法,数学建模,机器学习

为解决此类问题人们想出了升维转换这个方法,即下图。

支持向量机(SVM)白话之个人理解(学习记录),支持向量机,学习,算法,数学建模,机器学习

即增加一个维度,使二维点成为三维点,然后找到一个超平面将其分为两类。所以对于在低维下无法轻易地分类的数据,可以采用这种方法来解决他们。文章来源地址https://www.toymoban.com/news/detail-848501.html

到了这里,关于支持向量机(SVM)白话之个人理解(学习记录)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习(七):梯度下降解决分类问题——perceptron感知机算法与SVM支持向量机算法进行二维点分类

    实验2 感知机算法与支持向量机算法 一、预备知识 1.感知机算法 二、实验目的 掌握感知机算法的原理及设计; 掌握利用感知机算法解决分类问题。 三、实验内容 设计感知机算法求解, 设计SVM算法求解(可调用函数库),请找出支持向量和决策超平面。 四、操作方法和实验

    2023年04月26日
    浏览(90)
  • 10- SVM支持向量机 (SVC) (算法)

    支持向量机 (support vector machines,SVM) 是一种 二分类算法 ,它的目的是寻找一个超平面来对样本进行分割,分割的原则是间隔最大化,如果对应的样本特征少,一个普通的 SVM 就是一条线将样本分隔开,但是要求线到两个类别最近样本点的距离要最大。 支持向量机模型: 网格

    2023年04月20日
    浏览(42)
  • 人工智能_机器学习065_SVM支持向量机KKT条件_深度理解KKT条件下的损失函数求解过程_公式详细推导_---人工智能工作笔记0105

    之前我们已经说了KKT条件,其实就是用来解决 如何实现对,不等式条件下的,目标函数的求解问题,之前我们说的拉格朗日乘数法,是用来对 等式条件下的目标函数进行求解. KKT条件是这样做的,添加了一个阿尔法平方对吧,这个阿尔法平方肯定是大于0的,那么 可以结合下面的文章去

    2024年02月04日
    浏览(43)
  • 机器学习-支持向量机SVM

    在本练习中,我们将使用支持向量机(SVM)来构建垃圾邮件分类器。 我们将从一些简单的2D数据集开始使用SVM来查看它们的工作原理。 然后,我们将对一组原始电子邮件进行一些预处理工作,并使用SVM在处理的电子邮件上构建分类器,以确定它们是否为垃圾邮件。 我们要做

    2024年02月12日
    浏览(55)
  • 机器学习——支持向量机SVM

    支持向量机(SVM)是一种二类分类模型,其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大,间隔最大使它有别于感知机,支持向量机也可通过核技巧使它成为非线性分类器。支持向量机的学习策略是间隔最大化,可将其转化为一个求解凸二次

    2024年01月17日
    浏览(57)
  • SVM(支持向量机)-机器学习

    支持向量机(Support Vector Machine,SVM) 是一种用于分类和回归分析的监督学习算法 。它属于机器学习中的一类强大而灵活的模型,广泛应用于模式识别、图像分类、自然语言处理等领域。 基本原理: SVM的基本原理是通过找到能够有效分隔不同类别的超平面来进行分类。在二维

    2024年02月03日
    浏览(52)
  • 【机器学习】SVM支持向量机模型

     本站原创文章,转载请说明来自 《老饼讲解-机器学习》 ml.bbbdata.com 目录 一. SVM的目标和思想    1.1 SVM硬间隔模型的原始目的 1.2 SVM的直接目标 1.3 什么是支持向量  二. SVM的支持平面的表示方式 2.1 支持面表示方式的初步思路 2.2 初步思路的缺陷与改进 2.3 支持面的最终表示

    2023年04月23日
    浏览(205)
  • 机器学习(六)支持向量机(SVM)

    目录 1.间隔与支持向量 1.1线性可分 1.2支持向量 1.3 最大间隔超平面 2.对偶问题 2.1拉格朗日乘子法 2.2 SMO算法 2.3SMO算法代码实现 3.核函数 4. SVM实例(手写体数字识别) 5.实验总结 支持向量机(SVM) 是有监督学习中最有影响力的机器学习算法之一,一般用于解决二分类问题(

    2024年02月09日
    浏览(57)
  • 【机器学习】支持向量机SVM入门

    相较于之前学习的线性回归和神经网络,支持向量机(Supprot Vector Machine,简称SVM)在拟合复杂的非线性方程的时候拥有更出色的能力,该算法也是十分经典的算法之一。接下来我们需要学习这种算法 首先我们回顾逻辑回归中的经典假设函数,如下图: 对于任意一个实例 (

    2024年02月15日
    浏览(57)
  • Python实现支持向量机(SVM)算法及源代码

    Python实现支持向量机(SVM)算法及源代码 支持向量机(SVM)是一种经典的分类算法,它在解决二分类问题的性能优秀。本文将介绍如何使用Python实现SVM算法,并提供完整的源代码。 通过安装必要的Python库,我们可以开始编写SVM代码。首先,导入必要的库: 然后,使用make_blobs函数

    2024年02月10日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包