15. 机器学习 - 支持向量机

这篇具有很好参考价值的文章主要介绍了15. 机器学习 - 支持向量机。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

Hi, 你好。我是茶桁。

逻辑回归预测心脏病

在本节课开始呢,我给大家一份逻辑回归的练习,利用下面这个数据集做了一次逻辑回归预测心脏病的练习。

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

本次练习的代码在「茶桁的AI秘籍」在Github上的代码库内,数据集的获取在文末。这样做是因为我的数据集都是和百度盘同步的,很多数据集过大了,所以也就不传Github了。而且,我直接获取盘内同步数据也更方便。

还有一个原因,有些数据集可能以后会收费获取。

好,让我们进入今天的正课。

因为未来几节课的内容比较多。「核心基础」的这部分内容已经超出我原本的预计,咱们「核心基础」的部分刚刚过半,可是已经写到15节了,本来这部分内容我是想在21节左右结束的,所以,我们还是要压缩一下内容了。

这节课咱们还是继续讲解经典的机器学习。

支持向量机

接下来,要讲解一个非常有趣的方法:支持向量机。

支持向量机的原理其实可以很复杂,但它是一个很经典的思想方法。咱们就把它的核心思想讲明白就行了。其实我们平时在工作中用的也比较少。但是面试中有一些老一代的面试官会比较喜欢问这个问题。

支持向量机的核心思想,假如我们有两堆数据,希望找一根线去把它做分类,那么咱们找哪一根线呢?

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

上图中,我们假设黑色的那根线定义为l,把离这根线最近的点,也就是直线距离最小的点,找到两个这样的点定义为P1、P2。

现在我们是希望离这个l最近的点,假如说是d1,d2,那么我们希望这两个距离加起来最大:max|d1+d2|。

现在再定义蓝色的线为直线b,那直线b做分类就比直线l要好。为什么直线b就比是直线l好呢? 因为直线b离d1,d2普遍都比较远。

现在这里的演示是一个二维平面中用一根线来分割,如果是在多维空间中,SVM的目标就是找到一个最佳的超平面来最大化间隔,同时确保正确分类样本。

假设我们有一组训练样本,每个样本用特征向量x表示,并且标记为正类别+1或负类别-1。

我们可以表示为以下凸优化问题:

m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 \begin{align*} min_{w, b}\frac{1}{2}||w||^2 \end{align*} minw,b21∣∣w2

其中对所有样本

y i ( w ⋅ x i + b ) ≥ 1 y_i(w \cdot x_i+b) \ge 1 yi(wxi+b)1

w是超平面的法向量,b是截距项,yi是样本xi的标签,也就是+1或者-1。

为了解决这个优化问题,我们引入拉格朗日乘子 a i a_i ai来得到拉格朗日函数:

L ( w , b , a ) = 1 2 ∣ ∣ w ∣ ∣ 2 − ∑ i = 1 N a i [ y i ( w ⋅ x i + b ) − 1 ] L(w,b,a) = \frac{1}{2}||w||^2 - \sum_{i=1}^Na_i[y_i(w\cdot x_i +b) - 1] L(w,b,a)=21∣∣w2i=1Nai[yi(wxi+b)1]

然后我们要最小化拉格朗日函数,首先对w和b求偏导数,令它们等于0,然后代入拉格朗日乘子条件:

a i [ y i ( w ⋅ x i + b ) − 1 ] = 0 a_i[y_i(w\cdot x_i + b)-1] = 0 ai[yi(wxi+b)1]=0

然后我们就可以得到如下这个式子

w = ∑ i = 1 N a i y i x i s u m i = 1 N a i y i = 0 w = \sum_{i=1}^Na_iy_ix_i \\ sum_{i=1}^N a_iy_i = 0 w=i=1Naiyixisumi=1Naiyi=0

使用某种优化算法(例如,SMO算法),求解拉格朗日乘子 a i a_i ai。我们就可以使用求解得到的 a i a_i ai计算超平面参数w和b。

对于新样本x,使用超平面 w ⋅ x + b w\cdot x + b wx+b的符号来预测其类别。

那我们讲了这么半天,都是一个支持向量机的数学演示过程,下面我们来看看具体的代码实现。

我们先来生成两组数据,这两组数据咱们让他距离更大:

import numpy as np
label_a = np.random.normal(6, 2, size=(50, 2))
label_b = np.random.normal(-6, 2, size=(50, 2))

我们现在来观察以下生成的这些点:

import matplotlib.pyplot as plt
plt.scatter(*zip(*label_a))
plt.scatter(*zip(*label_b))

plt.show()

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

然后我们继续:

label_a_x = label_a[:, 0]
label_b_x = label_b[:, 0]

我们就将这两组数据的第一列分别取出来了。

接着我们随机的定义一些w和b

for i in range(100):
    w, b = (np.random.random(size=(1, 2)) * 10 - 5)[0]

然后我们按照之前讲的数学演示来定义一个函数

def f(x):
    return w*x+b

然后我们之前从数学演示里已经知道, y i ( w ⋅ x + b ) ≥ 1 y_i(w\cdot x+b) \ge 1 yi(wx+b)1, 而我们也知道这个说的是距离,也就是说,同样的$y_i(w\cdot x+b) \le -1 $。

也就是说,我们要让函数f小于等于-1,并且大于等于1。当然,为了保证其被分到两边,我们将函数的最大值定义为小于等于-1, 将函数的最小值定义为大于等于1。这样就保证(-1,1)之间是不存在任何函数值:

np.max(f(label_a_x, w, b)) <= -1 and np.min(f(label_b_x, w, b)) >= 1

只有同时满足这两个条件的值,我们才会留下来进行保存。我们可以定义一个变量将其保存

w_and_b = []
for i in range(100):
    w, b = (np.random.random(size=(1, 2)) * 10 - 5)[0]
    if np.min(f(label_a_x, w, b)) >= -1 and np.min(f(label_b_x, w, b)) >= 1:
        w_and_b.append((w, b))

在得到这些w,b之后,我们将这些w,b连起来进行画图:

for w, b in w_and_b:
    x = np.concatenate((label_a_x, label_b_x))
    plt.plot(x, f(x, w, b))

plt.show()

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

这样,我们就拟合出来了很多的曲线。这些个曲线到底哪一个是最好的那一个呢?

现在根据刚刚得到的那个结论,现在所有的 y i ( w ⋅ x i + b ) y_i(w\cdot x_i + b) yi(wxi+b), 那么现在其实就是 m a r g i n = 2 ∣ ∣ w ∣ ∣ margin = \frac{2}{||w||} margin=∣∣w∣∣2

那我们现在就找这个w最小的这个值就可以了。

w, b = min(w_and_b, key = lambda w_b: w_b[0])
all_x = np.concatenate((label_a_x, label_b_x))
plt.plot(all_x, f(all_x, w, b), 'r-o')

plt.show()

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

现在我们就可以看到那个最优的直线了,就是众多红色的点连接起来的那根线。

当然,最后代码执行顺序和讲解顺序有一些不一样,为了避免数据每次重新生成造成的差别,所以最开始是生成数据,之后是定义函数、过滤参数以及生成图像。

这个就是支持向量机的原理,我们找到离它所有的点的一个距离,让它这个边距最大,最后得到一个简化结果。

核函数

然后我们再来看另外一个点:「核函数」:

核函数是支持向量机里面非常重要的一个东西。

如果支持向量机只要数据是线性可分的,那么我们一定能够找到它的分割线。但是在实际的现实生活中有很多点并不是线性可分的。

举个例子,我们来画一张图:

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

就比如图中的这种数据,是无论如何用一条直线无法分割的,不管怎么画,都无法把蓝色和红色的点分割开。

就像我们下面这张图:

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

但是,我们我们可以做这样一件事情,假设我们在一个坐标轴上拥有8个点,A、B、C、D为一组,a,b,c,d为一组。如下图:

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

分别为A(-1,1), B(1,1), C(1, -1), D(-1,-1); a(-0.5, 0.5), b(0.5, 0.5), c(0.5, -0.5), d(-0.5, -0.5)。

现在我们ABCD和abcd是无法用一根直线来分割的,然后我们令:

f ( x ) = > { x 2 y 2 } \begin{align*} f(x) => \begin{Bmatrix} x^2 \\ y^2 \end{Bmatrix} \end{align*} f(x)=>{x2y2}

那在这种情况下,八个点分别就变成了A(1, 1),B(1, 1),C(1, 1),D(1, 1), a(0.25, 0.25),b(0.25, 0.25),c(0.25, 0.25),d(0.25, 0.25)。

那这样的情况下,我们就完全可以用一根直线去分割了:

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

那现在找到这根线是w2 = wx+b,那我们遇到新数据应用到这个函数里边,再应用到这个线里面做分割就可以了。我们把原本线性不可分的东西,变成线性可分的。那么这个就是核函数神奇的地方。

支持向量机通过某非线性变换 φ(x) ,将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算,而在低维输入空间又存在某个函数 K(x, x′) ,它恰好等于在高维空间中这个内积,即K(x, x′) =φ(x)⋅φ(x’) ; 。那么支持向量机就不用计算复杂的非线性变换,而由这个函数K(x, x′) 直接得到非线性变换的内积,使大大简化了计算。我们就将这种函数函数 K(x, x′) 称为核函数。

φ ( x ) = [ x x 2 x 3 ] \varphi (x) = \begin{bmatrix} x \\ x^2 \\ x^3 \end{bmatrix} φ(x)= xx2x3

那其实,就类似的事情,已经有人总结了一些相应的公式来使用:

15. 机器学习 - 支持向量机,茶桁的AI秘籍 - 核心基础,机器学习,支持向量机,人工智能

这些是一些常见的核函数。

一般在使用的时候调用它就可以,如果在用SVM的时候,它会有一个参数。可以自己定义一个核函数,但一般不自己定义,调用现有的就够了。

SVM其实也有弊端,当数据量很复杂的时候,现有的核函数就没有作用了。因为它会失效,所以我们需要很多的人工分析,整个效率很低。

但是在整个机器学习的发展史上,它曾经有非常重要的一段历史。有一段时间它的论文量非常的多,做科研的非常爱做SVM,不是因为快速,是因为可以提出来各种各样的Kerno函数。

假如有一组数据不好分割,但是你提出了一种新的核函数,这个函数量可以比较复杂啊
然后提升了分割率,提高了效果。

但是这种方法其实曾经一度让机器学习非常不受人待见,在学术圈非常不受人待见。搞机器学习的人就是每天就是发论文,说我的曲线比你的曲线强,这就是他们干的事。

所以10年左右,做机器学习、做人工智能的人都不说自己是做机器学习,做人工智能的。都换个名字,说做文本挖掘等等。

SVM因为要做各种升维,当数据量比较大的时候,计算量非常的复杂,计算需求量非常的大。

但是SVM它有个好处,就是它比较直观,还有就是SVM对于不平衡的数据比较有用。

好,这节课我们就讲到这里,下一节课我们来看「决策树」。

链接: https://pan.baidu.com/s/1Rl8xkQG4c-XSjL6cB4B1XQ?pwd=e8wi 提取码: e8wi 复制这段内容后打开百度网盘手机App,操作更方便哦
–来自百度网盘超级会员v6的分享文章来源地址https://www.toymoban.com/news/detail-730641.html

到了这里,关于15. 机器学习 - 支持向量机的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习—支持向量机

    在本练习中,我们将使用支持向量机(SVM)来构建垃圾邮件分类器。 在开始练习前,需要 下载如下的文件进行数据上传 : data.tgz -包含本练习中所需要用的数据文件 其中: ex5data1.mat -数据集示例1 ex5data2.mat -数据集示例2 ex5data3.mat -数据集示例 3 spamTrain.mat -垃圾邮件训练集

    2024年02月09日
    浏览(37)
  • 机器学习-支持向量机SVM

    在本练习中,我们将使用支持向量机(SVM)来构建垃圾邮件分类器。 我们将从一些简单的2D数据集开始使用SVM来查看它们的工作原理。 然后,我们将对一组原始电子邮件进行一些预处理工作,并使用SVM在处理的电子邮件上构建分类器,以确定它们是否为垃圾邮件。 我们要做

    2024年02月12日
    浏览(50)
  • SVM(支持向量机)-机器学习

    支持向量机(Support Vector Machine,SVM) 是一种用于分类和回归分析的监督学习算法 。它属于机器学习中的一类强大而灵活的模型,广泛应用于模式识别、图像分类、自然语言处理等领域。 基本原理: SVM的基本原理是通过找到能够有效分隔不同类别的超平面来进行分类。在二维

    2024年02月03日
    浏览(48)
  • 【机器学习笔记】11 支持向量机

    支 持 向 量 机 是 一 类 按 监 督 学 习 ( supervisedlearning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane) 。与逻辑回归和神经网络相比,支持向量机,在学习复杂的非线性方程时

    2024年02月19日
    浏览(33)
  • 机器学习_8、支持向量机

    2024年01月23日
    浏览(34)
  • 机器学习模型之支持向量机

    支持向量机(Support Vector Machine,SVM)是一种监督学习算法,用于分类和回归分析。它是由Cortes和Vapnik于1995年提出的。SVM在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。 目录 一、SVM的基本概念: 二、SVM的

    2024年04月12日
    浏览(30)
  • 动手机器学习支持向量机+习题

    非参数化模型,当数据集规模增大时,其参数量也相应变多 希望从这无数个可以分隔两个点集的超平面中,挑选出与任意一点间隔(margin)的最小值最大的平面 对上式来说,当w和b的大小同时变为λ倍时,式中的分母||w||也变为λ倍,这时划分超平面完全不变  定义γ = yi(wx+

    2024年04月09日
    浏览(37)
  • 机器学习——支持向量机SVM

    支持向量机(SVM)是一种二类分类模型,其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大,间隔最大使它有别于感知机,支持向量机也可通过核技巧使它成为非线性分类器。支持向量机的学习策略是间隔最大化,可将其转化为一个求解凸二次

    2024年01月17日
    浏览(52)
  • 【机器学习】支持向量机SVM入门

    相较于之前学习的线性回归和神经网络,支持向量机(Supprot Vector Machine,简称SVM)在拟合复杂的非线性方程的时候拥有更出色的能力,该算法也是十分经典的算法之一。接下来我们需要学习这种算法 首先我们回顾逻辑回归中的经典假设函数,如下图: 对于任意一个实例 (

    2024年02月15日
    浏览(51)
  • 机器学习算法:支持向量机(SVM)

    Solem《python计算机视觉编程》、李航《统计学习方法》、周志华《机器学习》 要理解好支持向量机需要较好的数学功底,且能不被公式以及文字绕晕,这里我们就理清楚支持向量机的大体过程。具体的数学计算推导其实已经封装好了,那么理解算法的原理也对我们将来的学习

    2024年02月03日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包