西瓜书习题 - 6.支持向量机

这篇具有很好参考价值的文章主要介绍了西瓜书习题 - 6.支持向量机。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.支持向量机基本型

1、对于线性可分的二分类任务样本集,将训练样本分开的超平面有很多,支持向量机试图寻找满足什么条件的超平面?

  1. 在正负类样本“正中间”的
  2. 靠近正类样本的
  3. 靠近负类样本的
  4. 以上说法都不对

2、下面关于支持向量机的说法错误的是?

  1. 支持向量机基本型是一个凸二次规划问题
  2. 将训练样本分开的超平面仅由支持向量决定
  3. 支持向量机的核心思想是最大化间隔
  4. 以上选项没有错的

本题正确答案应该为D选项,错选主要集中在B选项。由支持向量机解的稀疏性可知,在求解KKT条件时,仅在支持向量的点处成立 λ_i≠0,而支持向量机解的超平面也是由这些支持向量所决定的。

3、两个异类支持向量到超平面的距离之和称之为____(两个字)

间隔

2.对偶问题与解的特性

1、下面哪一项不是支持向量机基本型得到对偶问题的求解步骤

  1. 引入拉格朗日乘子得到拉格朗日函数
  2. 对拉格朗日函数求偏导并令其为0
  3. 回带变量关系
  4. 梯度下降

2、下面关于支持向量机对偶问题的说法错误的是

  1. 对偶问题需要满足KKT条件
  2. 通过对偶问题推导出的模型表达式能够体现解的稀疏性
  3. 在推导对偶问题时,引入的拉格朗日乘子没有约束条件
  4. 对偶问题的最优值是原始问题最优值的下界

3、通过____可以得到支持向量机的对偶问题。(7个字,优化算法)

拉格朗日乘子法

3.求解方法

1、下面关于SMO算法说法正确的是

  1. 是一个迭代更新的算法
  2. 先选取KKT条件违背程度最大的变量
  3. 当变量固定后,原始问题具有闭式解
  4. 以上说法都是正确的

2、在求解支持向量机截距项的时候错误的说法是

  1. 通过任意支持向量都能够求解出截距项
  2. 为了提高鲁棒性,通常使用所有支持向量求解的平均值
  3. 通过任意样本都能够求解出截距项
  4. 截距项的求解能够体现支持向量机学习到的超平面仅与少量支持向量有关

3、在使用SMO方法优化支持向量机的对偶问题时,每次需要选择几个变量并固定其他变量不变。 ____(只需填写数字)

2

4.特征空间映射

1、如果不存在一个能正确划分两类样本的超平面,应该怎么办?

  1. 将样本从原始空间映射到一个更高维的特征空间,使样本在这个特征空间内线性可分
  2. 将样本从原始空间映射到一个更高维的特征空间,使样本在这个特征空间内线性不可分
  3. 将样本从原始空间映射到一个更低维的特征空间,使样本在这个特征空间内线性可分
  4. 将样本从原始空间映射到一个更低维的特征空间,使样本在这个特征空间内线性不可分

2、将样本映射到高维空间后,支持向量机问题的表达式为

  1. m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) + b ) > = 1 , i = 1 , 2 , 3 , . . . , m \mathbf{\underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) +b) >= 1, i=1,2,3,...,m} w,bmin21∣∣w∣2s.t.yi(wTϕ(xi)+b)>=1,i=1,2,3,...,m
  2. m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) − b ) > = 1 , i = 1 , 2 , 3 , . . . , m \underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) -b) >= 1, i=1,2,3,...,m w,bmin21∣∣w2s.t.yi(wTϕ(xi)b)>=1,i=1,2,3,...,m
  3. m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) + b ) > = − 1 , i = 1 , 2 , 3 , . . . , m \underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) +b) >= -1, i=1,2,3,...,m w,bmin21∣∣w2s.t.yi(wTϕ(xi)+b)>=1,i=1,2,3,...,m
  4. m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) − b ) > = − 1 , i = 1 , 2 , 3 , . . . , m \underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) -b) >= -1, i=1,2,3,...,m w,bmin21∣∣w2s.t.yi(wTϕ(xi)b)>=1,i=1,2,3,...,m

3、如果原始空间是有限维(属性数有限),那么____(一定/不一定)存在一个高维特征空间使样本线性可分。

一定

5.核函数

1、关于核函数 k ( x i , x j ) = ϕ ( x i ) T ϕ ( x j ) k(x_i, x_j)=\phi(x_i)^T\phi(x_j) k(xi,xj)=ϕ(xi)Tϕ(xj)的说法,正确的是:

  1. 能绕过显式考虑特征映射
  2. 能够缓解计算高维内积的困难
  3. 能够直接在原始的特征空间计算
  4. 以上说法都是正确的

2、若一个对称函数对于任意数据所对应的核矩阵_,则它就能作为核函数来使用

  1. 正定
  2. 半正定
  3. 负定
  4. 半负定

3、任何一个核函数,都隐式地定义了一个____(九个字)

再生核希尔伯特空间

6.如何使用SVM?

1、对于 ϵ \epsilon ϵ-不敏感损失函数,说法正确的是

  1. 当自变量的绝对值小于 ϵ \epsilon ϵ 时,没有惩罚
  2. 当自变量的绝对值小于 ϵ \epsilon ϵ 时,惩罚是线性的
  3. 当自变量的绝对值大于 ϵ \epsilon ϵ 时,没有惩罚
  4. 当自变量的绝对值大于 ϵ \epsilon ϵ 时,惩罚是二次的

2、下面关于支持向量回归,说法错误的是

  1. 间隔带两侧的松弛程度可有所不同
  2. 支持向量回归一般要求损失为0当且仅当模型的输出和实际值一样
  3. 支持向量回归也存在对偶问题
  4. 支持向量回归模型的解仍然具有稀疏性

3、对于2-不敏感损失,当自变量取值为10时,损失为____(保留整数)

8

2-不敏感函数定义为 l_2 (z)=I(|z|>2)⋅(|z|-2). 因此,可以算出l_2 (10)=8.

7.章节测试

1、下列关于支持向量机的用法正确的是?

  1. 当数据是线性可分时,可以考虑支持向量机的基本型
  2. 当数据是线性不可分时,可以考虑引入核函数的支持向量机
  3. 若使用引入核函数的支持向量机,可以通过模型选择等技术挑选较为合适的核函数
  4. 以上说法都是正确的

2、下列哪一项是支持向量机基本型对偶问题的KKT条件?

  1. { α i > = 0 1 − y i f ( x i ) < = 0 α i ( 1 − y i f ( x i ) ) = 0 \color{red}{\left\{ \begin{aligned} \alpha_i >=0 & \\ 1-y_if(x_i) <=0 &\\ \alpha_i(1-y_if(x_i))=0 \end{aligned} \right.} αi>=01yif(xi)<=0αi(1yif(xi))=0
  2. { α i > = 0 1 − y i f ( x i ) < = 0 α i ( 1 − y i f ( x i ) ) > = 0 \left\{ \begin{aligned} \alpha_i >=0 & \\ 1-y_if(x_i) <=0 &\\ \alpha_i(1-y_if(x_i))>=0 \end{aligned} \right. αi>=01yif(xi)<=0αi(1yif(xi))>=0
  3. { α i > = 0 1 − y i f ( x i ) < = 0 α i ( 1 − y i f ( x i ) ) < = 0 \left\{ \begin{aligned} \alpha_i >=0 & \\ 1-y_if(x_i) <=0 &\\ \alpha_i(1-y_if(x_i))<=0 \end{aligned} \right. αi>=01yif(xi)<=0αi(1yif(xi))<=0
  4. 以上条件均不对

3、下面关于支持向量机的优化错误的是?

  1. 可以通过常规的优化计算包求解
  2. 可以通过SMO进行高效的求解
  3. 在使用SMO时需要先推导出支持向量机的对偶问题
  4. SMO需要迭代的进行求解,且每一步迭代的子问题不存在闭式解

4、考虑两个正例样本(0,0),(1,1)和两个负例样本(1,0),(0,1),这四个样本是线性不可分的,通过下列哪一个映射函数可以让这四个样本线性可分?

  1. ( x , y ) → ( x , y , I ( x + y > 1 ) ) (x,y) \rightarrow (x,y,I(x+y>1)) (x,y)(x,y,I(x+y>1)), [注: I ( x ) I(x) I(x)为示性函数,当自变量为真时取值为1,否则取值为0】
  2. ( x , y ) → ( x , y , I ( x + y < = 1 ) ) (x,y) \rightarrow (x,y,I(x+y<=1)) (x,y)(x,y,I(x+y<=1))
  3. ( x , y ) → ( x , y , I ( x = y ) ) {(x,y) \rightarrow (x,y,I(x=y))} (x,y)(x,y,I(x=y))
  4. 以上映射函数都满足条件

本题可借助绘制笛卡尔坐标系的方法来帮助求解。使用A选项映射后正例变为(0,0,0)、(1,1,1), 负例变为(1,0,0)、(0,1,0),在三维新坐标系中可分;使用B选项映射后正例变为(0,0,1)、(1,1,0), 负例变为(1,0,0)、(0,1,0),在三维新坐标系中可分;使用C选项映射后正例变为(0,0,1)、(1,1,1), 负例变为(1,0,0)、(0,1,0),在三维新坐标系中可分(z=1/2).

5、下面关于支持向量回归说法正确的是

  1. 当样本距离超平面的距离小于一定程度时,没有损失
  2. 解具有稀疏性
  3. 当样本距离超平面的距离大于一定程度时,有损失且损失随着距离线性增加
  4. 以上说法都是正确的

6、支持向量机的“间隔”定义为两个异类支持向量到超平面的距离之和 γ = 2 ∣ ∣ w ∣ ∣ \gamma = \frac{2}{||w||} γ=∣∣w∣∣2, 支持向量机的核心思想是____(最大化/最小化)间隔。

最大化

7、支持向量机对偶问题得到的目标函数最优值是原始问题目标函数最优值的____(上界/下界)

下界

8、考虑正类样本(-1,0),(0,1),(-1,1) 和负类样本(1,0),(0,-1),(1,-1),若使用支持向量机算法,则其支持向量有____个。

4

使用如上数据学得的解平面为x-y=0,因此正类样本中的(-1,0)与(0,1),以及负类样本中的(1,0)与(0,-1)为4个支持向量。

9、支持向量机的解具有什么性质?____(三个字)

稀疏性

10、在求解支持向量机对偶问题时,引入的拉格朗日乘子____(有/没有)约束条件。

11、对于两个样本点(0,0),(1,1),若我们将其投影到与高斯核函数 k ( x , y ) = e − ∣ ∣ x − y ∣ ∣ 2 k(x,y)=e^{-||x-y||^2} k(x,y)=e∣∣xy2关联的RKHS中时,则两个样本投影后的点距离为____(保留三位小数)

1.315

d i s t ( x 1 , x 2 ) = ∥ ϕ ( x 1 ) − ϕ ( x 2 ) ∥ H k 2 = k ( x 1 , x 1 ) − 2 k ( x 1 , x 2 ) + k ( x 2 , x 2 ) dist(x_1,x_2)=\|\phi(x_1)-\phi(x_2)\|_{\mathcal{H}_k}^2=\sqrt{k(x_1,x_1)-2k(x_1,x_2)+k(x_2,x_2)} dist(x1,x2)=ϕ(x1)ϕ(x2)Hk2=k(x1,x1)2k(x1,x2)+k(x2,x2)

12、试判断定义在 R N × R N R^N \times R^N RN×RN上的函数 k ( x , y ) = ( x T y + 1 ) 2 k(x,y)=(x^Ty+1)^2 k(x,y)=(xTy+1)2是否为核函数。____(是/否)

13、试判断定义在 R N × R N R^N \times R^N RN×RN上的函数 k ( x , y ) = ( x T y − 1 ) 2 k(x,y)=(x^Ty-1)^2 k(x,y)=(xTy1)2是否为核函数。____(是/否)

考虑如下反例:在N=1时的简单情景下,取x1=1,x2=-1,其组成的矩阵行列式值为负数,不满足半正定条件,故而其不是核函数。

14、对于支持向量机定义的超平面,下列说法错误的是

  1. 通过支持向量机求解出的划分超平面是对训练样本局部扰动的“容忍”性最好的划分超平面
  2. 对于所有可能的划分超平面,通过支持向量机求解出的划分超平面所产生的分类结果是较鲁棒的,是对未见示例的泛化能力较强的
  3. 支持向量机的“间隔”为 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣ 1 ∣ ∣ w ∣ ∣ \frac{1}{||w||} ∣∣w∣∣1表示向量的模
  4. 可以通过求解对偶问题的方法来求解支持向量机的最大间隔划分超平面

15、关于支持向量机基本型中间隔、支持向量和超平面wx+b=0的说法,下列说法正确的是

  1. 对于线性可分的训练样本,存在唯一的超平面将训练样本全部分类正确
  2. 对于线性可分的训练样本,支持向量机算法学习得到的能够将训练样本正确分类且具有“最大间隔”的超平面是存在并且唯一的
  3. 支持向量机训练完成后,最后的解与所有训练样本都有关
  4. 间隔只与w有关,与b无关

本题正确选项为B,错误主要集中在C、D选项。在C选项中,支持向量机解的稀疏性告诉我们,最终得到的模型仅与少量支持向量相关,而与大部分离分离超平面远的样本无关;在D选项中,间隔为每个支持向量到分离超平面的距离的二倍,在计算支持向量到超平面距离时,截距项也是需要被用到的。文章来源地址https://www.toymoban.com/news/detail-458960.html

到了这里,关于西瓜书习题 - 6.支持向量机的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【机器学习】第六章支持向量机练习题及答案

    一. 单选题(共11题,55分) 1. 【单选题】‍对于在原空间中线性不可分问题,支持向量机()。 A. 无法处理 B. 在原空间中寻找线性函数划分数据 C. 将数据映射到核空间中 D. 在原空间中寻找非线性函数的划分数据 正确答案: C 2. 【单选题】关于支持向量机中硬间隔和软间隔的说

    2024年02月11日
    浏览(50)
  • 西瓜书习题 - 4.决策树

    1、下列选项哪个是决策树的预测过程? 将测试示例从一个中间节点开始,沿着划分属性所构成的“判定测试序列”下行,直到叶节点 将测试示例从一个中间节点开始,沿着划分属性所构成的“判定测试序列”上行,直到根节点 将测试示例从叶节点开始,沿着划分属性所构成

    2024年02月04日
    浏览(26)
  • 西瓜书习题 - 8.集成学习

    1、下列关于集成学习描述错误的是哪个? 集成学习只能使用若干个相同类型的学习器 集成学习使用多个学习器解决问题 集成学习在许多比赛中取得了优异的成绩 集成学习在英文中是一个外来词 2、下列哪些学习器可以作为集成学习中的学习器? 支持向量机 决策树 神经网络

    2024年02月12日
    浏览(34)
  • 西瓜书习题 - 5.神经网络

    1、神经网络模型的两个最重要的要素是什么? 网络结构、激活函数 网络结构、神经元模型 激活函数、学习算法 学习算法、神经元模型 《机器学习》中采用的对神经网络的定义为:“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神

    2023年04月08日
    浏览(31)
  • 西瓜书习题 - 10.机器学习初步考试

    1、当学习器在训练集上把训练样本自身的一些特征当作了所有潜在样本都具有的一般性质时,泛化性能可能会因此下降,这种现象一般称为 ____。(过拟合/欠拟合) 过拟合 2、对于两个样本点 ( 0 , 0 ) , ( 1 , 1 ) (0,0),(1,1) ( 0 , 0 ) , ( 1 , 1 ) ,若我们将其投影到与拉普拉斯核函数

    2024年02月06日
    浏览(32)
  • 【机器学习】西瓜书习题3.3Python编程实现对数几率回归

    参考代码 结合自己的理解,添加注释。 导入相关的库 导入数据,进行数据处理和特征工程 定义若干需要使用的函数 y = 1 1 + e − x y= frac{1}{1+e^{-x}} y = 1 + e − x 1 ​ ℓ ( β ) = ∑ i = 1 m ( − y i β T x ^ i + l n ( 1 + e β T x ^ i ) ) ell(beta) = sum_{i=1}^{m}(-y_{i}beta^{T} hat{x}_{i} + ln(1+e^{

    2024年02月15日
    浏览(44)
  • 【机器学习】西瓜书学习心得及课后习题参考答案—第4章决策树

    这一章学起来较为简单,也比较好理解。 4.1基本流程——介绍了决策树的一个基本的流程。叶结点对应于决策结果,其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集,从根结点到每个叶结点的路径对

    2024年02月14日
    浏览(39)
  • 【机器学习】西瓜书学习心得及课后习题参考答案—第3章线性模型

    过了一遍第三章,大致理解了内容,认识了线性回归模型,对数几率回归模型,线性判别分析方法,以及多分类学习,其中有很多数学推理过程以参考他人现有思想为主,没有亲手去推。 线性模型 linear model 非线性模型 nonlinear model 可解释性 comprehensibility 可理解性 understanda

    2024年02月15日
    浏览(47)
  • 【机器学习】西瓜书学习心得及课后习题参考答案—第5章神经网络

    5.1神经元模型——这是神经网络中最基本的成分。 5.2感知机与多层网络——由简单的感知机循序渐进引出多层前馈神经网络。 5.3误差逆传播算法——BP算法,迄今最成功的神经网络学习算法。算法如下(公式参考西瓜书) 停止条件与缓解BP过拟合的策略有关,一种策略是“早

    2024年02月14日
    浏览(44)
  • 【学习笔记、面试准备】机器学习西瓜书要点归纳和课后习题参考答案——第3章

    目录地址 线性模型定义: 其中x是输入向量 优点:形式简单,易于建模,可解释性好。 输入预处理:连续值可以直接用,离散值若有序,可以按序赋值变连续(如“高,中,低”变为“1,0.5,0”,否则可以单热点码编码。 回归常用MSE,要偏导数为0,当输入是一维时可以算

    2024年02月08日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包