【机器学习】西瓜书学习心得及课后习题参考答案

这篇具有很好参考价值的文章主要介绍了【机器学习】西瓜书学习心得及课后习题参考答案—第6章支持向量机。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

笔记心得

6.1 间隔与支持向量—— $w$ 是法向量，垂直与超平面 $w^Tx+b=0$ 。这一节了解了支持向量机的基本型。
$\min_{w,b} \frac{1}{2}||w||^2 \\ s.t. \ \ y_i(w^Tx_i+b) \ge 1, \qquad i=1,2,...,m.$
6.2 对偶问题——SVM的基本型是一个凸二次规划问题，可以用更高效的方法求解。使用拉格朗日乘子法得到其“对偶问题”。了解了KKT条件，SMO算法。
6.3 核函数——了解了能作为核函数的条件，和常用的核函数。
6.4 软间隔与正则化——这一节主要是讨论缓解过拟合问题。
6.5 支持向量回归——支持向量机解决回归问题。所构建的间隔带两侧松弛程度可不同。

术语学习

课后习题

6.1 试证明样本空间中任意点 x x x到超平面 ( w , b ) (w,b) (w,b)的距离为式 (6.2)。

假设点 $x_0=(x_1^0,x_2^0,...,x_n^0)$ ，其在超平面 $w^Tx+b=0$ 上的投影点为 $x_1=(x_1^1,x_2^1,...,x_n^1)$ ，则 $w^Tx_1+b=0$ 。
$w$ 为法向量，因此 $\overrightarrow{x_{0}x_{1}}$ 与法向量 $w$ 平行。夹角为0或者 $\pi$
$|w\cdot \overrightarrow{x_0x_1}| = |||w|| \cdot cos\pi \cdot ||\overrightarrow{x_0x_1} ||| = ||w|| \cdot ||\overrightarrow{x_0x_1}|| = ||w||\cdot r$
同时

$\cdot \overrightarrow{x_0x_1}| \\ =|w_1(x_1^1-x_1^0)+w_2(x_2^1-x_2^0)+...+w_1(x_n^1-x_n^0)| \\ =|w_1x_1^1+w_2x_2^1+...+w_nx_n^1-(w_1x_1^0+w_2x_2^0+...+w_nx_n^0)| \\ =|w^Tx_1-w^Tx_0| \\ =|-b-w^Tx_0| \\ =|w^Tx_0+b|$
所以
$|w^Tx_0+b| = ||w||\cdot r \\ r = \frac{|w^Tx_0+b|}{||w||}$ 文章来源地址https://www.toymoban.com/news/detail-627538.html