《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机

这篇具有很好参考价值的文章主要介绍了《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第1章 统计学习方法概论

我算是有点基础的(有过深度学习和机器学的项目经验),但也是半路出家,无论是学Python还是深度学习,都是从问题出发,边查边做,没有系统的学过相关的知识,这样的好处是入门快(如果想快速入门,大家也可以试试,直接上手项目,从小项目开始),但也存在一个严重的问题就是,很多东西一知半解,容易走进死胡同出不来(感觉有点像陷入局部最优解,找不到出路),所以打算系统的学习几本口碑比较不错的书籍。
  书籍选择: 当然,机器学习相关的书籍有很多,很多英文版的神书,据说读英文版的书会更好,奈何英文不太好,比较难啃。国内也有很多书,周志华老师的“西瓜书”我也有了解过,看了前几章,个人感觉他肯能对初学者更友好一点,讲述的非常清楚,有很多描述性的内容。对比下来,更喜欢《统计学习方法》,毕竟能坚持看完才最重要。
  笔记内容: 笔记内容尽量省去了公式推导的部分,一方面latex编辑太费时间了,另一方面,我觉得公式一定要自己推到一边才有用(最好是手写)。尽量保留所有标题,但内容会有删减,通过标黑和列表的形式突出重点内容,要特意说一下,标灰的部分大家最好读一下(这部分是我觉得比较繁琐,但又不想删掉的部分)。
  代码实现: 最后是本章内容的实践,如果想要对应的.ipynb文件,可以留言

第 2章感知机

  感知机 (perceptron) 是二类分类的线性分类模型,其输入为实例的特征向量,输 出为实例的类别,取 +1 和-1 二值。

  感知机对应于输入空间(特征空间)中将实例划 分为正负两类的分离超平面,属于判别模型

  感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此:

  • 导入基于误分类的损失函数,
  • 利用梯度下降法对损失函 数进行极小化,求得感知机模型。

  感知机学习算法具有简单而易于实现的优点,分为 原始形式对偶形式。

2.1 感知机模型

  感知机是一种线性分类模型,属于判别模型。

  感知机模型的假设空间是定义在特征空间中的所有线性分类模型(linear classification modeD 或线性分类器 (linear classifier) ,即函数集合

f ∣ f ( x ) = ω • x + b {{f|f(x) = ω • x + b}} ff(x)=ωx+b

几何解释:线性方程

ω ⋅ x + b = 0 ω\cdot x+b=0 ωx+b=0

  对应于特征空间 R n R^n Rn 中的一个超平面 S , 其中 ω超平面的法向量b超平面的截距

  这个超平面将特征空间划分为两个部分。位于两部分的点(特征向量)分别被分为 正、负两类。因此,超平面 S称为分离超平面 (separating hyperplane) ,如图 2.1 所示。

2.2 感知机学习策略

2.2.1 数据集的线性可分性

  给定一个数据集T:

T = ( x l , y 1 ) , ( x 2 , y 2 ) , … , ( x n , y n ) T = {(x_l ,y_1), (x_2 ,y_2) ,… , (x_n,y_n)} T=(xl,y1),(x2,y2),,(xn,yn)

  其中 , x i ∈ X = R n , y i ∈ Y = ( + 1 , − 1 ) , i = 1 , 2 , … , n x_i \in X = R^n, y_i \in Y=(+1 ,-1) , i= 1 , 2,… , n xiX=Rn,yiY=(+1,1)i=12n

  如果存在某个超乎面 S

ω ⋅ x + b = 0 ω\cdot x+b=0 ωx+b=0

  能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧,则称数据集 T 为线性可分数据集( linearly separable data set ) ;否则,称数据集 T 线性不可分

2.2.2 感知机学习策略

  假设训练数据集是线性可分的,感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开分离超平面
《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

  损失函数的一个自然选择是误分类点的总数。但是,这样的损失函数不是连续可导函数,不易优化。损失函数的另一个选择是误分类点到超平面 S 的总距离

  • 输入空间 R n R^n Rn 中任一 x o x_o xo 到超平面 S S S 的 距离:

1 ∣ ∣ w ∣ ∣ ∣ w ⋅ x 0 + b ∣ \frac{1}{||w||}|w \cdot x_0+b| ∣∣w∣∣1wx0+b

  • 对于误分类的数据 ( x i , x i ) (x_i,x_i) (xi,xi) 来说,

− y i ( ω ⋅ x i + b ) > O -y_i(ω \cdot x_i+b)>O yi(ωxi+b)>O

  • ω • x i + b > 0 ω • x_i + b > 0 ωxi+b>0 时 , y i = − 1 y_i = -1 yi=1
  • ω • x i + b < 0 ω • x_i + b < 0 ωxi+b<0 时, x i = + 1 x_i = +1 xi=+1
  • 所有误分类点超平面 S总 距离

− 1 ∣ ∣ w ∣ ∣ ∑ x i ∈ M y i ( w ⋅ x 0 + b ) -\frac{1}{||w||}\sum_{x_i\in M}y_i(w \cdot x_0+b) ∣∣w∣∣1xiMyi(wx0+b)

  感知机 s i g n ( w • x + b ) sign(w • x + b) sign(wx+b) 学习的损失函数定义为:

L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x 0 + b ) L(w,b)=-\sum_{x_i\in M}y_i(w \cdot x_0+b) L(w,b)=xiMyi(wx0+b)

  其中 M 为误分类点的集合。

  这个损失函数就是感知机学习的经验风险函数。

2.3 感知机学习算法

  感知机学习问题转化为求解损失函数式的最优化问题,最优化的方法是随 机梯度下降法。

2.3.1 感知机学习算法的原始形式

求参数 w , b w, b wb , 使其为以下损失函数极小化问题的解:

m i n w , b L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) min_{w,b}L(w,b)=-\sum_{x_i\in M}y_i(w \cdot x_i+b) minw,bL(w,b)=xiMyi(wxi+b)

  其中 M 为误分类点的集合。

求解思路:

  • 感知机学习算法是误分类驱动的,具体采用随机梯度下降法 (stochastic gradient descent)。
  • 首先,任意选取一个超平面 w 0 , b 0 w_0,b_0 w0,b0 , 然后用梯度下降法不断地极小化目标函数(损失函数)
  • 极小化过程中不是一次使M 中所有误分类点的梯度下降,而是一次随机 选取一个误分类点使其梯度下降
  • 假设误分类点集合 M 是固定的,那么损失函数 L ( w , b ) L(w,b) L(w,b)梯度由下式给出:

∇ w L ( w , b ) = − ∑ x i ∈ M y i x i \nabla_w L(w,b)=-\sum_{x_i\in M}{y_ix_i} wL(w,b)=xiMyixi

∇ b L ( w , b ) = − ∑ x i ∈ M y i \nabla _b L(w,b)=-\sum_{x_i\in M}{y_i} bL(w,b)=xiMyi

  • 随机选取一个误分类点 ( x i , y i ) (x_i,y_i) xi,yi ω , b ω, b ωb 进行更新:

w ← w + η y i x i w\leftarrow w+ηy_ix_i ww+ηyixi

b ← b + η y i b \leftarrow b+ηy_i bb+ηyi

  式中 η ( 0 < η ≤ 1 ) η(0 <η\leq1) η(0<η1) 是步长,在统计学习中又称为学习率(learning rate) 。

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

  这种学习算法直观上有如下解释:

  当一个实例点被误分类,即位于分离超平面的 错误一侧时,则调整 ω, b 的值,使分离超平面向该误分类点的一侧移动,以减少该误分类点与超平面间的距离,直至超平面越过该误分类点使其被正确分类。

2.3.2 算法的收敛性

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

  定理表明,误分类的次数 k 是有上界的,经过有限次搜索可以找到将训练数据完 全正确分开的分离超平面。也就是说,当训练数据集线性可分时,感知机学习算法原 始形式迭代是收敛的。

2.3.3 感知机学习算法的对偶形式

  对偶形式的基本想法是,将 ω ω ω b b b 表示为实例 x i x_i xi标记 y i y_i yi线性组合的形式, 通过求解其系数而求得 ω ω ω b b b

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

  对偶形式中训练实例仅以内积的形式出现。

  为了方便,可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储,这个矩阵就是所谓的 Gram 矩阵 (Gram matrix):
G = [ x i ⋅ x i ] N × N G=[x_i \cdot x_i]_{N \times N} G=[xixi]N×N

实践:二分类模型(iris数据集)

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
%matplotlib inline
#load data
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['label'] = iris.target
df.columns = [
							'sepal length', 'sepal width', 'petal length', 'petal width', 'label'
							]
df.label.value_counts()
=========================
2    50
1    50
0    50
Name: label, dtype: int64

数据集可视化:

plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], label='0')
plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

data = np.array(df.iloc[:100, [0, 1, -1]])
X, y = data[:,:-1], data[:,-1]
y = np.array([1 if i == 1 else -1 for i in y])

Perceptron

# 数据线性可分,二分类数据
# 此处为一元一次线性方程
class Model:
    def __init__(self):
        self.w = np.ones(len(data[0]) - 1, dtype=np.float32)
        self.b = 0
        self.l_rate = 0.1
        # self.data = data

    def sign(self, x, w, b):
        y = np.dot(x, w) + b
        return y

    # 随机梯度下降法
    def fit(self, X_train, y_train):
        is_wrong = False
        while not is_wrong:
            wrong_count = 0
            for d in range(len(X_train)):
                X = X_train[d]
                y = y_train[d]
                if y * self.sign(X, self.w, self.b) <= 0:
                    self.w = self.w + self.l_rate * np.dot(y, X)
                    self.b = self.b + self.l_rate * y
                    wrong_count += 1
            if wrong_count == 0:
                is_wrong = True
        return 'Perceptron Model!'

    def score(self):
        pass

训练

perceptron = Model()
perceptron.fit(X, y)
===============================
'Perceptron Model!'

分类&可视化

x_points = np.linspace(4, 7, 10)
y_ = -(perceptron.w[0] * x_points + perceptron.b) / perceptron.w[1]
plt.plot(x_points, y_)

plt.plot(data[:50, 0], data[:50, 1], 'bo', color='blue', label='0')
plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color='orange', label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

scikit-learn实例

import sklearn
from sklearn.linear_model import Perceptron
===============
sklearn.__version__
'0.21.2'
clf = Perceptron(fit_intercept=True, 
                 max_iter=1000, 
                 shuffle=True)
clf.fit(X, y)
=================================
Perceptron(alpha=0.0001, class_weight=None, early_stopping=False, eta0=1.0,
           fit_intercept=True, max_iter=1000, n_iter_no_change=5, n_jobs=None,
           penalty=None, random_state=0, shuffle=True, tol=0.001,
           validation_fraction=0.1, verbose=0, warm_start=False)
# Weights assigned to the features.
print(clf.coef_)
===============================
[[ 23.2 -38.7]]
# 截距 Constants in decision function.
print(clf.intercept_)
================================
[-5.]

可视化

# 画布大小
plt.figure(figsize=(10,10))

# 中文标题
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.title('鸢尾花线性数据示例')

plt.scatter(data[:50, 0], data[:50, 1], c='b', label='Iris-setosa',)
plt.scatter(data[50:100, 0], data[50:100, 1], c='orange', label='Iris-versicolor')

# 画感知机的线
x_ponits = np.arange(4, 8)
y_ = -(clf.coef_[0][0]*x_ponits + clf.intercept_)/clf.coef_[0][1]
plt.plot(x_ponits, y_)

# 其他部分
plt.legend()  # 显示图例
plt.grid(False)  # 不显示网格
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

注意 !

在上图中,有一个位于左下角的蓝点没有被正确分类,这是因为 SKlearn 的 Perceptron 实例中有一个tol参数。

tol 参数规定了如果本次迭代的损失和上次迭代的损失之差小于一个特定值时,停止迭代。所以我们需要设置 tol=None 使之可以继续迭代:

clf = Perceptron(fit_intercept=True, 
                 max_iter=1000,
                 tol=None,
                 shuffle=True)
clf.fit(X, y)

# 画布大小
plt.figure(figsize=(10,10))

# 中文标题
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.title('鸢尾花线性数据示例')

plt.scatter(data[:50, 0], data[:50, 1], c='b', label='Iris-setosa',)
plt.scatter(data[50:100, 0], data[50:100, 1], c='orange', label='Iris-versicolor')

# 画感知机的线
x_ponits = np.arange(4, 8)
y_ = -(clf.coef_[0][0]*x_ponits + clf.intercept_)/clf.coef_[0][1]
plt.plot(x_ponits, y_)

# 其他部分
plt.legend()  # 显示图例
plt.grid(False)  # 不显示网格
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机,机器学习笔记,学习方法,笔记,python,机器学习

现在可以看到,所有的两种鸢尾花都被正确分类了。文章来源地址https://www.toymoban.com/news/detail-824881.html

到了这里,关于《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第 2章感知机的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 李航统计学习概述

    概念: 感知机模型的基本形式是: (f(x) = sign(w cdot x + b)) 其中, (x) 是输入样本的特征向量, (w) 是权值向量, (b) 是偏置量, (w cdot x) 表示向量 (w) 和 (x) 的点积。 (sign) 函数表示符号函数,当输入大于 0 时输出 1,否则输出 -1。 要求模型必须线性可分 基本思想:

    2023年04月25日
    浏览(34)
  • 机器学习中高维组合特征的处理方法+推荐系统使用矩阵分解为用户推荐的原理解析,《百面机器学习》学习笔记

    为了提高复杂关系的拟合能力,在特征工程中经常会把一阶离散特征进行组合,构成高阶组合特征。 假设有A B两组特征,C为受到A B两种特征影响的因素,且对特征A来说,其有 A i , i ∈ [ 0 , 1 ] {A^i,iin [0,1]} A i , i ∈ [ 0 , 1 ] 两种特征取值。同时,对于特征B来说,其有 B j , j ∈

    2024年02月05日
    浏览(45)
  • 统计学习方法 决策树

    阅读李航的《统计学习方法》时,关于决策树的笔记。 决策树 :树状的模型,其中内部节点表示一个特征或属性,叶子节点表示一个类。使用决策树分类时: 从根结点出发,对实例的某一特征进行测试,根据测试结果分配到某一叶节点中; 重复,直到到达叶子节点; 决策

    2024年02月06日
    浏览(36)
  • SVM——《统计学习方法第七章》

    在第二章中我们学过感知机,它是最小化所有误分类点到超平面的距离之和, M 为误分类点的集合,得到的分离超平面是不唯一的。 min ⁡ ω , b [ − ∑ x i ∈ M y i ( ω ⋅ x i + b ) ] min_{omega,b}[-sum_{x_i in M}y_i (omegacdot x_i+b)] ω , b min ​ [ − x i ​ ∈ M ∑ ​ y i ​ ( ω ⋅ x i ​

    2024年02月08日
    浏览(49)
  • 统计学习方法第五章——决策树

    decision tree决策树是一种分类和回归的方法,本章只考虑在分类领域的使用。决策树使用了归纳法划分特征空间,以此来达到分类的目的。决策树不同于KNN中的kd树,它是多叉树,不是二叉树。决策树是一种概率模型。 决策树采用了if-then规则,路径上的内部节点是对特征的分

    2024年02月05日
    浏览(36)
  • 【机器学习 | 朴素贝叶斯】朴素贝叶斯算法:概率统计方法之王,简单有效的数据分类利器

    🤵‍♂️ 个人主页: @AI_magician 📡主页地址: 作者简介:CSDN内容合伙人,全栈领域优质创作者。 👨‍💻景愿:旨在于能和更多的热爱计算机的伙伴一起成长!!🐱‍🏍 🙋‍♂️声明:本人目前大学就读于大二,研究兴趣方向人工智能硬件(虽然硬件还没开始玩,但一直

    2024年02月15日
    浏览(52)
  • 物联网|按键实验---学习I/O的输入及中断的编程|读取I/O的输入信号|中断的编程方法|轮询实现按键捕获实验-学习笔记(13)

    1按键功能及用途,常见按键举例 2按键的工作原理 3按键的电路表示 课后小作业: 请大家课后百度现在流行的触摸式按键的相关信息,并考虑如何使用我们开发板的CPU如何操作触摸按键。 了解STM32F407中IO输入信号读取的原理. 了解STM32F407中外部中断的原理 .学习利用CMSIS实现I

    2024年02月14日
    浏览(39)
  • GPT-4科研实践:数据可视化、统计分析、编程、机器学习数据挖掘、数据预处理、代码优化、科研方法论

    查看原文GPT4科研实践技术与AI绘图 GPT对于每个科研人员已经成为不可或缺的辅助工具,不同的研究领域和项目具有不同的需求。 例如在科研编程、绘图领域 : 1、编程建议和示例代码:  无论你使用的编程语言是Python、R、MATLAB还是其他语言,都可以为你提供相关的代码示例。

    2024年02月07日
    浏览(59)
  • 龙格-库塔方法学习笔记

       龙格—库塔法是一种在工程上应用广泛的高精度单步算法,其中包括著名的欧拉法,用于数值求解微分方程。 由于此算法精度高,采取措施对误差进行抑制,所以其实现原理也较复杂。 在各种龙格—库塔法当中有一个方法十分常用,该方法主要是在已知方程导数和初值

    2024年02月15日
    浏览(36)
  • 强化学习价值函数方法笔记

    在强化学习中,价值函数(Value Function)是一个核心概念,它用于衡量在不同状态或状态-动作对下,一个智能体(agent)可以获得的预期累积奖励。价值函数对于智能体做出决策和学习行为策略非常重要。 价值函数可以分为两种类型: 状态价值函数(State Value Function):记作

    2024年02月15日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包