线性判别分析LDA计算例题详解

这篇具有很好参考价值的文章主要介绍了线性判别分析LDA计算例题详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

线性判别分析(Linear Discriminant Analysis, LDA)的核心思想是:将给定训练集投影到特征空间的一个超平面上,并设法使同类样本投影点尽可能接近,异类样本投影点尽可能远离

由于做题时针对的是解题过程,因此原理相关方面省略,具体可参考👉从协方差的角度详解线性判别分析原理

计算步骤【二分类问题】:

  1. 计算类间散度矩阵 S b S_b Sb
    S b = ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T Sb=(μ0μ1)(μ0μ1)T
    其中 μ 0 \mu_0 μ0 为标签为 0 0 0 的特征平均值,其值个数等于特征个数, μ 1 \mu_1 μ1 同理

  2. 计算类内散度矩阵 S ω S_\omega Sω
    S ω = Σ 0 + Σ 1 S_\omega = \Sigma_0 + \Sigma_1\\ Sω=Σ0+Σ1
    其中 Σ 0 \Sigma_0 Σ0 是标签为 0 0 0 的样本协方差矩阵,若有 n n n 个特征,则其大小为 n × n n\times n n×n
    Σ 0 = [ C o v ( f 1 , f 1 ) C o v ( f 1 , f 2 ) ⋯ C o v ( f 1 , f n ) C o v ( f 2 , f 1 ) C o v ( f 2 , f 2 ) ⋯ C o v ( f 2 , f n ) ⋮ ⋮ ⋱ ⋮ C o v ( f n , f 1 ) C o v ( f n , f 2 ) ⋯ C o v ( f n , f n ) ] \Sigma_0 = \begin{bmatrix} Cov(f_1,f_1)& Cov(f_1,f_2)& \cdots &Cov(f_1,f_n)\\ Cov(f_2,f_1)& Cov(f_2,f_2)&\cdots &Cov(f_2,f_n)\\ \vdots & \vdots & \ddots & \vdots \\ Cov(f_n,f_1)& Cov(f_n,f_2)& \cdots &Cov(f_n,f_n) \end{bmatrix} \\ Σ0= Cov(f1,f1)Cov(f2,f1)Cov(fn,f1)Cov(f1,f2)Cov(f2,f2)Cov(fn,f2)Cov(f1,fn)Cov(f2,fn)Cov(fn,fn)
    其中 C o v ( x 1 , x 2 ) = 1 n − 1 ∑ i = 1 n ( x 1 i − x 1 ‾ ) ( x 2 i − x 2 ‾ ) Cov(x_1,x_2)=\dfrac{1}{n-1}\sum_{i=1}^{n}(x_1^{i}-\overline{x_1})(x_2^{i}-\overline{x_2}) Cov(x1,x2)=n11i=1n(x1ix1)(x2ix2) n n n 为样本个数

  3. 计算矩阵 S ω − 1 S b S_\omega^{-1}S_b Sω1Sb

    逆矩阵可以使用初等变换辅助求解,变换规则如下:

    • 对调矩阵两行(列)
    • 矩阵某行(列)乘以非零常数 k k k
    • 矩阵某行(列)倍数加到另一行
  4. S ω − 1 S b S_\omega^{-1}S_b Sω1Sb 矩阵求特征值和特征向量,选择特征值最大的特征向量作为 ω \omega ω【需要归一化】

    • 特征值可通过 ∣ λ E − A ∣ = 0 |\lambda E-A|=0 λEA=0 求得

    • 将特征值带入方程 ( λ 0 E − A ) X = 0 (\lambda_0E-A)X=0 (λ0EA)X=0 ,非零解即为特征值 λ 0 \lambda_0 λ0 对应得特征向量

      具体可参考考研数学线性代数部分,不再赘述

  5. 计算得到投影后的数据点 Y = X ω Y=X\omega Y=Xω

    将样本值 X X X 代入,得到的结果即投影后对应的位置

题目

假设有如下 10 10 10 个样本,样本有 2 2 2 个特征,前 5 5 5 项为负类,后 5 5 5 项为正类
D = { X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 , X 9 , X 10 } = { ( 4 , 2 ) T , ( 2 , 4 ) T , ( 2 , 3 ) T , ( 3 , 6 ) T , ( 4 , 4 ) T , ( 9 , 10 ) T , ( 6 , 8 ) T , ( 9 , 5 ) T , ( 8 , 7 ) T , ( 10 , 8 ) T } \begin{align} \nonumber D & =\left\{ X_1,X_2,X_3,X_4,X_5,X_6,X_7,X_8,X_9,X_{10} \right\}\\\nonumber & =\left\{ (4,2)^T,(2,4)^T,(2,3)^T,(3,6)^T,(4,4)^T,(9,10)^T,(6,8)^T,(9,5)^T,(8,7)^T,(10,8)^T \right\}\\ \nonumber \end{align} D={X1,X2,X3,X4,X5,X6,X7,X8,X9,X10}={(4,2)T,(2,4)T,(2,3)T,(3,6)T,(4,4)T,(9,10)T,(6,8)T,(9,5)T,(8,7)T,(10,8)T}
计算当前样本的类间散度矩阵 S b S_b Sb 和类内散度矩阵 S ω S_\omega Sω

题目所给样本可组成如下矩阵👇

样本 特征值1 特征值2 分类
X 1 X_1 X1 4 2 0
X 2 X_2 X2 2 4 0
X 3 X_3 X3 2 3 0
X 4 X_4 X4 3 6 0
X 5 X_5 X5 4 4 0
X 6 X_6 X6 9 10 1
X 7 X_7 X7 6 8 1
X 8 X_8 X8 9 5 1
X 9 X_9 X9 8 7 1
X 10 X_{10} X10 10 8 1

μ 0 = [ ( 4 + 2 + 2 + 3 + 4 5 ) , ( 2 + 4 + 3 + 6 + 4 5 ) ] T = [   3 , 3.8   ] T ∴ μ 1 = [   8.4 , 7.6   ] T ∴ S b = ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T = [ − 5.4 − 4.2 ] [ − 5.4 − 4.2 ] = [ 29.16 22.68 22.68 17.64 ] S ω = Σ 0 + Σ 1 Σ 0 = [ C o v ( f 1 , f 1 ) C o v ( f 1 , f 2 ) C o v ( f 2 , f 1 ) C o v ( f 2 , f 2 ) ] \mu_0=[(\dfrac{4+2+2+3+4}{5}),(\dfrac{2+4+3+6+4}{5})]^T=[\ 3,3.8\ ]^T\\ \therefore \mu_1=[\ 8.4,7.6\ ]^T\\ \begin{align}\nonumber \therefore S_b & = (\mu_0-\mu_1)(\mu_0-\mu_1)^T \\\nonumber & = \begin{bmatrix} -5.4\\-4.2 \end{bmatrix} \begin{bmatrix} -5.4 & -4.2 \end{bmatrix}\\ & =\nonumber \begin{bmatrix} 29.16 & 22.68\\ 22.68 & 17.64 \end{bmatrix} \end{align}\\ S_\omega = \Sigma_0 + \Sigma_1\\ \Sigma_0= \begin{bmatrix} Cov(f_1,f_1) & Cov(f_1,f_2)\\ Cov(f_2,f_1) & Cov(f_2,f_2)\\ \end{bmatrix} μ0=[(54+2+2+3+4),(52+4+3+6+4)]T=[ 3,3.8 ]Tμ1=[ 8.4,7.6 ]TSb=(μ0μ1)(μ0μ1)T=[5.44.2][5.44.2]=[29.1622.6822.6817.64]Sω=Σ0+Σ1Σ0=[Cov(f1,f1)Cov(f2,f1)Cov(f1,f2)Cov(f2,f2)]

以求 C o v ( f 1 , f 2 ) Cov(f_1,f_2) Cov(f1,f2) 为例,如下👇,由于是对标签为 0 0 0 的样本计算协方差, ∴ f 1 ‾ = 3 , f 2 ‾ = 3.8 \therefore\overline{f_1}=3,\overline{f_2}=3.8 f1=3f2=3.8
C o v ( f 1 , f 2 ) = 1 5 − 1 ∑ i = 1 5 ( f 1 i − f 1 ‾ ) ( f 2 i − f 2 ‾ ) = 1 4 [ ( 4 − 3 ) ( 2 − 3.8 ) + ( 2 − 3 ) ( 4 − 3.8 ) + ( 2 − 3 ) ( 3 − 3.8 ) + ( 3 − 3 ) ( 6 − 3.8 )       + ( 4 − 3 ) ( 4 − 3.8 ) ] = 1 4 × ( − 1.8 − 1.8 + 0.8 + 1.8 ) = − 0.25 \begin{align}\nonumber Cov(f_1,f_2) &=\dfrac{1}{5-1}\sum_{i=1}^{5}(f_1^{i}-\overline{f_1})(f_2^{i}-\overline{f_2})\\\nonumber & = \dfrac14[(4-3)(2-3.8)+(2-3)(4-3.8)+(2-3)(3-3.8)+(3-3)(6-3.8)\\&\ \ \ \ \ \nonumber +(4-3)(4-3.8)]\\\nonumber & = \dfrac14\times(-1.8-1.8+0.8+1.8)\\\nonumber & = -0.25 \end{align}\\ Cov(f1,f2)=511i=15(f1if1)(f2if2)=41[(43)(23.8)+(23)(43.8)+(23)(33.8)+(33)(63.8)     +(43)(43.8)]=41×(1.81.8+0.8+1.8)=0.25
其他数值都可根据类似方法得到
∴ Σ 0 = [ 1 − 0.25 − 0.25 2.2 ] Σ 1 = [ 2.3 − 0.05 − 0.05 3.3 ] ∴ S ω = Σ 0 + Σ 1 = [ 3.3 − 0.3 − 0.3 5.5 ] \therefore \Sigma_0= \begin{bmatrix} 1 & -0.25\\ -0.25 & 2.2\\ \end{bmatrix}\\ \Sigma_1= \begin{bmatrix} 2.3 & -0.05\\ -0.05 & 3.3\\ \end{bmatrix}\\ \therefore S_\omega=\Sigma_0+\Sigma_1= \begin{bmatrix} 3.3 & -0.3\\ -0.3 & 5.5 \end{bmatrix} Σ0=[10.250.252.2]Σ1=[2.30.050.053.3]Sω=Σ0+Σ1=[3.30.30.35.5]文章来源地址https://www.toymoban.com/news/detail-434680.html

到了这里,关于线性判别分析LDA计算例题详解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【数学建模】《实战数学建模:例题与讲解》第十二讲-因子分析、判别分析(含Matlab代码)

    本系列侧重于例题实战与讲解,希望能够在例题中理解相应技巧。文章开头相关基础知识只是进行简单回顾,读者可以搭配课本或其他博客了解相应章节,然后进入本文正文例题实战,效果更佳。 如果这篇文章对你有帮助,欢迎点赞与收藏~ 判别分析是一种统计方法,它根据

    2024年02月04日
    浏览(72)
  • 机器学习之线性判别分析(Linear Discriminant Analysis)

    线性判别分析(Linear Discriminant Analysis,简称LDA)是一种经典的监督学习算法,也称\\\"Fisher 判别分析\\\"。LDA在模式识别领域(比如人脸识别,舰艇识别等图形图像识别领域)中有非常广泛的应用。 LDA的核心思想是给定训练样本集,设法将样例投影到一条直线上。使得同类样例的

    2024年02月15日
    浏览(38)
  • 核矩阵半正定性: 支持向量机与线性判别分析

    支持向量机(Support Vector Machine,SVM)和线性判别分析(Linear Discriminant Analysis,LDA)都是用于解决二分类问题的机器学习算法。它们的核心思想是找到一个超平面(在二维空间中是直线)将数据集划分为两个类别。然而,SVM 和 LDA 在处理数据的方式和性能上存在一些关键区别。 SVM 通过

    2024年02月19日
    浏览(36)
  • R语言分析糖尿病数据:多元线性模型、MANOVA、决策树、典型判别分析、HE图、Box's M检验可视化...

    Reaven和Miller(1979)研究了145名非肥胖成年人的葡萄糖耐量和胰岛素血液化学指标之间的关系。他们使用斯坦福线性加速器中心的PRIM9系统将数据可视化为3D,并发现了一个奇特的图案,看起来像是一个有两个翼的大斑点 ( 点击文末“阅读原文”获取完整 代码数据 )。 相关视

    2024年02月07日
    浏览(42)
  • 【模式识别】探秘判别奥秘:Fisher线性判别算法的解密与实战

    ​🌈个人主页: Sarapines Programmer 🔥 系列专栏: 《模式之谜 | 数据奇迹解码》 ⏰诗赋清音:云生高巅梦远游, 星光点缀碧海愁。 山川深邃情难晤, 剑气凌云志自修。 目录 🌌1 初识模式识别 🌌2 Fisher线性判别 🌍2.1 研究目的 🌍2.2 实验环境 🌍2.3 实验内容 🌕2.3.1 算法

    2024年02月04日
    浏览(36)
  • PCA主成成分分析例题详解

    主成分分析是一种降维算法,它能将多个指标转换为少数几个主成分,这些主成分是原始变量的线性组合,且彼此之间互不相关,其能反映出原始数据的大部分信息 需要了解具体细节可看此视频👉:什么是主成成分分析PCA 计算步骤 假设有 n n n 个样本, p p p 个特征,则可构

    2024年02月03日
    浏览(47)
  • 详解矩阵的正交化(附例题分析)

    目录 一. 矩阵Gram-Schmidt正交化的好处 二. 矩阵标准正交化过程 三. 例题 3.1 标准正交化 3.2 算法小结 3.3 优化分析 四. 小结 矩阵有两类等价关系 矩阵对角化 特殊矩阵­ 假如有三个线性独立的向量a,b,c,他们是标准正交的(orthonormal),也就是长度均为1且两两相互正交。 如果任

    2024年01月16日
    浏览(32)
  • 详解时间复杂度计算公式(附例题细致讲解过程)

    这几天开始刷力扣上面的 算法题 ,有些题目上面限制 时间复杂度 和 空间复杂度 ,题目虽然写出来了,但是很没底。印象里数据结构老师讲过一点,沉睡的记忆苏醒了。只记得一个时间复杂度是 O(n) ,空间复杂度是 S(n) 。for循环常常是O(n),具体是怎么算的不清楚。所以在看

    2024年02月03日
    浏览(38)
  • 大数据毕业设计Python+Django旅游景点评论数据采集分析可视化系统 NLP情感分析 LDA主题分析 bayes分类 旅游爬虫 旅游景点评论爬虫 机器学习 深度学习 人工智能 计算机毕业设计

    毕业论文(设计)开题报告 学生姓名 学  号 所在学院 信息工程学院 专  业 指导教师姓名 指导教师职称 工程师 助教 指导教师单位 论文(设计)题目 基于朴素贝叶斯算法旅游景点线上评价情感分析 开  题  报  告  内  容 选题依据及研究内容(国内、外研究现状,初步

    2024年04月17日
    浏览(66)
  • 【Sklearn】基于线性判别法的数据分类预测(Excel可直接替换数据)

    线性判别分析(Linear Discriminant Analysis,简称LDA)是一种经典的模式识别和分类方法,它的目标是找到一个投影,将数据投影到低维空间,使得不同类别的样本在投影后的空间中有最大的类别间距,同时最小化类内方差。 模型原理如下: 假设有d维的数据,分为K个类别。我们

    2024年02月12日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包