PCA主成分分析

这篇具有很好参考价值的文章主要介绍了PCA主成分分析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

PCA降维算法

目前图像特征的提取主要有两种方法:传统图像特征提取方法 和 深度学习方法。

  1. 传统的特征提取方法:基于图像本身的特征进行提取(PCA);
  2. 深度学习方法:基于样本自动训练出区分图像的特征分类器;

特征选择(feature selection)和特征提取(Feature extraction)都属于降维(Dimension reduction)

特征提取:

特征提取的主要方法:主要目的是为了排除信息量小的特征,减少计算量等:

主成分分析(PCA)

PCA主成分分析是传统特征提取方法当中最常用的算法,没有之一,传统的特征提取方法没有深度学习那么严谨,智能,准确度也没那么高,但它在做法上没有深度学习那么复杂,因为深度学习还需要训练参数等等,比较耗时。很多情况下并不需要用到深度学习的知识,简单点说,就是杀鸡焉用牛刀。很多人知道PCA是用来降维的,但是却不了解PCA算法的原理,于是深入了解PCA算法原理就成了一个分水岭。基于此,本文主要介绍PCA算法的原理。

PCA算法是如何实现的

简单来说,就是将数据从原始的空间中转换到新的特征空间中,例如原始的空间是三维的(x,y,z),x、y、z分别是原始空间的三个基,我们可以通过某种方法,用新的坐标系(a,b,c)来表示原始的数据,那么a、b、c就是新的基,它们组成新的特征空间。在新的特征空间中,可能所有的数据在c上的投影都接近于0,即可以忽略,那么我们就可以直接用(a,b)来表示数据,这样数据就从三维的(x,y,z)降到了二维的(a,b)。

问题的关键在于如何求新的基(a,b,c)?

步骤:

  1. 对原始数据零均值化(中心化),
  2. 求协方差矩阵,
  3. 对协方差矩阵求特征向量和特征值,这些特征向量组成了新的特征空间。
1. PCA——零均值化(中心化):

把所有的变量都去减掉他们的均值,使得减完之后得到的数据集均值为0,其实本质就是一个平移的过程,平移后得到的所有数据的中心是(0,0)
PCA主成分分析

公式推导
设均值为E
(1/n) * (x1 + x2 + … +xn) = E
所有的变量都减去均值
(1/n) * (x1 - E + x2 - E + … + xn - E)
= (1/n) * ((x1 + x2 + … +xn) -nE)
= (1/n) * (x1 + x2 + … +xn) - E
= 0

只有“中心化”数据之后,计算得到的方向才能比较好的“概括”原来的数据。
下图描述了“中心化”的几何意义,即将样本集的中心平移到坐标系的原点0上
PCA主成分分析

对于上左图,蓝色的圈代表数据域,凭肉眼观察,按理来说数据的发展方向是从左上到右下,正好是跟它现在的均值是垂直的。而我们一般而言一组数据的均值是能够代表这组数据的趋势的,但显然现在的均值并不能代表该数据的发展趋势。所以当我们做了零均值化过后,就和我们的预期达到一致了。所以我们做零均值化的原因就在于优化,使得我们在计算的时候更加准确,如果不做这一步,有可能会导致误差变大。

2. PCA——PCA降维的几何意义

对于一组数据,如果它在某一坐标轴上的方差越大,说明坐标点越分散,该属性就能够比较好地反映源数据。

这里举个例子便于理解,假设现在有3个人的人脸特征,他们的特征都有三个维度(眼睛,鼻子,嘴巴),假设对于鼻子这一维度的数据3个人都是一样的,都是大鼻子,那么这个时候鼻子这个维度的方差就为0,这个维度的离散程度就很小。那么如果我们要做分类任务,我们从鼻子这个维度所获得的信息量就基本为0,也就是说我们无法从这个维度得知一张人脸属于谁。所以我要想通过鼻子这一维度来区分出这3个人的话,我需要一个大的方差,比如说他们的鼻子分别是大,中,小鼻子,此时的方差就比较大了,这时就可以通过鼻子这一维度来获得比较大的信息量,通过这一维度来进行人脸识别。这样一来鼻子这一维度就是一个有效的特征。基于此。引出PCA降维算法的目标:

  1. 降维后同一维度的方差最大
  2. 不同维度之间的相关性为0

因为我们的目的在于用尽量少维度来表示物体特征,那么我一定是希望每个维度的特征越明显越好,所以要求方差最大。并且我不能有a和b能够推出c的情况,因为这样的话就形成了冗余特征,所以不同维度之间不能有相关性

由于不同维度之间相关性应为0,由此便引出协方差概念

3. PCA——协方差

协方差是用来度量两个随机变量关系的统计量
同一元素的协方差就表示该元素的方差,不同元素之间的协方差就表示它们的相关性
协方差>0 , 表示X和Y正相关
协方差=0 , 表示X和Y不相关(我们要找的就是这个点)
协方差<0 , 表示X和Y负相关
PCA主成分分析

在理解协方差时应将其与方差结合起来,因为方差描述的是变量和均值之间的关系,那对于协方差而言,如果两个变量之中有一个是均值,那此时协方差就变成了方差,所以方差实际上是协方差的一个特例,当X和Y为同一特征时,此时的协方差就是方差。所以说同一元素的协方差就表示该元素的方差,不同元素之间的协方差就表示它们的相关性。所以说我们最后得到的几个特征,两两之间的协方差都应该为0。
这里有一个问题在于协方差只能处理二维的数据,但是我们的整个数据集当中,特征维度肯定不止2维,可能有100维,那我们两两之间都要做协方差,所以这时就引入了矩阵来组织多维数据,所以我们就用到了协方差矩阵

4. PCA——协方差矩阵

定义:
PCA主成分分析

这里其实就是把两两之间的协方差都列举出来了
协方差矩阵的特点:

  • 协方差矩阵计算的是不同维度之间的协方差,而不是不同样本的
  • 样本矩阵的每行是一个样本,每列为一个维度,所以我们要按列计算均值
  • 协方差矩阵的对角线就是各个维度上的方差

这里需要区分样本矩阵协方差矩阵

特别的,如果做了中心化,则协方差矩阵为(中心化矩阵的协方差矩阵公式,m为样本个数):
PCA主成分分析

5. PCA——对协方差矩阵求特征值,特征矩阵

A为n阶矩阵(在应用中,A为协方差矩阵),若数λ和n维非0列向量x满足Ax=λx,那么数λ称为A的特征值,x称为A的对应于特征值λ 的特征向量。
式Ax=λx也可写成( A-λE)x=0,E是单位矩阵,并且|A-λE|叫做A 的特征多项式。当特征多项式等于0的 时候,称为A的特征方程,特征方程是一个齐次线性方程组,求解特征值的过程其实就是求解特征方程的解。
对于协方差矩阵A,其特征值( 可能有多个)计算方法为:
PCA主成分分析

对数字图像矩阵做特征值分解,其实是在提取这个图像中的特征,这些提取出来的特征是一个个的向量,即 对应着特征向量。而这些特征在图像中到底有多重要,这个重要性则通过特征值来表示。
比如一个100x100的图像矩阵A分解之后,会得到一个100x100的特征向量组成的矩阵Q,以及一个100x100 的只有对角线上的元素不为0的矩阵E,这个矩阵E对角线上的元素就是特征值,而且还是按照从大到小排列 的(取模,对于单个数来说,其实就是取绝对值),也就是说这个图像A提取出来了100个特征,这100个特 征的重要性由100个数字来表示,这100个数字存放在对角矩阵E中。
所以归根结底,特征向量其实反应的是矩阵A本身固有的一些特征,而此时A表示的是协方差矩阵,所以此时的特征向量反映的是协方差矩阵的特征。本来一个矩阵就是一个线性变换, 当把这个矩阵作用于一个向量的时候,通常情况绝大部分向量都会被这个矩阵A变换得“面目全非”, 但是偏偏刚好存在这么一些向量,被矩阵A变换之后居然还能保持原来的样子,于是这些向量就可以 作为矩阵的核心代表了。 于是我们可以说:一个变换(即一个矩阵)可以由其特征值和特征向量完全表述,这是因为从数学上 看,这个矩阵所有的特征向量组成了这个向量空间的一组基底。而矩阵作为变换的本质其实就是把一个基底下的东西变换到另一个基底表示的空间中。

6. PCA——对特征值进行排序

PCA主成分分析

7. PCA——评价模型的好坏,k值的确定

通过特征值的计算我们可以得到主成分所占的百分比,用来衡量模型的好坏。
对于前k个特征值所保留下的信息量计算方法如下:
PCA主成分分析

8. PCA——代码实现

1. 手动实现

# -*- coding: utf-8 -*-
"""
使用PCA求样本矩阵X的K阶降维矩阵Z
"""
 
import numpy as np
 
class CPCA(object):
    '''用PCA求样本矩阵X的K阶降维矩阵Z
    Note:请保证输入的样本矩阵X shape=(m, n),m行样例,n个特征
    '''
    def __init__(self, X, K):
        '''
        :param X,训练样本矩阵X
        :param K,X的降维矩阵的阶数,即X要特征降维成k阶
        '''
        self.X = X       #样本矩阵X
        self.K = K       #K阶降维矩阵的K值
        self.centrX = [] #矩阵X的中心化
        self.C = []      #样本集的协方差矩阵C
        self.U = []      #样本矩阵X的降维转换矩阵
        self.Z = []      #样本矩阵X的降维矩阵Z
        
        self.centrX = self._centralized()
        self.C = self._cov()
        self.U = self._U()
        self.Z = self._Z() #Z=XU求得
        
    def _centralized(self):
        '''矩阵X的中心化'''
        print('样本矩阵X:\n', self.X)
        centrX = []
        mean = np.array([np.mean(attr) for attr in self.X.T]) #样本集的特征均值
        print('样本集的特征均值:\n',mean)
        centrX = self.X - mean ##样本集的中心化
        print('样本矩阵X的中心化centrX:\n', centrX)
        return centrX
        
    def _cov(self):
        '''求样本矩阵X的协方差矩阵C'''
        #样本集的样例总数
        ns = np.shape(self.centrX)[0]
        #样本矩阵的协方差矩阵C
        C = np.dot(self.centrX.T, self.centrX)/(ns - 1)
        print('样本矩阵X的协方差矩阵C:\n', C)
        return C
        
    def _U(self):
        '''求X的降维转换矩阵U, shape=(n,k), n是X的特征维度总数,k是降维矩阵的特征维度'''
        #先求X的协方差矩阵C的特征值和特征向量
        a,b = np.linalg.eig(self.C) #特征值赋值给a,对应特征向量赋值给b。函数doc:https://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.linalg.eig.html 
        print('样本集的协方差矩阵C的特征值:\n', a)
        print('样本集的协方差矩阵C的特征向量:\n', b)
        #给出特征值降序的topK的索引序列
        ind = np.argsort(-1*a)
        #构建K阶降维的降维转换矩阵U
        UT = [b[:,ind[i]] for i in range(self.K)]
        U = np.transpose(UT)
        print('%d阶降维转换矩阵U:\n'%self.K, U)
        return U
        
    def _Z(self):
        '''按照Z=XU求降维矩阵Z, shape=(m,k), n是样本总数,k是降维矩阵中特征维度总数'''
        Z = np.dot(self.X, self.U)
        print('X shape:', np.shape(self.X))
        print('U shape:', np.shape(self.U))
        print('Z shape:', np.shape(Z))
        print('样本矩阵X的降维矩阵Z:\n', Z)
        return Z
        
if __name__=='__main__':
    '10样本3特征的样本集, 行为样例,列为特征维度'
    X = np.array([[10, 15, 29],
                  [15, 46, 13],
                  [23, 21, 30],
                  [11, 9,  35],
                  [42, 45, 11],
                  [9,  48, 5],
                  [11, 21, 14],
                  [8,  5,  15],
                  [11, 12, 21],
                  [21, 20, 25]])
    K = np.shape(X)[1] - 1
    print('样本集(10行3列,10个样例,每个样例3个特征):\n', X)
    pca = CPCA(X,K)

2. 利用numpy库封装好的函数简化代码

#coding=utf-8

import numpy as np
class PCA():
    def __init__(self,n_components):
        self.n_components = n_components
    
    def fit_transform(self,X):
        self.n_features_ = X.shape[1]
        # 求协方差矩阵
        X = X - X.mean(axis=0)
        self.covariance = np.dot(X.T,X)/X.shape[0]
        # 求协方差矩阵的特征值和特征向量
        eig_vals,eig_vectors = np.linalg.eig(self.covariance)
        # 获得降序排列特征值的序号
        idx = np.argsort(-eig_vals)
        # 降维矩阵
        self.components_ = eig_vectors[:,idx[:self.n_components]]
        # 对X进行降维
        return np.dot(X,self.components_)
 
# 调用
pca = PCA(n_components=2)
X = np.array([[-1,2,66,-1], [-2,6,58,-1], [-3,8,45,-2], [1,9,36,1], [2,10,62,1], [3,5,83,2]])  #导入数据,维度为4
newX=pca.fit_transform(X)
print(newX)                  #输出降维后的数据

3. 利用sklearn库简化

sklearn是一个第三方库,里面提供了一个PCA函数,调用它可以直接进行降维
PCA主成分分析

#coding=utf-8

import numpy as np
from sklearn.decomposition import PCA
X = np.array([[-1,2,66,-1], [-2,6,58,-1], [-3,8,45,-2], [1,9,36,1], [2,10,62,1], [3,5,83,2]])  #导入数据,维度为4
pca = PCA(n_components=2)   #降到2维
pca.fit(X)                  #训练
newX=pca.fit_transform(X)   #降维后的数据
# PCA(copy=True, n_components=2, whiten=False)
print(pca.explained_variance_ratio_)  #输出贡献率
print(newX)                  #输出降维后的数据

9. PCA——鸢尾花实例

我们通过Python的sklearn库来实现鸢尾花数据 进行降维,数据本身是4维的,降维后变成2维。
其中样本总数为150,鸢尾花的类别有三种。
PCA主成分分析

#!/usr/bin/env python
# encoding=gbk

import matplotlib.pyplot as plt
import sklearn.decomposition as dp
from sklearn.datasets.base import load_iris

x,y=load_iris(return_X_y=True) # 加载数据,x表示数据集中的属性数据,y表示数据标签
pca=dp.PCA(n_components=2) # 加载PCA算法,设置降维后主成分数目为2
reduced_x=pca.fit_transform(x) # 对原始数据进行降维,保存在reduced_x中
red_x,red_y=[],[]
blue_x,blue_y=[],[]
green_x,green_y=[],[]
for i in range(len(reduced_x)): # 按鸢尾花的类别将降维后的数据点保存在不同的表中
    if y[i]==0:
        red_x.append(reduced_x[i][0])
        red_y.append(reduced_x[i][1])
    elif y[i]==1:
        blue_x.append(reduced_x[i][0])
        blue_y.append(reduced_x[i][1])
    else:
        green_x.append(reduced_x[i][0])
        green_y.append(reduced_x[i][1])
plt.scatter(red_x,red_y,c='r',marker='x')
plt.scatter(blue_x,blue_y,c='b',marker='D')
plt.scatter(green_x,green_y,c='g',marker='.')
plt.show()

结果:
PCA主成分分析

10. PCA——算法优缺点

优点:

  1. 完全无参数限制的。在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算 进行干预,最后的结果只与数据相关,与用户是独立的。
  2. 用PCA技术可以对数据进行降维,同时对新求出的“主元”向量的重要性进行排序,根据需要取前面 最重要的部分,将后面的维数省去,可以达到降维从而简化模型或是对数据进行压缩的效果。同时 最大程度的保持了原有数据的信息。
  3. 计算方法简单,易于在计算机上实现。

缺点:文章来源地址https://www.toymoban.com/news/detail-478978.html

  1. 如果用户对观测对象有一定的先验知识,掌握了数据的一些特征,却无法通过参数化等方法对处理 过程进行干预,可能会得不到预期的效果,效率也不高。

到了这里,关于PCA主成分分析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • R语言——采用主成分分析PCA方法下的“S 模式 “矩阵从同步分类中提取度量指标

    本教程将向您展示如何根据我们的综合分类计算一些指标。 PCA(Principal Component Analysis,主成分分析)是一种常用的数据降维技术,用于从高维数据中提取最重要的特征。它通过将原始数据转换为一组新的正交变量,称为主成分,以捕捉数据中最大的方差。 1. 数据标准化:如

    2024年03月15日
    浏览(54)
  • 【机器学习】主成分分析(PCA)算法及Matlab实现

    【问题引入】 在许多领域的研究与应用中,往往需要对反映事物的多个变量进行大量的观测,收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息,但也在一定程度上增加了数据采集的工作量,更重要的是在多数情况下,许多变量之间可

    2024年02月04日
    浏览(52)
  • 【数学建模】常用算法-主成分分析PCA的Python实现

    本文主要讲解主成分分析析法(PCA)的python实现,后续会跟进实例分析 主成分分析PCA是一种应用广泛的和降维方法,对其实现做以下归纳 导入包 定义计算协方差矩阵函数 X为输入的数据,m为样本数据的条数,也就是X的行数。 对X进行标准化,方法为:减去均值除以方差,这

    2023年04月08日
    浏览(105)
  • 【数据挖掘】PCA/LDA/ICA:A成分分析算法比较

            在深入研究和比较算法之前,让我们独立回顾一下它们。请注意,本文的目的不是深入解释每种算法,而是比较它们的目标和结果。 如果您想了解更多关于

    2024年02月15日
    浏览(44)
  • 机器学习强基计划8-1:图解主成分分析PCA算法(附Python实现)

    机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理;“广”在分析多个机器学习模型:决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖,由本人亲自从底层编

    2024年02月02日
    浏览(69)
  • PCA分析(主成分分析)--结果解读

    主成分分析( PCA )是一个很好的工具,可以用来降低特征空间的维数。 PCA 的显著优点是它能产生不相关的特征,并能提高模型的性能。 PCA 用于减少用于训练模型的特征维度数量,它通过从多个特征构造所谓的主成分( PC )来实现这一点。 PC 的构造方式使得 PC1 方向在最大

    2024年02月03日
    浏览(37)
  • PCA主成分分析

    目前图像特征的提取主要有两种方法:传统图像特征提取方法 和 深度学习方法。 传统的特征提取方法:基于图像本身的特征进行提取(PCA); 深度学习方法:基于样本自动训练出区分图像的特征分类器; 特征选择(feature selection)和特征提取(Feature extraction)都属于 降维

    2024年02月08日
    浏览(53)
  • 主成分分析(PCA)详解

    主成分分析(PCA)是一种比较基础的数据降维方法,也是多元统计中的重要部分,在数据分析、机器学习等方面具有广泛应用。主成分分析目的是用较少的变量来代替原来较多的变量,并可以反映原来多个变量的大部分信息。 对于一个含有n个数据,变量的个数为p的一个样本,

    2024年01月17日
    浏览(45)
  • OpenCV图像特征提取学习五,HOG特征检测算法

    一、HOG向梯度直方图概述   向梯度直方图(Histogram of Oriented Gradient, HOG)特征是基于对稠密网格中归一化的局部方向梯度直方图的计算。此方法的基本观点是:局部目标的外表和形状可以被局部梯度或边缘方向的分布很好的描述,即使我们不知道对应的梯度和边缘的位置。在

    2024年02月04日
    浏览(47)
  • 主成分分析(PCA)原理详解

    在许多领域的研究与应用中,通常需要对含有多个变量的数据进行观测,收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息,但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下,许多变量之间可能存在相关性,从而

    2024年02月07日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包