PCA主成成分分析例题详解

主成分分析是一种降维算法，它能将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息

需要了解具体细节可看此视频👉：什么是主成成分分析PCA

计算步骤

假设有 $n$ 个样本，$p$ 个特征，则可构成大小为 $n\times p$ 的样本矩阵 $x$
x = [ x 11 x 12 … x 1 p x 21 x 22 … x 2 p ⋮ ⋮ ⋱ ⋮ x n 1 x n 2 … x n p ] = ( x 1 , x 2 ,   …   , x p ) x= \begin{bmatrix} x_{11} & x_{12} & \dots & x_{1p}\\ x_{21} & x_{22} & \dots & x_{2p}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n1} & x_{n2} & \dots & x_{np} \end{bmatrix} =(x_1 , x_2,\ \dots\ , x_p) x= ​x11​x21​⋮xn1​​x12​x22​⋮xn2​​……⋱…​x1p​x2p​⋮xnp​​ ​=(x1​,x2​, … ,xp​)

1. 以列为单位，计算各列的均值 $\overline{x_j}$ 和标准差 $S_j$ ，其中 $1\le j\le p$
   $$\begin{gathered} \overline{x_j}=\frac{1}{n}\sum _{i=1}^n{x}_{ij} \\ {S}_j=\sqrt{\frac{{\sum }_{i=1}^n(x_{ij}-\overline{x_j}{)}^2}{n-1}} \end{gathered}$$

2. 标准化原样本矩阵 $x$，标准化样本矩阵为 $X$，标准化后 $\overline{X_i}=0$
   X i j = x i j − x j ‾ S j [ X 11 X 12 … X 1 p X 21 X 22 … X 2 p ⋮ ⋮ ⋱ ⋮ X n 1 X n 2 … X n p ] X_{ij}=\dfrac{x_{ij}-\overline{x_j}}{S_j}\\ \begin{bmatrix} X_{11} & X_{12} & \dots & X_{1p}\\ X_{21} & X_{22} & \dots & X_{2p}\\ \vdots & \vdots & \ddots & \vdots\\ X_{n1} & X_{n2} & \dots & X_{np} \end{bmatrix} Xij​=Sj​xij​−xj​​​ ​X11​X21​⋮Xn1​​X12​X22​⋮Xn2​​……⋱…​X1p​X2p​⋮Xnp​​ ​

3. 计算标准化样本的协方差矩阵 $R$ 【方阵】

   协方差矩阵求法在线性判别分析LDA中有细致讲解，此处不再赘述
   R = [ r 11 r 12 … r 1 p r 21 r 22 … r 2 p ⋮ ⋮ ⋱ ⋮ r p 1 X p 2 … r p p ] r i j = 1 n − 1 ∑ k = 1 n ( X k i − X i ‾ ) ( X k j − X j ‾ ) = 1 n − 1 ∑ k = 1 n X k i X k j R=\begin{bmatrix} r_{11} & r_{12} & \dots & r_{1p}\\ r_{21} & r_{22} & \dots & r_{2p}\\ \vdots & \vdots & \ddots & \vdots\\ r_{p1} & X_{p2} & \dots & r_{pp} \end{bmatrix}\\ r_{ij}=\dfrac{1}{n-1}\sum_{k=1}^{n}(X_{ki}-\overline{X_i})(X_{kj}-\overline{X_j}) =\dfrac{1}{n-1}\sum_{k=1}^{n}X_{ki}X_{kj} R= ​r11​r21​⋮rp1​​r12​r22​⋮Xp2​​……⋱…​r1p​r2p​⋮rpp​​ ​rij​=n−11​k=1∑n​(Xki​−Xi​​)(Xkj​−Xj​​)=n−11​k=1∑n​Xki​Xkj​

4. 计算 $R$ 的特征值和特征矩阵【参考考研数学线性代数部分】

   $R$ 是半正定矩阵，特征值 $\lambda$ 有如下👇性质
   $$\begin{gathered} {\lambda }_1\ge {\lambda }_2\ge \cdots \ge 0 \\ tr(R)=\sum _{k=1}^p{\lambda }_k=p \end{gathered}$$

5. 计算主成分贡献率 $rate\_of\_contribution$ 以及累计贡献率 $aggregate\_rate\_of\_contribution$
   $$\begin{gathered} rate\_of\_contribution=\frac{{\lambda }_i}{{\sum }_{k=1}^p{\lambda }_k}(i=1,2,\dots ,p) \\ aggregate\_rate\_of\_contribution=\frac{{\sum }_{k=1}^i{\lambda }_k}{{\sum }_{k=1}^p{\lambda }_k}(i=1,2,\dots ,p) \end{gathered}$$

6. 写出主成分，第 $i$ 个主成分记作 $y_i$

   一般取累计贡献率超过 $80\%$ 的特征值所对应的第一、第二、$\dots$ 、第 $m(m\le p)$ 个主成分
   $$y_i=a_{1i}{X}_1+a_{2i}{X}_2+\cdots +a_{pi}{X}_p(i=1,2,\dots ,m)$$
   其中 $a$ 是特征向量【竖直】，$a_{1i}$ 代表第 $i$ 个特征向量的第 $1$ 个元素

7. 根据系数分析主成分代表的意义

   对于某个主成分而言，指标前面的系数越大，代表该指标对于该主成分的影响越大

例题

假设有 $n$ 个学生参加四门课程的考试，将学生们的考试成绩看作随机变量的取值，对考试成绩数据进行标准化处理，得到样本相关矩阵 $R$ ，如下表所示👇：

试对数据进行主成分分析。

此处的矩阵已经是协方差矩阵，因此直接计算特征值和特征向量即可

import numpy as np
R = np.array([[1,0.44,0.29,0.33],[0.44,1,0.35,0.32],[0.29,0.35,1,0.6],[0.33,0.32,0.6,1]])
eigenvalue, featurevector = np.linalg.eig(a)
print('特征值：')
print(eigenvalue)
print('特征向量：')
# numpy计算的特征向量最后需要变号
print(featurevector*(-1))

特征值和特征向量值可能会有误差，这是因为计算时位数的不同，总体差不多即可，此处做近似处理使得结果与例题一致
$$\therefore {\lambda }_1=2.17,{\lambda }_2=0.87,{\lambda }_3=\mathrm{0.57.}{\lambda }_4=0.39$$
这些特征值就是各主成分的方差贡献值。假设要求主成分的累计方差贡献率大于 $75\%$ 那么只需取前两个主成分即可，即$k=2$ ，因为👇
$$aggregate\_rate\_of\_contribution=\frac{{\sum }_{k=1}^2{\lambda }_k}{{\sum }_{k=1}^4{\lambda }_k}=\frac{2.17+0.87}{2.17+0.87+0.57+0.39}=0.76$$

近似处理单位特征向量和主成分的方差贡献率

第一，第二主成分为：
$$\begin{gathered} y_1=0.460x_1+0.476x_2+0.523x_3+0.537x_4 \\ {y}_1=0.574x_1+0.486x_2-0.476x_3-0.456x_4 \end{gathered}$$
第 $i$ 主成分对应变量 $x_j$ 的因子负荷量 $f_{ij}$ = $\frac{a_{ij}\times \sqrt{{\lambda }_i}}{\sqrt{{\sigma }_{ij}}}$ ，其中 $a_{ij}$ 是第 $i$ 个特征向量的第 $j$ 个元素，${\sigma }_{ij}$ 是协方差 $r_{ij}$
$$f_{11}=\frac{0.460\times \sqrt{2.17}}{\sqrt{1}}=0.678$$

同理可得其余的因子负荷量

第 i 主成分对应变量xj的因子负荷量

第 $x,y$ 主成分对变量 $x_i$ 的贡献率 $p_{xy,i}=f_{xi}^2+f_{yi}^2$ ，其中 $f_{ij}$ 为第 $i$ 主成分对应第 $j$ 个因子负荷量
$$p_{12,1}=0.678^2+0.536^2=0.747$$
同理可得其余的贡献率

第 1，2 主成分对变量 xi 的贡献率

可以看出，第一主成分 $y_1$ 对应的因子负荷量均为正数，表明各门课程成绩提高都可使 $y_1$ 提高，也就是说，第一主成分 $y_1$ 反映了学生的整体成绩；还可以看出，因子负荷量的数值相近，且 $y_1(x_4)$ 的数值最大，这表明物理成绩在整体成绩中占最重要位置。

第二主成分 $y_2$ 对应的因子负荷量有正有负，正的是语文和外语，负的是数学和物理，表明文科成绩提高都可使 $y_2$ 提高，而理科成绩提高都可使 $y_2$ 降低，也就是说，第二主成分 $y_2$ 反映了学生的文科成绩与理科成绩的关系。文章来源地址https://www.toymoban.com/news/detail-774660.html

到了这里，关于PCA主成成分分析例题详解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！