使用Numpy实现PCA

重磅干货，第一时间送达

作者 | Guillermina Sutter Schneider 

编译 | VK 

来源 | Towards Data Science

PCA是一种常用于处理多重共线性的特征提取方法。在这种情况下，PCA的最大优点是，在应用它之后，每个“新”变量将彼此独立。

本节基于mattbrems的这篇文章:https://towardsdatascience.com/a-one-stop-shop-for-principal-component-analysis-5582fb7e0b。我将一步一步地解释如何只使用numpy（以及使用一点pandas来操作数据帧）来进行PCA。

首先清理数据集非常重要。因为这不是本文的目标，你可以去仓库看看我做了什么：https://github.com/glosophy/WindPowerForecasting/blob/main/windPowerPCA.ipya

将数据分为因变量（Y）和特征或自变量（X）。

import pandas as pd

features = ['WindSpeed', 'RotorRPM', 'ReactivePower', 'GeneratorWinding1Temperature', 
       'GeneratorWinding2Temperature', 'GeneratorRPM', 'GearboxBearingTemperature', 'GearboxOilTemperature']

# 将数据分离为Y和X
y = data['ActivePower']
X = data[features]

取自变量X的矩阵，对于每一列，从每个特征中减去该列的平均值。（这样可以确保每列的平均值为零。）也可以通过除以每列的标准差来标准化X。此步骤的目的是标准化特征，使其平均值等于零，标准偏差等于1。

# 减去均值
X = X - X.mean()

# 标准化
Z = X / X.std()

这是一个健全性检查步骤。让我们确保平均值和标准差分别为0和1。

# 检验均值= 0和标准差= 1
print('MEAN:')
print(Z.mean())
print('---'*15)
print('STD:')
print(Z.std())

取矩阵Z，转置它，然后将转置后的矩阵乘以Z，这就是Z的协方差矩阵。

import numpy as np

Z = np.dot(Z.T, Z)

计算的特征值数组和一个特征矩阵，特征矩阵的列是与特征值对应的归一化特征向量。

在这一步中，重要的是要确保特征值及其特征向量按降序排序（从大到小）。对特征值进行排序，然后对特征向量进行相应排序。

eigenvalues, eigenvectors = np.linalg.eig(Z)

把特征向量的矩阵赋给P，把对角矩阵赋给D，特征值在对角线上，其它地方的值都为零。D对角线上的特征值将与P中相应的列相关联。

D = np.diag(eigenvalues)
P = eigenvectors

计算Z* = ZP。这个新的矩阵，Z*，是X的中心或标准化版本，但现在每个观测值都是原始变量的组合，其中权重由特征向量确定。

关于这个新矩阵Z*的一个重要的事情是，因为P中的特征向量彼此独立，所以Z*中的列也是相互独立的！

Z_new = np.dot(Z, P)

有了Z*你就可以决定保留多少特征与删除多少特征。这通常是通过一个scree图来完成的。

scree图显示了每个主成分从数据中捕捉到的变化量。y轴代表变化量（有关scree图以及如何解释它们的更多信息，请参阅这篇文章：https://bioturing.medium.com/how-to-read-pca-biplots-and-screeplot-186246aae063#:~:text=A%20scree%20plot%20shows%20how,the%20principal%20components%20to%20keep.&text=Proportion%20of%20variance%20plot%3A%20the,least%2080%25%20of%20the%20variance.）。

左边的曲线图显示了从每个主成分中得出的变化量，以及为模型添加或考虑另一个主成分而产生的累积变化量。

选择多少个主成分，归根结底是一个经验法则：所选的主成分应该能够描述至少80-85%的方差。在本例中，仅第一个主成分就解释了大约82%的方差。加上第二个主成分，这个数字几乎达到90%。

#1. 计算每个特征解释的方差的比例
sum_eigenvalues = np.sum(eigenvalues)

prop_var = [i/sum_eigenvalues for i in eigenvalues]

#2. 计算累积方差
cum_var = [np.sum(prop_var[:i+1]) for i in range(len(prop_var))]


# 导入plt
import matplotlib.pyplot as plt

x_labels = ['PC{}'.format(i+1) for i in range(len(prop_var))]

plt.plot(x_labels, prop_var, marker='o', markersize=6, color='skyblue', linewidth=2, label='Proportion of variance')
plt.plot(x_labels, cum_var, marker='o', color='orange', linewidth=2, label="Cumulative variance")
plt.legend()
plt.title('Scree plot')
plt.xlabel('Principal components')
plt.ylabel('Proportion of variance')
plt.show()

如果你想知道如何在数据上下文中解释，我发现这篇文章特别容易理解：https://blogs.sas.com/content/iml/2019/11/04/interpret-graph-principal-component.html。他们使用iris数据集，并使用scree、profile和pattern图给出了许多示例。

PCA有时很棘手。但只要有适当的资源和耐心，它就可以变得令人愉快。最重要的是，我发现回到基础知识对于全面掌握PCA是很有用的。

希望你觉得这篇文章有帮助！你可以在这里看到完整的Python脚本：https://github.com/glosophy/WindPowerForecast/blob/main/windPowerPCA.ipyn