PCA的理论知识以及与K-L变换的关系

PCA是主成分分析(Principal Components Analysis)的简称。这是一种数据降维技术，用于数据预处理。一般我们获取的原始数据维度都很高，那么我们可以运用PCA算法降低特征维度。这样不仅可以去除无用的噪声，还能减少很大的计算量。

K-L转换(Karhunen-Loève Transform)是建立在统计特性基础上的一种转换，它是均方差(MSE, Mean Square Error)意义下的最佳转换，因此在资料压缩技术中占有重要的地位。K-L转换是对输入的向量x，做一个正交变换，使得输出的向量得以去除数据的相关性。

不过在图像处理上，K-L变换即是PCA变换，两者可以说是没有区别的。(待考证)

1、输入样本矩阵，大小：m*n。每一行为一个n维样本，共m个，如下图：

取第一行为例，它的下标含义是 行表示样本序号，列表示样本维度。

2、对样本矩阵进行中心化(取均值)；

3、计算样本的协方差矩阵；

4、计算协方差矩阵的特征值并取出最大的k个特征值所对应的特征向量，构成一个新的矩阵；

大家有兴趣的话可以研究一下，若是文章、代码中有哪里不对还请私信我，谢谢观看:D

(PS：该文章只是讲解了PCA的工作原理，不涉及它的具体实现方法。等以后有时间，还会对代码进行详细介绍的。)

使用numpy可以做很多事情，在这篇文章中简单介绍一下如何使用numpy进行方差/标准方差/样本标准方差/协方差的计算。 variance: 方差 方差（Variance）是概率论中最基础的概念之一，它是由统计学天才罗纳德·费雪1918年最早所提出。用于衡量数据离散程度，因为它能体现变量与其数学期望（均值）之间的偏离程度。具有相同均值的数据，而标准差可能不同，而通过标准差的大小则能更好地反映出数据的偏离度。 计算：一组数据1，2，3，4，其方差应该是多少？ 计算如下： 均值=(1+2+3+4)/4=2.5 方差=((1-2.5)^2