人工智能之PCA算法

　　前言：人工智能机器学习有关算法内容，人工智能之机器学习主要有三大类：1)分类;2)回归;3)聚类。今天我们重点探讨一下PCA算法。

　　PCA(主成分分析)是十大经典机器学习算法之一。PCA是Pearson在1901年提出的，后来由Hotelling在1933年加以发展提出的一种多变量的统计方法。

　　对于维数比较多的数据，首先需要做的事就是在尽量保证数据本质的前提下将数据中的维数降低。降维是一种数据集预处理技术，往往在数据应用在其他算法之前使用，它可以去除掉数据的一些冗余信息和噪声，使数据变得更加简单高效，从而实现提升数据处理速度的目的，节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。目前处理降维的技术有很多种，如SVD奇异值分解，主成分分析(PCA)，因子分析(FA)，独立成分分析(ICA)等。今天重点介绍主成分分析(PCA)。

　　PCA(主成分分析)算法目的是在“信息”损失较小的前提下，将高维的数据转换到低维，通过析取主成分显出的最大的个别差异，也可以用来削减回归分析和聚类分析中变量的数目，从而减小计算量。

　　PCA(主成分分析)通常用于高维数据集的探索与可视化，还可以用于数据压缩，数据预处理等。

　　PCA算法概念：

　　PCA(PrincipalComponent Analysis)主成分分析，也称为卡尔胡宁-勒夫变换(Karhunen-Loeve Transform)，是一种用于探索高维数据结构的技术。

　　PCA是一种较为常用的降维技术，PCA的思想是将维特征映射到维上，这维是全新的正交特征。这维特征称为主元，是重新构造出来的维特征。在PCA中，数据从原来的坐标系转换到新的坐标系下，新的坐标系的选择与数据本身是密切相关的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。大部分方差都包含在最前面的几个新坐标轴中。因此，可以忽略余下的坐标轴，即对数据进行降维处理。