基于PCA和LDA融合算法的性别鉴别

如果使式(3)具有投影的意义，即z向量是y向量到x向量的方向上的投影，如图4所示，那么必须使得|x|=1，即z=|y|cosθ。
现在考虑PCA变换矩阵W第一个向量


如果在条件|w1|=1使ξ1的方差达到最大，希望最大程度的保持样本集x原有的差异(Variance)。也就是要的值最大。这成为了一个优化问题。目标函数是，条件是，使用拉格朗日乘数法

因此λ1是协方差矩阵M的一个特征值，w1是λ1对应的特征向量。要使其方差最大，就必须使的值最大，因为，所以，λ1应是M矩阵的最大特征值。
现在考虑PCA变换矩阵WT第2到第m个向量，这里的向量是互不相关的，代表着不同的投影方向，这样可以提取出不同的主特征。要满足这个条件，考虑协方差矩阵M，它是对称的阵，有多个特征值λi，i∈(1，n)，因此，转换矩阵中w1，w2，…，wm应该如下取值：首先求出M的特征向量和对应的特征值，然后依据特征值排序为λ1≥λ2≥…≥λn，它们对应的特征向量分别为w1，w2，…，wn，则取最前面的m个向量w1，w2，…，wm组成PCA变换矩阵。
出于数值计算方面的考虑，通常不使用M矩阵求特征值，和特征值对应的特征向量，而使用奇异值分解(SVD，Singular Value Decompo-sition)来计算前m个主方向。
1．3 SVD奇异值分解定理
SVD定理：设A是秩为r的nxr维的矩阵，则存在两个正交矩阵：

由于M=AAT，其中，故构造矩阵，M为训练样本集中的样本个数。容易求出其特征值λi及其相应的特征向量vi(i=O，1，…，M-1)。由推论式可知，M的特征向量ui

1．4 LDA方法算法说明
LDA(Linear Discriminant Analysis)方法也称为线性判别分析方法。它选择与类内散布的正交的矢量作为特征脸空间，从而能够压制图像之间的与识别信息无关的差异，对光照及人脸表情变化都不太敏感。这种方法的最终目的就是找到一些特征使得类间离散度和类内离散度的比值最大。

式中，Pi是先验概率，mi是Ci类的均值，m是所有样本的均值。
如果Sw是非奇异矩阵，在投影以后，各类样本之间尽可能的分开一些，即类间离散度越大越好，同时各类样本的内部尽量密集起来，即类内离散度越小越好。因此可以定义Fisher准则函数如下：