硕士学位论文 XMXTA??SBA （3.16）
3.3.2 Schur正交邻域保持判别嵌入
Cai Deng [43]提出的迭代正交理论比较烦琐，计算量也比较大，而Schur正交计算相对简单。因此，本文采用Schur正交分解来处理正交化。
假设一组相互正交的向量Am?[?1,?2,间欧氏距离如下：
?m]为投影矩阵，则投影空间中两点
dist(yi?yj)?yi?yj?Axi?Axj?A(xi?xj)?(xi?xj)AA(xi?xj)TT （3.17）
因为ATA?I，可见正交投影后能够完全保留原空间的几何结构。 定理3.3 [44]（Schur）设B为n阶方阵，?1,?2,矩阵，对角线上的元素为?1,?2,,?n。
,?n是B的特征值，不管特
征值是实数还是复数，必然存在相似酉矩阵U，使得B?UTUH，其中T是三角
依据定理3.3，当B为实n阶方阵时，其Schur分解就是B?UTUH，这里U?1（SB）XMXT进行特征求解，而是对为正交矩阵。为了得到正交基向量，无需对
?1?1（SB）XMXT进行Schur分解。假定（SB）XMXT的Schur分解就是UTUT，则
u1,u2,,un就是矩阵U的所有列向量。
3.3.3 核正交邻域保持判别嵌入
NPDE实质上是一种线性算法。为了能处理高度复杂的非线性结构数据，KONPDE算法是将原始训练样本通过一个非线性映射?:x??(x)变换到某一高维特征空间H中，然后在高维特征空间H中应用NPDE算法求出邻域保持嵌入矢量集。经过非线性映射?后，X在高维特征空间H中可表示为：
?(X)?[?(x1),?(x2),,?(xN)] （3.18） 其中，?(xi)?H是xi所对应的高维空间H中的样本矢量。
对于KONPDE算法，首先构造近邻图，求数据点?(xi)的类内k近邻点，距离通过核矩阵K计算，?(xi)??(xj)? ?(?(xi)??(xj))。 Kii?Kjj?2Kij，其中，Kij?K(xi,xj) 通过求解下式的最小二乘问题，计算重建权重Wij： min??(xi)??Wij?(xj)i?1j?1Nk2 （3.19） 然后给出H中的类间散度矩阵和类内邻域保持矩阵： 23
人脸识别中基于流形学习的特征提取方法研究 Nk2ijj??(y)??W?(y)ii?1j?1=?A?(xi)??WijA?(xj)i?1j?1Nk2 （3.20）
=AT?(X)(I?W)(I?W)T?T(X)A=AT?(X)M?T(X)AS??ni(m?m)?B?i?i?1c2=?nii?1c1nixk??i??(xk)?1??(xi) （3.21） Ni?1N2=?(X)(L?B)(L?B)T?T(X)其中，L?(Ll)l?1,2,c,是N?N的块对角阵，每个对角块Ll所有元素均为1Nl、大小为Nl?Nl的矩阵；B为大小为N?N 的矩阵，该矩阵的所有元素均为1N。在H中，KONPDE算法的目标函数为： AT?(X)M?T(X)A （3.22） minJ(W)?T?ASBA?其中，A由[?(x1),?(x2),1,2,,N)，使得： ,?(xN)]线性组合形成，因此，存在一组系数?i(i? A???i?(xi)??(X)? （3.23） i?1N将式（3.23）代入式（3.22）后，将其目标函数的最小化问题可通过Lagrange乘子求解：
?L(A,?)??T?(X)T?(X)M?T(X)?(X)????T?(X)TSB?(X)? （3.24）
式中?为Lagrange乘子。 令
?L(?,?)?0，式（3.24）可以转化为一个广义特征值问题： ?? ??(X)T?(X)M?T(X)?(X)????(X)TSB?(X)? （3.25） T即：?(X)T?(X)M?T(X) )?(X)????(XT)?(X)(L?B)(L?B)?X(T)?X(?定义核矩阵KN?N（它的元素为Kij?(?(xi))T?(xj)??(xi)?(xj)）核向量，上式可写成如下更紧凑的形式： KMK????(L?B)(L?B)TK （3.26） 正交基函数的构造就是对式（3.26）的最小化求解问题，对
((L?T)(L?T)TK)?1KMK进行Schur正交分解，得：
((L?T)(L?T)TK)?1KMK?VUVT （3.27）
因此，U的对角线上前d个最小元素?1??2? 24
??d对应V中的特征向量即
硕士学位论文 可构成核正交投影向量矩阵A。 3.3.4 核正交邻域保持判别嵌入算法描述
KONPDE算法的基本步骤如下：
输入：D维原始空间中的N个数据分量组成D?N的矩阵X。 输出：d维嵌入空间中N个数据分量组成d?N的矩阵Z，d积空间H,得到核矩阵K。
Step2：以有监督模式构造?(xi)的局部k近邻图G。若?(xi)与?(xj)属于同类，则?(xi)与?(xj)构成局部邻域矩阵，使用式（3.19）计算构造权值Wij。求出式（3.20）的M，同时计算式（3.21）中的L与B。
Step3：构建目标函数J?(W)，通过式（3.27）得到最优正交系数矩阵V，然后得到式（3.23）中的投影矩阵A。
Step4：计算训练样本在经KONPDE后得到的特征向量矩阵Zx?ATKx。计算测试样本的核矩阵Ky,利用KONPDE得到测试样本的特征向量矩阵
D。
Step1：选择核映射函数?，将训练样本集从数据空间R经?映射到高维内
Zy?ATKy，用最近邻分类器对测试样本Zy进行人脸识别。
3.4人脸识别实验
为了验证本文提出算法的性能，分别在ORL和YALE人脸库上进行实验。ORL人脸库是由英国剑桥大学建立，包括40个人，每个人10张112×92像素的在不同时间采集的正面人脸图像组成。其中包括不同视角、不同表情（高兴、微笑、生气、吃惊等）和不同面部细节（戴或不戴眼镜、有或无胡须、不同发型），人脸姿态也有一定程度的变化，深度旋转或平面旋转可达20°，人脸姿态的尺度也有多达10°的变化。YALE人脸库由15个人，每个人有11张共165张图像组成。这些图像在光照条件下变化比较大，而且面部表情（正常、惊讶、伤心、开心和眨眼等）和细节（戴或不戴眼镜、有或无胡须）也有比较明显的变化。
图3.1和图3.2是分别取自ORL和YALE人脸库的某个人的样本，样本尺度经裁剪归一化为32×32的像素图像。
图3.1 ORL人脸库图像示例
25
人脸识别中基于流形学习的特征提取方法研究 图3.2 YALE人脸库图像示例
实验中KONPDE采用高斯核函数k(x,y)?exp(x?y及本文算法中k近邻参数取3。 2?)。NPP、NPDE以
图3.3显示了3种不同算法在ORL库上随机选取5幅图像做训练样本的实验结果，本文所提出的KONPED算法在特征维数为20时达到该算法的最大正确识别率97.67%，且在特征维数达到24维以后，基本稳定在一个特定范围，因此，继续选择更多的维数是没有意义的。而NPE和NPDE算法的最高识别率分别达到93.56%和95.38%。
图3.3 ORL人脸库上3种方法的性能比较
为了进一步验证本文算法的有效性，消除偶然性，对ORL库和YALE库进行实验时，每人分别随机选择3幅、4幅、5幅图像为训练样本，其他图像为测试样本，重复10次，取每次最高识别率的平均。并与KPCA、KLAD、NPP、NPDE算法进行测试比较，给出了各个算法在不同训练样本个数下对应的最高识别率，实验结果如表3.1和表3.2所示。
表3.1 ORL人脸库上的识别结果比较
正确识别率（%）
算法名称
样本数为
3 88.72
样本数为
4 91.15
样本数为
5 92.65
KPCA
26