硕士学位论文 ФXF 图1.4 将非线性可分的数据映射到高维的线性可分的特征空间

1998年，Schoelkopf[11]等人首次将核函数方法与PCA结合，提出了核主分量（KPCA）方法，有着比PCA更好的识别效果，主要是由于KPCA能够提取非线性特征。文献[18]提出了核Fisher判别分析（KFDA）方法，该算法是将核方法的思想应用于Fisher判别分析方法中，来提取非线性判别特征。KFDA既能有效描述数据中复杂的非线性关系，又具有线性判别分析的特性，因此该方法能够在模式分类问题中取得更好的效果，在人脸识别中KFDA比KPCA更适合分类。

基于核的非线性方法具有非线性处理能力强、抗干扰能力强、具有好的泛化能力等优点。但是，仍然存在一些缺点：几何意义不明确，通过核变换之后样本变成了什么是无法预先知道的；核函数中参数的选取没有一个统一的标准，通常是依据经验选取参数；不适合大训练样本的情况，若训练样本数很大，极高的核样本向量维数导致计算的难题。

（2）基于流形学习的方法

流形学习是一种近年来发展起来的非线性维数约简的方法，与线性维数约简的方法相比，主要区别在于局部性。认知心理学认为，认知流形和拓扑连续是人的认知过程的基础，而在人的感知活动中流形比数据的坐标发挥的作用更为显著。与传统的全局线性结构不同，流形是一种非欧氏几何空间。然而，在局部意义下能够得到近似的全局线性结构，进而采用流形学习方法来寻找其全局意义下的结构。假设数据集所在空间呈现为流形结构时，流形学习方法能够从高维样本数据中恢复出低维流形结构。换句话说，发现高维样本空间中的低维子流形，并得到对应的嵌入映射，就可以完成数据的维数约简或可视化。

研究表明，高维人脸图像分布在一个非常复杂的低维非线性子流形上，因此，出现了大量旨在发现嵌入在高维空间中有效的低维结构的流形学习算法。其代表算法为等距映射方法（Isomap）[19]、局部线性嵌入法（LLE）[20]、拉普拉斯特征映射法（Laplacian Eigenmaps）[21]等。他们的共性是首先寻找每个样本点的近邻点，然后依据保持局部结构信息来对原始输入样本进行维数约简。

7

人脸识别中基于流形学习的特征提取方法研究 以上这些算法主要对训练数据集进行降维并可视化，侧重于对数据集的表示而非分类，如若有新的样本数据到达时，需重新学习。从而这些方法不能直接用在人脸识别中，主要是由于没有一个明晰的映射关系，无法直接提取新样本数据的特征。另外，这些方法属于无监督的学习方法，不能充分利用样本的类别信息，从而很难有效地处理分类问题。

针对以上的样本点外问题，加强对新样本数据的处理能力，非线性流形学习方法的线性化成为发展趋势。局部保持投影（Locally Preserving Projection，LPP）[22,23]是对LE的线性化算法，使得高维空间中离得近的点投影到低维空间仍然保持近邻关系，但是该算法可能使得高维空间中远离的样本点投影后成为近邻点。无监督鉴别投影（Unsupervised Discrimination Projection，UDP）[24]是对LPP的准则函数的改进算法，提出了非局部的构想，其目标函数是最大化非局部散度和局部散度的比，从而通过其得到的投影矩阵有效地进行维数约简。同样，邻域保持嵌入算法（Neighborhood Preserving Embedding, NPE）[25]是对LLE算法的线性化算法，较好地保持了人脸图像数据的局部结构信息。

对于分类来说，由于监督算法充分利用了样本的类别信息，其可分性要比无监督算法强。然而，传统的流形学习算法都是无监督的，它们着重发现数据本身的局部结构。因此，涌现出许多监督的流形学习算法，如MFA（Marginal Fisher Analysis）[26]、LSDA（Locality Sensitive Discrimination Analysis）[27]、LLDA（locally linear discriminant analysis）[28]等。同时，半监督学习[29-31]是在监督样本的基础上使用无标签样本所提供的信息来进一步提升学习性能，充分利用了大量无标签样本和少量有标签样本来训练，如SDA（Semi-supervised Discriminant Analysis）[32]、UDA（UDP-based Discriminant Analysis）[33]。

此外，研究者在张量和核方法两个方向对流形学习算法进行了拓展。张量子空间分析（Tensor Subspace Analysis，TSA）[34]是He等人在LPP的基础上提出的，将二阶张量概念引入到子空间方法中；文献[35]指出，在张量边界Fisher分析（Tensor Marginal Fisher Analysis，TMFA）算法得到的子空间中，采用最近邻分类器，数据的分类精度要比MFA高。庞彦伟[36]等人提出了核邻域保持投影（Kernel Neighborhood Preserving Projection，KNPP），是在LLE的基础上结合核方法，通过引入线性变换矩阵来近似LLE，然后使用核技巧在高维空间中求解。

可以看出，流形学习方法的线性化，以及线性流形学习方法的张量化、正交化及核化等方法争相出现，体现出流形学习的子空间方法强劲的发展趋势。同时，流形学习方法之间以及与传统的线性子空间方法相互借鉴和吸收，对流形学习的应用和推广起到了极大地促进作用。

8

硕士学位论文 1.5本文主要工作

本文针对传统线性特征提取方法中存在的不能提取样本非线性特征、不能体现样本数据几何结构的不足以及经典流形学习算法中没有明晰的投影矩阵、很难应用在人脸识别等问题进行改进，将已有的特征提取算法和流形学习相融合，并在邻域求解方面进行改进，将其应用于人脸识别中。以下是本文的主要工作：

1.核正交邻域保持判别嵌入在人脸识别中的应用。

NPE是LLE算法的线性化算法，同时是一种无监督算法。因此，对于人脸分类问题来说，提取的特征并不是最有效的鉴别信息。NPDE是将NPE和LDA算法有效的融合，所提出的一种监督算法。为了提取非线性人脸特征，本文将NPDE算法与核方法进行结合，并在特征值求解时以Schur正交方式找出最优投影向量，从而更好地提取人脸非线性局部邻域结构特征。

2.最大散度差的半监督判别分析算法。

MFA算法利用了少量的有标记样本，而浪费了大量的无标记样本，同时，由于人脸高维数使得产生小样本问题。本文针对以上两点对其进行改进，MFA通过少量有类别标签样本进行降维的同时UDP对大量无标签样本进行学习，以半监督的方法对高维人脸数据进行维数约减。同时，将目标函数瑞利商改进为散度差的形式，避免对散度矩阵的求逆，从而解决了小样本所带来的问题。

3.局部测地距离的张量边界Fisher分析。

边界Fisher分析（MFA）消除了如LDA算法的高斯分布的前提假设。但是MFA同样是将人脸图像按照一维向量展开后提取特征向量，破坏了人脸图像的结构信息。张量边界Fisher分析（TMFA）是基于图像来直接进行维数约简，在识别效率上有所提高。本文中采用自适应算法来动态的选择样本近邻点，更好的揭示了流形内在的几何结构，能够更精确地选择位于流形上数据点的同类和异类近邻点。然后采用TMFA来进行特征提取。

1.6本文内容安排

本文主要内容分为六部分，各部分安排如下：

第一章，绪论。主要介绍了人脸识别的背景和意义、人脸识别的研究现状及研究内容；并且较全面地介绍了人脸识别中特征提取的各种方法；最后给出本文的主要工作。

第二章，流形学习。本章详细讲述了三种主流非线性流形学习算法：等距映射、局部线性嵌入算法、Laplacian特征映射，分别从算法的思想、基本原理、算法流程以及优缺点等方面进行讨论，最后对这些算法进行比较，为后续

9

人脸识别中基于流形学习的特征提取方法研究 章节的展开打下基础。

第三章，核正交邻域保持判别嵌入。本章主要研究了如何将LLE线性化的算法NPE进行改进为有监督的算法并与核方法结合。

第四章，基于最大散度差半监督判别分析算法。本章主要研究如何将MFA和UDP算法相结合改进为半监督算法，并通过散度差的方式来求取最优投影矩阵。

第五章，自适应邻域选择的张量边界Fisher分析。在张量边界Fisher分析的基础上，采用动态选择邻域算法，使得能够更精确地选择位于流形上的数据点。

最后，总结与展望。对本文进行系统的总结，并对进一步的研究进行了展望。

10