线性判别式分析

线性判别式分析（精选六篇）

线性判别式分析 篇1

上世纪90年代中期出现的网格概念, 现在已经广泛地运用于多个领域用来解决大型复杂的问题, 比如生物学、医学、天文学、农业、商业和工程等领域[1]。目前, 很多组织, 如Compaq、Sun Microsystems、Fujitsu、Hitachi和NEC都在进行网格方面的研究, 它们已经采用了Globus工具作为基础研究平台, 该工具是由 USC's Information Science Institute (ISI) 和 Argonne National Laboratory 联合研究开发出来的。Globus是一个开放的体系结构, 包括了网格安全、信息基础设施、资源管理、数据管理和通信组件。它使得创建可用的网格变得容易, 并能将人、计算机、数据库和基础设施高速地结合起来。

最近针对信息系统和到处存在的系统漏洞的攻击表明, 安全威胁已经在速度、频率、影响力上都变得更加惹人注目了。像Globus[2]、Legion[3] 和Condor[4]等网格平台特别容易受到入侵者的攻击, 因此用户、数据和资源的安全需要受到足够的保护。作为一个开放的环境, 网格上的危及单点资源的安全容易受到来自其它系统对数据和服务未授权的访问。网格容易受到能使网格服务瘫痪的大型攻击的入侵。因此对于网格来说, 提供预防、检测和自动对入侵威胁的响应并协同工作是最基本的。在网格环境中, 安全面临以下三个方面的挑战[5]: (1) 现有安全架构与各种交叉平台及集成环境的融合; (2) 不同集成环境 (比如J2EE 服务器、.NET服务器, Linux系统) 在诸如协议、策略、身份验证等方面的交互性; (3) 这些不同集成环境之间的信任关系。

1 入侵检测系统 (IDS)

大多数传统的入侵检测系统要不是基于网络的, 要不就是基于主机的, 都是采取对攻击进行识别和响应。这些系统通过寻找出与正常行为不同的怀有恶意或可疑的行为来识别攻击。基于网络的入侵检测系统NIDS (Network based Intrusion Detection System) 通过在共享网段上对通信数据进行侦听, 分析可疑现象。基于主机的入侵检测系统HIDS (Host based Intrusion Detection System) 通过监视和分析系统的审计记录和应用程序日志来检测入侵。

目前基于网络和基于主机的入侵检测系统的工作跟系统的安全防护措施缺乏协同性。正因为这些组件缺乏合作和交互性, 妨碍了对潜在的和正在进行的攻击产生破坏前的检测。当前入侵检测系统中另外一个缺点就是误报, 它可以激发一个响应 (比如终止连接) 。然而, 这个不准确的报警可能终止合法用户对服务的访问。因此, 成功的入侵检测应能够准确和高效地分析大量的应用、系统和网络审计数据并实时地对攻击作出响应。

2 网格入侵检测代理体系结构 (GIDA)

针对目前网格中存在的安全问题, 提出了网格入侵检测代理模型GIDA (Grid Intrusion Detection Agent Model) , 该结构以网格作为核心来进行设计。图1中描述了GIDA的两个主要部件:第一是入侵检测代理, 主要负责收集信息;第二是入侵检测服务器, 负责分析收集到的数据以及跟另外一些入侵检测系统进行协作。

2.1 入侵检测代理结构

在很多传统的网络入侵检测系统中, 每个系统都将自己的系统日志传给入侵检测服务器, 然后由服务器分析全部日志来找寻可疑的入侵。然而, 这种方法在客户/服务器的模式下失效了。在一个庞大的网络中配置一个入侵检测系统, 大量的系统日志周期性地传送, 因为大部分数据跟入侵没有任何关系, 这样会造成网络通信堵塞。因此, 在大型网络中配置的入侵检测系统不能有效实现它的功能。为了解决这个问题, 我们采用了可以自主在主机间迁移的移动代理, 它只在管理域AD (Administrative Domain) 中收集跟入侵有关的信息。我们在本地网络中配置了入侵检测代理, 通信协议采用TCP/IP。入侵检测代理包含了传感器、信息公告板、追踪代理和信息收集代理, 详情如图2所示。

(1) 管理器 (Manager)

它负责分析由信息收集代理收集到的信息并检测入侵。它管理所有移动代理和公告板并提供管理员和系统之间的接口。管理器在公告板BB (Bulletin Board) 上累积和判断由移动代理输入的信息, 假如某种信息超过了一定的阈值, 管理器就可以认为发生了入侵。管理器驻留在每个网段。

(2) 传感器 (Sensor)

驻留在每个主机上的传感器监视系统日志以搜寻可疑的入侵行为, 一旦发现, 则向管理器进行告警。

(3) 追踪代理 (TA)

它负责跟踪入侵的轨迹并查找出它的源头。它能找出远程登录到目标主机的入侵者所在, 也能找寻出受到过安全威胁的中间节点。管理器、传感器、和追踪代理以下面的方式工作。首先, 传感器检测到一个可疑的行为并告知管理器。然后, 管理器派遣一个追踪代理进入主机系统, 追踪代理可以在没有管理器的指挥下自主地在主机间进行迁移并独立追踪入侵。如果在短时间内单点主机系统在不同的会话中发现了大量的可疑行为, 则大量的应对这些行为的追踪代理进入到主机系统, 因为一个追踪代理没有能力对是否出现了入侵并做出判断。追踪代理可以在安装了IDA的任何系统间进行迁移。

(4) 信息收集代理 (IA)

信息收集代理IA (Information_Gathering Agent) 是动态地从目标系统中收集与可疑行为有关的信息。当每次跟踪入侵者的追踪代理进驻到目标系统后就激发了这个系统中的信息收集代理。然后信息收集代理IA根据行为特征进行信息收集并返回给管理器和告警。假如IA迁移到另外的目标系统, 它将激发另一个IA来收集信息。这样在同一个目标系统中许多追踪代理激发了大量的IA, 一个IA不能够判断出是否出现了入侵。

(5) 公告板和信息板

公告板 (BB) 和信息板MB (Message Board) 是追踪代理TA和信息收集代理IA进行访问并交流信息的地方。每个目标系统都有一个为多个追踪代理交互信息的信息板, 任何追踪代理都能够知道由其他代理跟踪的轨迹, 并由此决定自己该怎样迁移。管理器上的公告板记录下由IA从主机系统上收集到的信息并汇合每条追踪轨迹的信息。

2.2 入侵检测代理功能

入侵检测代理预先在每个目标系统上累积入侵轨迹所需要的数据。传感器在管理域中检测一个可疑行为后入侵检测代理采取以下步骤:

(1) 管理域的每个传感器从系统日志里找寻可疑行为。

(2) 如果传感器检测到一个可疑行为, 则报告给管理器。

(3) 管理器派遣一个追踪代理到发现可疑行为的系统。

(4) 追踪代理到达管理域并激发一个信息收集代理IA。

(5) IA在管理域中收集跟可疑行为有关的信息。

(6) 在激发IA后, 追踪代理TA开始调查可疑行为的源头以确定用户的远程站点。TA能够从网络连接和系统进程的累积数据中分析出它的源头。

(7) 收集信息后, IA将脱离追踪代理返回到管理器并将信息发布到公告板。

(8) TA根据追踪轨迹迁移到下一个管理域并激发新的IA。

(9) 假如TA追踪到入侵轨迹的源头或者不能够移到其他地方, 又或者入侵轨迹由其他TA追踪了, TA将返回管理器。

假如传感器能够检测出短时间内管理域出现的可疑行为, 或者许多传感器在多个域中检测出可疑行为, 那么IDA按照上述步骤就能够检测出所有的可疑行为。

SSL、Kerberos、Plaintext、TLS和SSH都是网格环境中的管理域 (资源) 。每个管理域有一个入侵检测代理进行数据收集, 同时IDA注册到一个或多个用来分析数据的IDSs中。所有的管理域都要设计不同的IDA以便进行异构处理。

3 改进的线性判别分析

本研究使用了两个分析过程来为线性判别分析准备数据。这些分析的结果用来作为预处理变量、计算相关联的系数并分离出不同的结果。图3显示了判别分析过程。

3.1 特征提取的一般模型

一般地, 抽取线性特征的模型为:

其中:X是原始输入模式, S是经W变换后的模, W是最优变换矩阵, J (V) 是特征抽取准备, P (V) 是V满足的一些其他条件, 如V的列向量相互正交。为了能够抽取非线性特征, 对上面模型进行改进, 建立如下的更为一般的特征抽取模型:

其中:Φ (X) 是一个向量函数。

从改进的模型可以看到, 如果Φ (X) =X, 则该模型适用于目前所有的线性特征抽取算法, 当J (V) 取为线性判别函数时, 则该模型等价于线性判别分析方法, 如果J (V) 为J (V) =VTStV, 则它实现的是主分量分析算法。如果Φi (X) 定义为原始输入X的非线性函数, 则上述特征抽取框架可以表示几乎所有的非线性特征抽取算法。因此, 该模型可以看作特征抽取的一般模型。

3.2 基于矩阵相似度的线性判别分析算法

定义1 设Ai、Aj是m×n阶矩阵, 实数S定义为:

$S(A{}_i,A{}_j)=\frac{A{}_{i}A{}_j^{{\rm T}}+A{}_{j}A{}_i^{{\rm T}}}{A{}_{i}A{}_i^{{\rm T}}+A{}_{j}A{}_j^{{\rm T}}}$ (3)

称S (Ai, Aj) 为矩阵Ai, Aj的相似度。

由上面的定义容易证明S (Ai, Aj) 有下面的性质:

1) S (Ai, Aj) =S (Aj, Ai) ;

2) S (Ai, Aj) =S (A${}_i^{{\rm T}}$, A${}_j^{{\rm T}}$) ;

3) -1≤S (Ai, Aj) ≤1;S (Ai, Aj) =1⇔Ai=Aj;

从上面的定义和性质可以看出, S (Ai, Aj) 描述了Ai、Aj之间的一种相似关系, 当S (Ai, Aj) 趋近1时, Ai、Aj之间的差距也趋近于0。

定义2 定义映射φ:Rm×n→RN, φ (A) =S (A1, …, AN) =[S (A1, A) , …, A (AN, A) ]。

由上面的定义, 将所有m×n阶的训练样本Ai (i=1, 2, …, N) , 通过映射φ变换到RN空间, 然后在该特征空间上定义相应的类内散布矩阵Sw、类间散布矩阵Sb和总体散布矩阵St。最后利用线性判别准则求出该特征空间上的一组判别矢量w1, …, wd则新的检验样本B在特征空间RN上的最优判别向量wi上的投影为:w${}_i^{{\rm T}}$φ (Z) =w${}_i^{{\rm T}}$[S (A1, A) , …, A (AN, A) ]T。

3.3 检测异常值 (Outlier) 数据

Outlier指的是远离了正常数据阈值的数据。假如偏离了正常值, 根据正态分布法则期望数据仍然能够位于一个指定的范围。一般地, 目前许多算法是基于数学考虑和随机搜索的混合算法, 他们都使用了判别分析的概念, 这对一个Outlier来说是期望出现大量的和有意义的数据。

大多数数据集包含了似乎不属于可变范围内的一个或多个不同寻常的数据, 这些数据有个共同的特点就是相对其它数据来说不是太大就是太小。这对于多维分布的数据将变得更加复杂。在识别这些Outlier之前, 系统必须知道并不是所有的Outlier都是错误的数据。有理由相信它们也许是数据集的一部分并能够增加对研究现象的理解。

3.4 数据转换

数据集可能不满足多维正态分布。假如常态数据不是一个可行的假定, 那下一步就是忽略正常性检查并把数据看成是正态分布来进行处理。一般不采用这种方法, 因为在大多数情况下可能产生不正确的结果。另外一个选择就是将非正常数据通过考虑数据转换来看成是“正常数据”。在适当的数据变换中可以执行Normaltheory分析。既然所有数据都是有效的, 那么可以在这些数据上进行变换, 将产生更接近常态的数据。

4 实验方法及分析

本研究将通过两个阶段来验证提出的网格入侵检测代理模型GIDA。第一阶段模拟入侵检测代理和网格环境。目前大多数值得参考的网格仿真工具主要侧重于资源管理和调度问题, 并不是很适合本实验。因此本研究开发了一个基于GridSim[6]的网格模拟工具来满足实验需要。

这个仿真环境可以模拟不同行为的用户、与入侵检测代理相关联的资源和IDSs的入侵检测代理。这些条件可以让我们实现各种必需的实验。每个实验将产生包含一个或多个日志文件的数据集合。图4显示了具有虚拟IDSs的仿真环境, IDSs仅产生供分析数据所对应的日志文件。

下一个阶段是实现IDS模块并用模拟过程中产生的数据对其进行验证。在这个原始实现阶段我们为简化起见选择使用协同IDSs。我们认为在这个案例中最好的入侵检测技术是基于主机的异常入侵检测[7]。

在这个实验中, 主机看成是拥有所有资源的管理域。派驻的入侵检测代理将收集用户跟管理域交互的信息。异常检测使用线性判别分析来进行检测, 该技术基本上能够分析出正常行为和恶意行为。因此一个入侵者肯定是偏离了历史记录的用户, 系统也将充分利用每个用户在网格环境中的独一无二的全局名。决策模块将分析通过线性判别分析技术所产生结果, 然后根据协作模块所产生的信息判断该用户是合法用户或是入侵者, 如图5所示, 协作模块有利于分享结果。每个IDS在自己的范围内分析用户的行为然后通过跟P2P网络类似的形式 (所有IDSs都是对等的) 分享给其它IDSs。

本实验中采用了真实的实验数据进行实验, 数据采集于实验室局域网。实验分两个步骤进行, 第一个步骤是入侵检测代理收集相关数据;第二个步骤是对相关数据进行分析并产生报警。在相同的规则下, 报警数量显示报警数量越多, 丢包量越少, 丢包率越低。实验结果如图6所示。

图6中的数据是3次重复测试的平均值, 其中, A表示8个入侵检测代理, 8个入侵检测服务器;B表示2个入侵检测代理, 4个入侵检测服务器的情况。实验显示, 在较低流量情况下, 该GIDA可以很好地检测网格入侵, 丢包率低, 但随着流量的增大, GIDA中需要相应地增加信息收集代理和入侵检测代理, 动态合理地分配流量, 才能使丢包率相对下降, 提高系统的检测效果。

5 结 语

在GIDA模型中, 检测代理运行在每个节点上检测本地入侵, 跟其它代理协同追查入侵源并作出响应。GIDA超越了网格环境中传统基于网络或基于网络的入侵检测系统, 体现出了该模型的优越性。通过使用判别分析法来准备分析数据, 提高了检测入侵的准确性。不同资源和异构IDSs的信任关系是下一步要研究的重点。异构IDSs和相互间的信任关系对于协同模块来说需要更复杂的算法, 这也是需要更深入的研究。

参考文献

[1]Foster.I, Kesselmen C. (eds.) .The Grid:Blueprint for a NewCompu-ting Infrastructure.Morgan Kaufmann, 1999.

[2]Foster.I, Kesselmen C.Globus:A Metacomputing Infrastructure Tool-kit.International Journal of Supercomputer Applications, 1997.

[3]Lewis.M, Grimshaw A.The Core Legion Object Model.In proceedingsof the 5th IEEE International Symposium on High Performance Distrib-uted Computing, 1996.

[4]Lizkow M, Livny M, Mutka M.Condor-a hunter of idle workstations.Inproceedings of the 8th International Conference on Distributed Compu-ting Systems, 1998.

[5] Nagaratnam N, Janson P, Dayka J, et al.The Secuirty Architecture for Open Grid Services.Open Grid Service Architecture Security Working Group (OGSA-SEC-WG) .Global Grid Forum, 2002.

[6]Murshed M, Buyya R, Abramson D.GridSim:AGrid Simulation Toolkitfor Resource Management and Scheduling in Large-Scale Grid Compu-ting Environments.17th IEEE International Symposium on Parallel andDistributed Processing (IPDPS2002) , April 15-19, 2002, Fort Lauder-dale, FL, USA.

线性判别式分析 篇2

Fisher线性判别分析的基本原理：将高维空间中的类映射到低维空间，并且要求在低维空间类与类之间较好区分，是一降维处理技术。Fisher线性判别分析的基本思想：对于多个类来讲，我们希望类内离散度越小越好，类间离散度越大越好。对于原始的类，我们想通过将其投影到低维空间，并且要求经过投影后达到类内离散度最小，类间离散度最大。在投影的过程中，如果投影到一维空间效果不是很好，我们可以将其维数增多[4]。

2 实例

现对三类品种的鸢尾属(Iris)植物进行研究，希望通过研究鸢尾属植物的几个主要指标，可以将一个未知样本进行归类。对鸢尾属植物的`四个指标进行了统计。对统计数据作如下变换：

①对所有样本数据X进行中心化标准化。

②对处理后的数据求解相关系数矩阵R得

③求解R的特征值λi和特征向量ei。

由上表可以看出，前三个特征值的累积贡献率已达到99。485%，所以我们选取前三个特征值所对应的特征向量为主成分，这样我们就将四维空间降到三维空间。原始数据经过主分量分析，位数降低，得到变换Y=X*E。

经过主分量分析，原始数据已经降到三维，我们将对得到的三维空间里的数据再次进行降维处理。我们选取各类中的前40个样本代表该类进行研究。

④分别计算出各类的样本均值mk和所有样本的均值m

⑤计算类内离散度矩阵Sw和类间离散度矩阵Sb

⑥计算Sb和Sw的广义特征值和特征向量

⑦对Y进行Fisher线性判别，得到变换Z=Y*W。

⑧计算经过变换后所得到的类的均值

通过主分量分析和Fisher线性判别，我们将样本由四维空间降到一维空间。由上面的计算，我们可以得到公式Z=X*E*W。

随机选取45个样本得到样本组x，在选取样本时，前15个样本是从第一类中抽取的，中间15个样本是从第二类中抽取的，最后15个样本是从第三类中抽取的。我们首先对需要判别的样本进行变换， 然后分别计算这45个样本到三类均值的距离

表2中加粗的数字表示该样本距离某类均值距离最小，也就是样本属于这个类。判别结果为前15个样本判为第一类，中间16个样本判为第二类，最后14个样本判为第三类。其中第31个样本通过距离判别判为第二类，而这个样本是从第三类中抽取的;其他样本判别均正确。在这次判别中，错误率为1/45，我们认为判别是比较合理的。对所有的样本都进行分类判别，其错误率为4/150，我们认为对数据的处理以及距离判别的方法是比较合理的。

3 小结

线性判别式分析 篇3

关键词：人脸识别；非负矩阵；线性判别；正交化向量

中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2011) 07-0000-02

Research on Face Recognition Technology

Tian Fan,Song Xianqin

(Electronic Information Engineering College,Liaoning University of Technology,Jinzhou121001,China)

Abstract:Non-negative matrix method is based on local feature extraction algorithm.Considering the algorithm can't tell image’s classification,this article combine NMF and LDA algorithm,and give an improved method.Through making vector of base matrix orthogonal,infor-

mation redundancy is eliminated and the calculation speed is higher than before.The experiments results show that is effective.

Keywords:Face recognition;Non-negative matrix factorization;Linear discrimnat analysis;Orthogonal matrix

人脸识别技术是计算机视觉信息处理领域的热点问题。由于人脸包含有独特的生物特征，利用人脸进行身份鉴定简单方便，容易被人接受，人脸识别系统广泛应用于海关、安防系统等领域。特征的提取和分类是人脸识别关键的两个步骤，特征提取方法有两类：基于整体特征提取和基于部分特征提取。基于整体特征利用人脸部灰度信息及部件间的拓扑关系，根据不同的目标函数，将人脸中高维特征映射到低维空间，实现提取特征和维数约减；主要包括主成分分量、独立成分分析、奇异值分解等，但其基矩阵均含有负值，而实际中负值没有物理意义。1999年，Lee和Seung提出的NMF算法[1]（Nonnegative Matrix Factor）是一种基于局部特征提取方法。非负矩阵算法在矩阵分解中加入了非负的约束条件，使得所有元素均为非负值，重建未知模式类的图像是由非负基图像通过纯加性构成，满足了人类视觉中局部构成整体的的观念，其明确的物理意义容易被人理解。非负矩阵算法直接处理矩阵，将原始高维矩阵分解为左右两个低维矩阵，占用空间小，为处理大规模人脸数据库开辟了新途径。研究发现，对 添加更多约束条件，能够得到更加具有代表性的基矩阵，基于此思想，Li[2-3]等人提出了局部非负矩阵分解的算法。（Local Non-negative Matrix Factorization.LNMF），此方法能够进一步提取局部特征；Wang Y[4]等人结合PCA和NMF，提出了PNMF算法；Hoyer[5]提出了基于稀疏NMF人脸识别算法，通过增加NMF分解的稀疏性，生成高度稀疏的基矩阵，基矩阵越是稀疏，其对应系数矩阵H越能表示出人脸特征的集中程度；Guillamet[6]等人提出基于加权非负矩阵分解算法，通过引入对角矩阵W，使该矩阵对角线上的元素能够反映出各个样本向量的重要性。

针对非负矩阵算法无类别鉴别能力这一缺点，本文融合非负矩阵与线性判别进行人脸识别，提出一种改进的人脸识别方法，该方法将非负矩阵的基正交化，去除信息冗余。该方法具有良好的识别率，且具有良好的分类特性。

一、算法基本原理

（一）NMF定义

非负矩阵可用下式描述：

（1）

其中，人脸图像集 是m张n维的图像矩阵， 和 为n×r和r×m的非负基矩阵因子和系数矩阵因子； 为图像列矢量， 的r列数是基图像个数，r取值满足 ，由于 ，用H代替原矩阵进行运算，将 维原数据降为 数据。样本图像 可以用 线性表示， 为系数矩阵的第j列向量。

NMF算法的基本思想：在一定约束条件下，寻找两个非负矩阵W和H，使以下代价函数最小。

（2）

（二）局部非负矩阵分解算法

传统NMF算法没有引入对空间位置的约束条件，其最小化目标函数很难产生特征因子表征原特征。因此，引入三个条件约束传统NMF基矩阵并学习其局部特征，得到局部非负矩阵分解算法LNMF（Local Non-negative Matrix Factorization）。实验证明，LNMF对于人脸局部特征的学习效果很好。

LNMF[7]算法的代价函数为：

（3）

其中， 和 为大于0的常量因子；W和H满足 ，对于 ， ，且：

， ， 。其迭代规则为

； （4）

LNMF求解 和H的问题转化为以上问题的最优化。

（三）基于基正交局部非负矩阵分解与线性判别相结合的方法

非负矩阵分解是基于局部特征的分解方法，利用了人脸局部轮廓特征与灰度分布，但没有考虑到图像类别信息，因此受光照等影响很大。针对此问题，本文提出LNMF与LDA相结合算法。

1.正交化向量

NMF得到的基矩阵W是非正交矩阵，而向量的非正交会造成信息冗余，增加识别的难度，本文将得到的W矩阵进行正交化处理，消除各向量间影响，达到更好的识别效果。

设非零列向量 是向量空间V的基，其规范正交化过程如下：

令 ； ；（5）

具有正交性且 与 等价。将其单位化得到规范正交基：

（6）

2.线性判别法

在非负矩阵降维基础上，利用LDA对训练样本的类间信息设计分类器，寻找一组基使类间散度和类内散度的比值最大。

（7）

（8）

根据所求类内和类间的散度矩阵，求解最佳鉴别矢量W，使最佳映射矩阵值最大。定义Fisher准则为：

（9）

二、算法流程

本文采用了标准ORL人脸库为实验对象。ORL库包含40人的400幅112×92像素的人脸正面图像，每人各有姿态、角度、表情、不同的光照等变化10幅图像。ORL库中部分图像如图1所示；图2为经直方图处理的人脸图像，处理后人脸图像特征更加明显；图3是部分的LNMF基图像。

（1）图像预处理。

（2）获取初始矩阵。本文任取每类图片中5幅共计200幅图片作为训练图像，其余的5幅图像作为识别图像；将图像像素压缩成50×50大小，得到了一组初始矩阵X，矩阵大小为2500×200。

（3）根据对X进行矩阵分解，交替迭代W和H，直至代价函数收敛。

（4）将所求得的特征系数H分成C类模式，每一类中有ni个特征向量， ，求出总类内散度和类间散度矩阵Sw和SB，并利用下式求其特征值和特征矢量。

特征矢量矩阵即线性判别的基矩阵WLDA

（5）结合LNMF和LDA的基矩阵，则得到最优的子空间。

（6）正交化组合基矩阵

（7）将训练图像投影到 中，得到了特征系数矩阵 ，将所有的特征系数融合，得到

（8）将测试图像按步骤（7）处理，得到测试特征系数

（9）利用欧式距离分类器，计算 ，取其最小值并将人脸化为相应的第 类。

三、实验结果与分析

本实验将PCA、LDA、传统NMF和改进LNMF与LDA相结四种算法在同一条件中进行人脸识别，并比较其识别率。本文将ORL数据库中的每类任选共200幅图像作为训练图像，其他作为测试图像，图像为50*50的大小。

图1 ORL部分人脸库图2 预处理后的图像

识别方法识别率

PCA

LDA

NMF

本方法90.5%

91%

85%

96%

图3 部分基图像 表1 不同算法识别率的比较图

由以上看出，本文采用的改进LNMF与LDA相结合算法识别效果最好，但其缺点是需要做大量运算。单独运用NMF对图像进行识别时，得到的识别率并不高，是因为NMF是基于人脸部件的拓扑关系以及局部的灰度信息来提取特征，并没有辨别类别的能力；而LNMF与LDA相结合的方法，不仅有效的利用率局部的信息且具有分类的能力，所以识别率得到提高。

四、结语

本文融合局部非负矩阵和线性判别法进行人脸识别，并提出了其改进算法。通过对基矩阵实施正交变换，使各基向量之间独立，消除了信息冗余问题。采用分类后的NMF利用了图像的类别信息，达到了较好的识别率。

NMF算法也存在一些缺点，由于其迭代计算，算法收敛速度很慢，如何进行算法快速迭代是下一步需要考虑的问题。

参考文献：

[1]LEE D D,SEUNG H S.Algorithms for nonnegative matrix factorization.Proceedings Neural Information Processing Systems,2000,13:556-562

[2]Li S Z,Hou Xinwen,Zhang Hongjiang,et al.Learning Spatially Localized,Parts-based Representation.Proc.of CVPR 01Hawaii,USA:IEEE Press,2001

[3]Feng T,Li S Z,etal,Local.Non-negative Matrix Factorization as a Visual Representation.Proceedings of the 2nd International coference on Development and Learning Cambridge.UK.USA:IEEE,2002:178-183

[4]Wang Y,JIa Y.Non-negative Matrix Factorization framework for face recognition.International Journal of Pattern Recognition and Artificial Intelligence,2005,9(4):495-511

[5]Hoyer P O.Non-negative Sparse coding.IEEE Workshop on Neural Signal Process,Martigny,Valais,2002:556-565

[6]Guillamet D,Bressan M,VitriàJ.A Weighted Non-Negative Matrix Factorization for Local Representations.In:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2001.Hawaii,USA,2001:942-947

线性判别式分析 篇4

为了提升非限制环境中的人脸识别, 学者们提出了许多基于类标签信息的人脸识别方法。这些方法大致可分为两类:面向特征的方法和面向相似性的方法。前者的目的是提取人脸表示的有效特征, 而后者更注重对人脸相似度的计算。

在面向特征的方法中, 基于局部描述符的方法更受欢迎。例如, 文献[2]提出了三小块局部二值模式 (LBP) 和四小块LBP, 编码像素的邻近小块之间的相似性, 以捕捉到原始LBP特征的互补信息。文献[3]用视觉单词的多区域概率直方图描述每个人脸。文献[4]通过使用一种无监督学习为基础的编码方法来编码人脸的微观结构。文献[5]提出了一个在面向量基础上的具有判别性及强大功能的特征描述符, 称为面向模式的边缘量 (POEM) , 通过应用基于自相似结构建立。文献[6]使用了生物启发的视觉表示, 它由特征搜索来选择。此外, 利用人脸图像之间的相似性作为特征。文献[7]利用人脸的相似性提出了一种简单的分类器, 使用一些具体引用的人作为特征。文献[8]使用与查询图像最相似的图像的排名作为此查询图像的描述符。

面向相似性的方法针对两个人脸图像之间新的度量计算, 通常情况下, 采用一次性相似, 测量各样本属于相同的类的可能性。各自利用类标签信息, 进一步延长至一次性相似及多个一次性相似。文献[9]使用局部描述符的特征差异获得了相似性, 其中, 局部描述符通过图像采样而来, 图像由非常随机的二进制树量化得到。文献[10]提出了2个距离度量, 包括基于逻辑判别的方法和基于最近邻的方法, 计算了2幅图像属于同一类的概率。

上述许多方法往往采用典型的二值SVM分类器, 处理边信息这一情况。然而, 多级的方法, 包括Fisher脸方法及其众多的扩展, 不能在这种情况下使用, 因为在图像限制评价模式中, 没有提供关键的类标签信息。所以在这项工作中, 本文提出了一个基于线性判别分析的边信息 (SILD) 方法, 该方法只用边信息就可很好地工作, 其中, 类内和类间散布矩阵直接利用边信息计算出来。值得一提的是, 本文的方法不同于二值费舍尔线性判别分析FL-DA, 具体可以通过二值FLDA获得投影方向, 但是, 用本文的方法, 可以获得更多投影方向。

1 基于线性判别分析的边信息

在本节中, 首先给出FLDA的简要说明, 然后提出SILD方法的定义, 它适用于边信息的情况。最后证明了当提供了类标签时, 新定义等价于传统的定义。

1.1 费舍尔线性判别分析 (FLDA)

费舍尔线性判别分析的目的是, 通过最大化类间散布矩阵行列式与类内散布矩阵行列式的比例, 找出一组最具判别性的线性预测

类内散布矩阵SW及类间散布矩阵SB的定义如下

式中:c是训练集中类的数目;xij是ith类的第j个样本;ni是ith类的样本数;mi是ith类的平均值;m是训练集中所有训练样本的平均值。式 (1) 中的问题可用两步法加以解决。

首先, SW定义如下

第二, SB定义如下

最后, 投影矩阵计算如下

式中:H和U是正交矩阵;Λ和Σ是对角矩阵。

1.2 基于线性判别分析的边信息

在FLDA中, 需要知道每个样本的类标签, 只要在边信息的情况下, 它就不能正常工作。边信息是一种弱标签信息, 显示出了一对图像是否属于同一类。在这种情况下, FLDA无法工作, 因为没有完整的类标签信息, 所以不能计算出SW和SB。

为了解决这个问题, 直接利用了边信息, 为SW和SB提出了一个新的定义。具体地说, 同类的图像对直接用来计算类内散布矩阵, 同时, 不同类的图像对用来计算类间散布矩阵。

用S={ (xi, xj) :l (xi) =l (xj) }来表示同类图像对的集合, 用D={ (xm, xn) :l (xm) ≠l (xn) }表示不同类图像对的集合, l (x) 表示图像x的类标签。然后, 类内和类间散布矩阵可分别定义如下

在FLDA中, 比较式 (2) 与式 (3) , 新定义并不需要知道每个样本的标识, 并且只使用弱监督边信息, 直接计算出总的类内和类间散射矩阵。

与FLDA相似, 通过解决下面的最优化问题, 可以获得SILD中的投影矩阵

同FLDA一样, SILD在式 (10) 中也可以由式 (4) ~式 (7) 解决。显然, 集合S和D的大小可以影响Sw和SB新定义的稳定性。一般来说, SILD中, 类标签信息只可以生成一小部分图像对。在这种情况下, 新的类内散布矩阵可能有大量非常小的特征值。为了抑制由小特征值造成的不稳定, 在实现中, 当类内散布矩阵对角化时, 只使用最大特征值所对应的特征向量。第一步, SWstld定义如下

定义Λ'作为Λ的列的一小部分, 其具有与顶端整体能源对应的特征值。在这项工作中, Λ'用于计算式 (5) ~式 (7) 的Λ, 以此来解决不稳定性。正如在实验中, 边信息越少, 小特征值的数目越多。所以, 给定较少的边信息, 对应于较小部分的Λ', 可以实现更好的性能。通常, 对应于顶端80%~90%整体能量的Λ'可以很好地运行, 它大约是Λ的行的30%。

1.3 已知类标签的情况下, FLDA与SILD的等价性

在本节中证明了当提供类标签信息时, 提出的SILD与FLDA等价。具体而言, 如果所有的类具有相同数目的样本, SILD与FLDA相同;否则, SILD可看作是FLDA的一个变种。

在这里假设, 有c个类的r个样本, 第i个类包含ni个样本。如果提供了类标签, 相同类图像对的集合S, 应该包括属于同一类所有可能的图像对, 而不同类的图像对的集合D, 应该由不同类标签的所有图像对组成。SILD类内散布矩阵可以表示如下

如果所有的类具有相同数目的样本, 记为n, SILD中类内散射矩阵可以进一步写成

这意味着, 新定义的类内散布矩阵等价于FLDA中最多只有一个尺度参数。

同样, 类间散布矩阵可以改写成

给定新定义的类内和类间散布矩阵, SILD的投影矩阵可写成

如果所有的类含有相同数目的样本, 可以进一步有

根据上述公式, 很明显, 如果提供类标签信息, SILD的投影矩阵等价于FLDA的投影矩阵, 并且所有的类具有相同数量的样本。如果每个类具有不同数目的样本, 则更侧重于具有更多样本的类, SILD是FLDA的一个变种。通过抑制具有较少样本的不可靠类, 导致了类内散布矩阵更强壮的计算。当类标签信息不可用时, SILD可以视为一个近似的FLDA, 其仅仅利用了一小部分完整类标签信息。

1.4 边界加权SILD

受文献[6]的启发, 如果强调在边界附近的样本, 可以学习到一个更具判别性的模型。然而, 在没有类标签信息的情况下, 文献[6]中的方法不能直接使用。就像在式 (8) 中, 如果一个人的一对样本 (xi, xj) 不同于其他人, 那么, (xi-xj) 会有比较大的值, 且对SWstld有更大的重要性, 否则, 对SWstld不起那么大的作用。所以, 在SWstld定义中, 样本很难进行分类。另一方面, 对于SBstld, 如果来自两个不同的人的一对样本 (xi, xj) 比较相似, (xixj) 就会比较小, 所以, 重写SBstld中的样本对来强调难以分类的样本

当在 (17) 中计算SBstld时, 称这种方法叫做加权的SILD, 即WSILD。

2 实验

2.1 人脸库

FERET人脸库包括ba, bb, bc, bd, be, bf, bg, 共有200个人, 每人7幅人脸图像, 它们是在不同的表情、视角及其光照强度下拍摄的, 如图1所示, 为其中一个人脸的7幅图像, 按照先行后列的顺序, 对应为ba~bg中的一张人脸图像, 选择ba作为训练样本, 包括不同视角、不同表情、不同光照强度的bb至bg作为测试样本。

Yale人脸库包含了15个人的165张人脸, 每人11张, 包括了不同光照条件 (灯光往左照射、往右照射、往中间照射) , 不同的面部表情 (正常的、开心的、沮丧的、睡着的、惊讶的以及眨眼的) , 不同场景的 (戴眼镜的和不戴眼镜的) , 如图2所示为Yale人脸库中一个人的11幅具有不同特征的人脸图像。

实验中取FERET人脸库中每个人的前3张作为训练样本, 剩下的所有的人脸图像作为测试样本, 取Yale人脸库中每个人的前5张作为训练样本, 剩下的作为测试样本, 每张图像都简单地裁剪为80×150像素。为了减少高维和抑制噪声, 采用PCA作为预处理方法, 在PCA之后, 由保持的约95%的能量决定。2个特征向量的相似性由余弦相似度测量。

2.2 实验结果

本文所提出的SILD使用多个著名的特征进行测试, 在默认设置下, SILD只使用了原来的亮度特征。为了进一步提高SILD的精度, 采用了局部二元模式和Gabor小波特征[9]。对于LBP特征, 提取出59个直方图, 每个非重叠块的大小为10×10, 然后所有直方图连接成一个单一的7 080维向量。用5尺度和8取向提取Gabor特征, 这导致了相当高的维。因此采用了10×10的比例因子来降低采样。然而, 如此大规模地降低采样过程之后, 许多结构信息丢失。所以, Gabor图像也分为12个非重叠的块, 作为一种可替代的补充, 在每个块中采用2×2的降低采样获得更低维特征。

在这项工作中, 亮度SILD、LBP-SILD、Gabor-SILD和块Gabor SILD分别意味着SILD结合亮度特征、LBP特征、10×10降低采样的Gabor特征和基于Gabor特征的块。此外, 使用了原始特征的平方根, 最后, 通过使用SVM与RBF内核, 这也称为“结合的SILD”, 结合相似度的所有8种类型特征进一步提高精度, 其中包括4种类型的原始特征和4种平方根特征。

表1、表2分别为不同特征的SILD在FERET及Yale数据库上的平均识别率。

通过表1、表2可以观察到, SILD亮度、LBP、Gabor和块Gabor特征在FERET上的最佳精度分别为53.2%, 51.3%, 51.9%, 54.3%, 在Yale上的最佳精度分别为80.7%, 84.85%, 81.02%, 84.52%。与基于单特征的方法“单LE”相比, 当具有LBP和块Gabor特征时, SILD可以更好地工作, 当具有亮度和Gabor特征时, 几乎可以与之媲美。由此可以看出, 本文提出的SILD可以只使用单一类型的低级别特征, 可以很好地工作。也观察到, 在大多数情况下, 加权的SILD比SILD更好。

2.3 比较与分析

在本节中, 根据图像限制的协议, 本文提出的SILD与最先进的方法在FERET及Yale数据库上进行了比较, 包括基于背景样本的方法 (BBGS) [5], 基于生物启发特征的方法 (HTBIF) [6], 属性及比喻分类 (ASC) [7], 单LE[8], 多LE[8], 余弦相似性度量学习 (CSML) [9], 比较结果如表3所示。

通过表3可以看出, 在FERET数据库上, WSILD的识别率比BBGS高7.5%, 比ASC高8.3%, 比单LE高4.2%, 比多LE高3.5%, 比CSML高1.9%, 比HTBIF高1.6%, 在Yale数据库上, WSILD比BBGS高1%, 比ASC高2.4%, 比单LE高6.5%, 比多LE高3.2%, 比CSML高1.7%, 比HTBIF高0.5%, 由此可见, 与先进方法多种特征的比较, 经过融合多种特征的WSILD取得了很好的识别率。

然而, WSILD利用4种特征, 无须使用复杂的学习和搜索过程, 这表明了WSILD的识别效果明显超越了其他先进的方法, 有效地利用了人脸图像的边信息。

3 结束语

本文基于同类和不同类的样本对, 通过重新定义类内和类间散布矩阵, 提出了人脸识别中基于线性判别分析的边信息, 并且在唯一边信息可用的情况下, 使用了边信息, 在FERET及Yale人脸数据库上的实验表明了本文所提方法的有效性。综合实验结果表明, 当与几种先进方法的结果相比, 通过使用更多种类的特征或学习过程, WSILD取得了更好的识别效果。

摘要：在非限制环境下, 在人脸识别数据库上评估时由于无法获得所有对象完整的类标签信息, 只能得到弱标签信息, 使得许多人脸识别算法将无法工作。为了解决该问题, 提出了一种基于线性判别分析的边信息方法, 即加权SILD (Side-Information based Linear Discriminant) 方法 WSILD, 只利用边信息就可以很好地工作, 其中, 类内和类间散布矩阵直接利用边信息计算出来。在美国国防部人脸识别技术FERET及耶鲁大学人脸数据库Yale上的实验支撑了算法的理论分析。提出的WSILD方法使用多种特征, 与目前的几种方法相比, 取得了更好的人脸识别效果。

关键词：人脸识别,类标签信息,边信息,线性判别分析

参考文献

[1]CONNOLLY J F, GRANGER E, SABOURIN R.An adaptive classification system for video-based face recognition[J].Information Sciences, 2012, 192 (1) :50-70.

[2]LOWE D.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision, 2004, 60 (2) :91-110.

[3]XIE Z, LIU G, FANG Z.Face recognition based on combination of human perception and local binary pattern[J].Lecture Notes in Computer Science, 2012, 72 (2) :365-373.

[4]LU Jiwen, TAN Yepeng, WANG Gang.Discriminative multi-manifold analysis for face recognition from a single training sample per person[EB/OL].[2013-04-10].http://dl.acm.org/citation.cfm?id=2356324.

[5]CAO Z, YIN Q, TANG X, et al.Face recognition with learning-based descriptor[EB/OL].[2013-04-10].http://wenku.baidu.com/view/34b38adb6f1aff00bed51ea4.html.

[6]PINTO N, COX D.Beyond simple features:a large-scale feature search approach to unconstrained face recognition[EB/OL].[2013-04-10].http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.188.1456.

[7]KUMAR N, BERG A C, BELHUMEU P N, et al.Attribute and simile classifiers for face verification[EB/OL].[2013-04-10].http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.153.2194.

[8]WOLF L, HASSNER T, TAIGMAN Y.Similarity scores based on background samples[EB/OL].[2013-04-10].http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.149.9354.

[9]NGUYEN H V, BAI L.Cosine similarity metric learning for face verification[EB/OL].[2013-04-10].http://link.springer.com/chapter/10.1007%2F978-3-642-19309-5_55.

线性判别式分析 篇5

非线性滑动轴承转子系统的稳定性判断一直是学者们的关注热点,而非线性滑动轴承转子系统临界转速决定了转子系统是否稳定,因此对非线性转子系统临界转速的准确判断至关重要[1,2,3]。目前,对非线性滑动轴承转子系统临界转速的判别并没有一个实用的方法和标准,一般多采用对数衰减率法。但对数衰减率法在非线性转子系统中的应用存在诸多不足,如判断失真或无法判断。广义阻尼、稳定欲度、相邻波谷插值对数比等都是对数衰减率概念的变形,在实际应用中并不能完全解决自身不足[4,5,6]。本文为了解决临界转速判断失真现象,首先指出对数衰减率法在非线性轴承转子系统临界转速判别的适用范围,然后提出一种较准确且适用于非线性轴承转子系统的临界转速判别新方法。

1 轴心轨迹的计算

为了求出转子系统的轴心轨迹,首先利用Reynolds方程解出系统的油膜压力。通过有限差分法并用MATLAB编程求解简化的Reynolds方程:

式中,x、z为转子圆周和径向方向的坐标,m;p为油膜压力,Pa;U为轴颈表面速度,m/s;μ为流体动力学黏度,Pa·s;t为时间,s。

求出系统油膜压力后,通过一维辛普森积分法就能得出轴颈上瞬时油膜力Fx、Fy:

式中,Fx、Fy分别为水平和竖向的油膜力,N;θ表示位置角,(°)。

轴心轨迹是旋转机械监测的重要内容,能够反映旋转元件的运行状态等基本信息,对轴承转子系统稳定性的分析至关重要。如图1所示,Oj为转子圆心,为了求出系统轴心轨迹,首先利用式(2)求出的水平和竖向的油膜力Fx、Fy,然后运用牛顿定律计算出轴心水平与竖向的加速度,最终可以求出每个时间点的水平位移与竖向位移,每个时间点的位移轨迹即为轴心轨迹。

转子轴心的水平与竖向加速度采用下式计算:

式中,Fxj、Fyj分别为节点j水平和竖向的油膜力;G为转子重力,N;m为转子质量,kg。

转子轴心水平与竖向的瞬态速度及位移的计算式为

式中,Δt为时间间隔,s;v为转子的线速度,m/s。

滑动轴承转子系统的轴心轨迹在不同的转速下存在稳定、临界和不稳定3种状态,如图2所示,由轴心轨迹可以得出3种状态的时域图。

2 对数衰减法

为了说明对数衰减法判断临界转速时的不足,引入

式中,x1、x2为波峰纵坐标;y1、y2、y3为波谷纵坐标。

对数衰减法是根据转子系统时域图3种不同状态的2个相邻的波峰或波谷的对数比来进行判断的,根据转子系统时域图的3种不同状态,它们之间的对数比会出现3种状态,即Ld>0,Ld=0,Ld<0。Ld=0的点即为临界转速,根据Ld>0,Ld<0两种不同的状态,通过插值法就能求出临界转速。这种插值法并不能很准确地找出Ld=0的点,文献[7]中给出了临界转速判断范围,即认为|Ld|<10-4时已达到临界状态,这种方法计算出的临界转速和理想的临界转速相差并不大,并且相差值对整个转子系统稳定性的影响几乎可以忽略。

实际计算中,轴承转子系统时域图中的偏心率不会随时间平滑变化,当润滑油的黏度发生变化时,转子系统的时域图也会发生变化。因此,当润滑油黏度变化为较大值或较小值,甚至在转子存在一定制造误差时就会出现多个小波峰,如图4所示。对数衰减法是依据波峰来判别临界转速的,波峰发生变化后,对数衰减法就不再适用。文献[6]利用波谷两相邻插值的对数来判断临界转速,这种方法实质上还是对数衰减法,且波谷的变化也并不总是那么有规则,对存在一定制造误差的转子系统也不能完全适用,计算精度也不高,因此,这种方法不能适用于所有的转子系统。

3 求临界转速新方法

由于对数衰减率法在求临界转速时存在诸多限制,所以对数衰减法在非线性轴承转子系统临界转速的判别中存在较多的局限性,为了克服对数衰减法的诸多缺点,提出了一种通过轴心轨迹图形的变化来判断临界转速的方法,并用MATLAB编程实现。如图2所示,转子系统轴心轨迹在不同的转速下存在3种不同的状态,当轴心轨迹的形状和大小重复性很好时,会形成一个长短轴相差不大的椭圆。这时转子系统就达到了临界转速,无论润滑油黏度如何变化、是否存在制造误差。转子系统达到临界转速时,其轴心轨迹都会出现这种重复性很好的椭圆。根据轴心轨迹这一特性,通过判断轴心轨迹的重叠度来判断其临界转速,并用MATLAB编程实现自动搜索。

方法原理:如图5所示,当转速接近临界转速时,轴心轨迹的内圈椭圆和外圈椭圆就会具有一定的宽度(临界宽度b)。转速越接近临界转速,临界宽度b越小。为了测出临界宽度b的大小,通过从圆点O发出一条射线OA。射线OA与轴心轨迹的内圈和外圈相交,取所有大于平均振幅即弧线BC的轨迹,内外两个相交点之差即临界宽度b。虽然轴心轨迹在接近临界状态时的重复性很好,但实际上,轴心每转一周的轨迹是彼此交错的,毫无规律,且轴心轨迹随着参数的变化而变化。因此根据某一点的临界宽度b来判断是否达到临界转速的可信度并不高。为了提高可信度,本文在图5的角度范围(-90°~90°)之间每隔1.1Δt~1.5Δt(计算轴心轨迹时,步长的间距为Δt)扫描一次。临界区域b太小,搜寻的难度增大、搜寻时间长;临界区域b太大,计算的临界转速误差增大,影响转子系统稳定性判断。一般根据实际计算b可以取10μm、11μm、12μm,满足临界宽度b的次数n一般取4、5、6、7。b与n的数值是在已确保本文新的判别方法正确的基础上,经过反复大量的实验、计算、修正,最终确定的,本文给出的值基本能够满足要求,确保不失真。

4 稳定性临界曲线

为了得出对数衰减法的适用范围,并更直观地对比两种方法,引入了反映转子系统稳定性临界转速的量纲一运行参数Op:

式中,g为重力加速度,m/s2;ω为转子角速度,rad/s。

连续改变润滑油的动力学黏度或转子质量后,转子系统临界转速发生相应改变,将不同临界转速对应的点连接起来即为稳定性临界曲线。稳定性临界曲线以量纲一参数Op为纵坐标,以量纲一偏心率e为横坐标。量纲一偏心率求解方法:根据转子系统随润滑油黏度变化而求出的不同的临界转速,再根据系统其他参数不变的条件求出Sommerfeld Num ber,进而求出量纲一偏心率[8]。

如图6所示,本文采用与文献[9]完全相同的参数,计算得出的稳定性临界曲线几乎和文献[9]的曲线重合,表明了本文方法的正确性;与文献[10](参数缺失)的结果对比可知,曲线的变化趋势基本相同,存在小的偏差是因为每个转子系统的参数并不是完全一致的,并受起点位置的影响。与文献[9]、文献[10]方法的对比表明,本文方法得出的稳定性临界曲线理论方法是正确的。

为了对比2种求临界转速的方法,采用相同的结构参数:转子长度L=76.2 mm,轴瓦内径D=76.454 mm,转子直径Dj=75.692 mm,转子质量m=18.5kg。偏心率e在0.2~0.6之间(这个区域相对稳定)时,域图的波形都是较光滑的,说明对数衰减法在这一范围计算较准确。从图6可以看出,偏心率在0.1~0.6之间时,对数衰减法和本文方法得出的稳定性参数Op几乎一致,说明了本文方法的可行性和准确性。Op应随着偏心率的变化而平滑的变化,但从图6、表1可以看出,偏心率e<0.2和e>0.6时,对数衰减法得出的Op有不规则变化。从表1可以看出:e<0.2时,2种方法的偏心率基本一致,Op发生了锯齿形的变化;e>0.6时,对数衰减法的偏心率和Op都发生了不规则变化,润滑油黏度很小时,对数衰减法就无法判断出结果,因此其稳定性临界曲线与本文方法对比时会缺少数据。偏心率e<0.2和e>0.6的区域是不稳定区域,但主要还是因为临界转速的判别失真造成的。同时也表明对数衰减法在这两个区域的不适用性。

5 结语

系统地介绍了对数衰减法的计算原理,指出了对数衰减法在非线性滑动轴承转子系统的不足之处,并用稳定性临界曲线说明了对数衰减法(包含变形的对数衰减法)在量纲一偏心率为0.2~0.6的范围内能够适用于非线性滑动轴承转子系统,计算精度能够满足要求。

提出一种根据判断轴心轨迹临界区域宽度b来判断临界转速的新方法,将对数衰减法和本文提出的图形判别法进行了对比,并用稳定性临界曲线验证了方法的准确性,通过MATLAB编程准确搜寻出临界转速,且本图形判别法不受润滑油黏度、制造误差等因素的影响,方法直观、便捷。

参考文献

[1]崔颖,刘占生,冷淑香,等.200MW汽轮发电机组转子-轴承系统非线性稳定性研究[J].机械工程学报,2005,41(2):170-175.Cui Ying,Liu Zhansheng,Leng Shuxiang,et al.Study on Nonline Stability for a 200 MW Turbogenerator Rotor-bearing System[J].Chinese Journal of Mechanical Engineering,2005,41(2):170-175.

[2]陈衍茂,刘济科.非线性颤振极限环稳定性判别的复数正规形法[J].航空动力学报,2007,22(4):614-618.Chen Yanmao,Liu Jike,Application of Complex Normal from Method for Stability Judgement of Limit Cycle of Nonlinear Flutter[J].Journal of Aerospace Power,2007,22(4):614-618.

[3]夏鹏.圆柱滑动轴承动静态特性分析及计算软件开发[D].哈尔滨:哈尔滨工业大学,2013.

[4]袁小阳.轴系的稳定裕度、非线性振动和动力性能优化研究[D].西安:西安交通大学,1994.

[5]郑惠萍.滑动轴承不平衡转子系统非线性动力学稳定性及其稳定裕度的研究[D].天津:天津大学,2000.

[6]袁雪鹏.考虑随机圆度误差的滑动轴承转子系统非线性动力学研究[D].柳州:广西科技大学,2015.

[7]曾海景,徐武彬,魏塬,等.圆度误差对滑动轴承-转子系统摩擦功率损耗的影响[J].中国机械工程,2012,23(8):906-909.Zeng Haijing,Xu Wubin,Wei Yuan,et al.Friction Power Loss Analysis of Hydrodynamic Bearing Rotor System Allowing for Roundness Errors[J].China Mechanical Engineering,2012,23(8):906-909.

[8]徐武彬,王镇江,陈其兵,等.基于Sommerfeld数的滑动轴承转子系统稳定性分析[J].中国机械工程,2009,20(23):2875-2879.Xu Wubin,Wang Zhenjiang,Chen Qibing,et al.Stability Analysis of Hydrodynamic Journal Bearing Based on Sommerfeld Number[J].China Mechanical Engineering,2009,20(23):2875-2879.

[9]Xu W.The Effect of Manufacturing Tolerances on the Steady State and Dynamic Performance of Rotating Machines Supported by Journal Bearings[D].Staffordshire,UK:Staffordshire University,2010.

[10]Akers A,Michaelson S,Cameron A.Stability Contours for a Whirling Finite Journal Bearing[J].Journal of Tribology,1971,93(1):177-183.

线性判别式分析 篇6

关键词：人脸识别,线性判别回归,小样本问题,最近子空间,最远子空间,最近-最远子空间分类器

0 引言

人脸自动识别系统[1]通常使用人脸图像来识别特定的身份，已广泛地应用于生物特征认证的人机交互中，如视频监控和访问控制等[2]。学者们开发的大多数人脸识别系统都是从静态图像或视频图像中进行人脸识别，众所周知的方法包括主成分分析PCA(Principal Component Analysis)[3]、独立成分分析ICA(Independent Component Analysis)[4]和线性判别分析LDA(Linear Discriminant Analysis)[5]，这些方法都试图找到一个低维子空间并使用降维技术实现有效的人脸识别。尽管以前的研究试图尽力得到良好的特征提取结果，但最近的一些研究表明，即使是非常简单的非传统的特征，对于基于线性表示的方法来说都可以很好的工作。由此可见，设计这类分类器时，特征空间的选择和特征提取方法可能不如设计一个性能、鲁棒性良好的分类器重要[6]。

人脸识别研究中，学者们已使用过很多分类器来辨识脸部图像，其中，NFC因其有效性和简单性而颇受欢迎。最近邻分类器(NN)[7]试图寻找测试图像的最佳匹配，测试图像应该与它的最佳匹配有相同的类别标签。为了覆盖因光照、姿势、视角引起的大范围人脸图像变化，人脸识别系统需要大量的原型图像，极大地增加了内存和计算要求，更重要的是，实际中采集这么多原型图像很不容易，为了提高原型图像的表示能力，后续采用合并多个训练样本说明一个测试样本的方法。最近线性(NL)分类器是文献[8]提出的改进算法，文献[9]又对NL算法进行了一系列的修改和改进。文献[10]提出的最近平面(NP)分类器和最近空间(NS)分类器是NN和NL分类器的进一步扩展，利用一个对象的许多原型图像表示探针，解决了不同几何视角的表示问题。最近，文献[11]提出了NS方法的一个改进算法，用下采样图像作为特征进行分类。最近，许多研究提出使用多个类的原型图像表示探针，其中，基于稀疏表示的分类[12]引起了广泛的关注，随后产生了许多使用稀疏表示思想的新的方法，例如，为了使表示对无意义的点敏感，文献[13]提出一种新的框架，将相关熵准则引入了稀疏表示中。

基于上述分析，本文对NS方法进行了后续研究，提出了基于线性判别回归的最远子空间分类器和最近-最远子空间分类算法。首先为每个类定义一个“不考虑该类”(leave-one-classout)的子空间，包含其余类的所有图像;然后，提出了最远子空间分类器，通过线性判别回归[14]寻找与测试图像距离最远的“不考虑该类”子空间，然后划分这个测试图像到它所属的类。为了进一步提高FS的性能，提出了最近-最远子空间分类器，将NS和FS分类器混合，把测试图像分为一个类，满足类依赖子空间到测试图像最近，且“不考虑该类”的子空间到测试图像最远。实验结果表明本文算法明显改进了NS分类器的性能。

1 相关技术

1.1 线性判别回归

假设有N个对象，包含来自第i个类的pi个训练图像i=1,2，…，N，将图像投影至人脸空间上，矩阵W包含来自N个对象的所有特征向量，即W=[W1，…，Wi，…，WN]，为了应用回归分析估计类的具体模型，将有关类成员列向量wi,j组成集合，因此，对于第i个类，有:

式中，每个向量是一个大小为L×1的列向量，训练阶段，第i类由向量空间Wi表示，它称为每个对象的预测器。

如果y属于第i类，它可以由第i类训练图像的一个线性组合来表示，定义如下:

式中，βi∈Rpi×l是回归参数的向量。是一个误差向量，且其独立同分布随机变量的均值为零。线性回归的目标是找到来最小化剩余误差。

由文献[14]可知，线性回归是基于源向量和投影向量最小距离而开发的，如果源向量属于类i的子空间，预测向量将是离源向量最接近的向量。计算源向量和预测响应向量之间的欧式距离即可确认身份i*，即:

1.2 最近子空间分类器

选择好特征空间后，下一步是对新的测试样本正确分类。最近子空间NS(Nearest Subspace)分类器[10]是无参数算法中最重要的一个分支，而NN分类器是最简单可行的人脸识别方法，NS要寻找测试图像到所有原型图像距离最小的训练样本，然后确定测试图像的类标签。

首先，给出一个普通的人脸识别脚本描述，给定N个不同的类，第i类，i=1,2，…，N有pi幅原型图像，特征空间内每个原型图像表示为一个向量ai(m)∈Rq×1，其中m=1,2，…，pi和q是特征空间的维度。然后，对一个类的原型图像向量排列，构建一个类依赖子空间模型:

令y为特征空间内未标记的特征图像的点，然后计算y和子空间Ai之间的距离，也就是第i类给出的y和预测向量之间的差值:

式中，简单的由最小二乘估计得到:

式中，应该约束好，否则，需使用PCA使其可逆。最后，将y分类至有最小距离di的类。

然而，当测量测试图像和某个类之间的关系时，NFC算法只把在该单一类能力范围内的表示计算在内，却忽略了其它类也可以表示测试图像。

2 算法提出

2.1 最远子空间分类器

已知特定对象类的样本图像位于一个类依赖子空间，那么可以假设每个类依赖子空间有一些独特的基础向量，这些向量与其它类中的向量相互独立。因此，本文提出一种新颖的人脸识别思路，当一个查询图像被所有原型图像包括这个查询图像所在类的原型图像表示时，如果为第i类构建一个“不考虑该类”子空间，由所有训练图像包括第i类中的图像构建，则在所有“不考虑该类”子空间中第i类的样本到这个子空间距离最大。因为，在第i类的独特基础向量中只有这个类的“不考虑该类”子空间是独占的。

基于以上分析，本文提出了最远子空间FS(Far Subspace)分类器。首先，第i类“不考虑该类”子空间的线性模型通过排列N-1个类依赖子空间模型来构造:

类似于NS分类器，FS分类器仍然是一个简单的基于线性判别回归的方法，FS变量的确定定义为查询图像到“不考虑该类”子空间的距离，计算如下:

式中，，利用PCA使可逆，移除小的主成分。最后，分类探针到带有最大距离li的类。FS分类方法如算法1。

算法1最远子空间分类

1:输入:类依赖模型Ai∈Rq×pi、“不考虑该类”模型Bi=[A1A2…Ai-1Ai+1…AN],i=1,2，…，N、测试图像向量y∈Rq×1。

2:计算“不考虑该类”子空间Bi上的投影y。

3:计算y和之间的距离，

4:输出:测试图像来自有最大距离li的类。

2.2 最近-最远子空间分类算法

FS分类器和NS分类器都是基于回归的算法，但是它们采用了不同的类依赖子空间特性。NS测量测试样本与类依赖子空间的距离，而FS则是检索“不考虑该类”子空间包括测试样本的独特基础向量。直观上，本文希望构建一个新的可以利用这两类判别信息的分类器。必须指出的是，一方面希望这两类判别信息本质上不同，另一方面需要二者互助以增强判别力。

本文提出最近-最远子空间分类器，它分配一幅测试图像到某个类，这个类的类依赖子空间离测试图像最近，它的“不考虑该类”子空间离测试图像最远。NFS分类方法既要用到Ai，也要用到Bi，测量测试图像与第i类的这两类子空间的距离。定义NFS的决策变量为:

测试图像被分类至有ji最小值的类，此外，决策变量可定义为ji=λdi-(1-λ)li，其中，λ∈[0,1]，然后使用不同的λ值，权衡di和li。在这种情况下，使用最优λ可以得到最大识别率。然而，找到这个最优的λ并不容易，本文主要关注NFS判别的提升，所以本文使用式(9)作为NFS的决策变量。NFS分类方法总结为算法2。

算法2最近-最远子空间分类

1:输入:类依赖模型Ai∈Rq×pi、“不考虑该类”模型Bi=[A1A2…Ai-1Ai+1…AN],i=1,2，…，N、测试图像向量y∈Rq×1;

2:计算子空间Ai上的投影;

3:测量y和之间的距离，;

4:计算每个”不考虑该类”子空间Bi上的投影y,;

5:测量y和之间的距离，;

6:计算决策变量,i=1,2，…，N;

7:输出:测试图像来自有最小距离ji的类。

接下来，本文将对NFS和FS分类器的研究进行解释，讨论提出的NFS分类方法是否可以当作一个替代简单混合方法的单个分类规则。已知来自某个类依赖的人脸图像往往都位于一个线性子空间，且每个类依赖子空间都有一些独特的基础向量，即类依赖子空间不仅与许多类依赖子空间共享的常见基础向量有关，而且有它自己的基础向量。当原型图像足够多或者类依赖子空间实现时，查询图像可以使用它自己类的类依赖模型来表示，因为他们的类没有这些独特的基础向量。即NS分类器能够充分利用独特基础向量去进行分类。

理想的类依赖子空间应该覆盖人脸图像的大范围变化，但是人脸识别通常会有小样本(SSS)问题，实际类依赖子空间只能由较少数目的原型图像构成，其数目是远低于理想的类依赖子空间的。即SSS问题通常会导致类依赖子空间的不完善，这可能遗漏一些通用的基础向量。因此，尽管来自同一类的图像位于一个类依赖子空间，但是这样测量到的测试图像和不完善的类依赖子空间之间的距离就会与真正的距离值有偏离。

3 实验

在三个公开的人脸数据库上对本文算法做了测试，分别为扩展Yale B[3]、ORL[4]、AR[15]。数据库中包含有大范围的变化，包括姿势、光照和手势变化。许多特征提取方法都可以被用于降低原始图像的维度，以便消除“维度诅咒”，然后每个图像在特征空间的表示用于分类。近期的研究指出，关于特征提取，如下采样图像和随机投影这些简单特征可以依靠PCA、独立成分分析(ICA)、LDA等算法方便的实现。因此，本文的特征空间由下采样图像构建。文献[11]中描述了一种NS分类方法，称作基于线性回归分类(LRC)，它使用下采样图像作为特征，是对NS方法的改进。因为这个新提出的算法执行效果优于其他几个分类方法，所有用本文提出的算法与LRC算法作对比，也因此主要遵循文献[11]中的实验协议来进行实验，本文也使用低维下采样人脸图像。

3.1 扩展Yale B人脸库

扩展的Yale B人脸数据库由38个对象的2414张正面人脸图像组成(每个对象约64幅图像)。依据光照条件由弱到强将数据库划分为5个子集，图1描述了每个子集的四个例子。

下采样图像为20×20大小，子集1(每个子集包括7幅图像)的图像用于训练数据，其余的用于验证。子集2、3、4、5分别包含每个对象12、12、14、19幅图像。表1显示了本文提出的方法与其他方法的对比，包括NS、主成分分析(PCA)、独立成分分析1(ICA1)、线性判别回归分析(LDA)、SRC。使用L1LS算法求解SRC中的l1-最小化问题，L1LS可以为人脸识别问题得到高识别率。PCA和ICA算法中，样本需要靠一些特征向量转换到一个低维子空间中，实验中用足够多的成分来保留超过99%的方差。

从表1可以看出，对于子集2、3,NS、FS、NFS的准确率非常高，接近100%，对于子集4、5，尽管FS不能与NS相提并论，但是，NFS的执行效果比NS分别高出3.83%、9.17%。由此可以推出，NFS分类器在对抗光照变化方面的鲁棒性要比NS分类器好。当测试样本严重受光照影响时，NS和本文提出的算法要优于其他算法。

为了评估本文算法的计算开销，列出了CPU时间，这个时间是依据探针数目划分的总的识别时间，如表2所示。

从表2可以看出，经典算法的计算开销，包括PCA+NN、ICA1+NN、LDA+NN均很低，因为在特征提取阶段之后，NN的复杂度是很低的。由于“不考虑该类”子空间模型Bi比类依赖子空间模型Ai大，FS完成识别消耗的时间比NS多。根据前文描述，帽子矩阵的计算在训练阶段独立于测试样本，这可以确保本文提出的方法和NS的高效率。但是，SRC需要平均超过1s的时间才能识别测试样本，比其它算法消耗的时间长更多，因为SRC需要为每个测试样本求解一个l1-最小化问题，这是比较耗时的。

正如前文所述，FS和NFS使用PCA降低Bi的维度，上述实验为了避免奇异，保持了BiTBi的前99个主成分，这会保持矩阵超过99%的方差。

图2所示为在扩展的Yale B数据库上子集4中使用NFS和FS相对于BiTBi各种维度的识别率。

从图2可以看出，BiTBi的维度对FS有严重的影响，意味着如果只保持小数目的样本图像，独特基础向量会缺失。尽管FS执行效果并不好，NFS仍比NS的效果好，相对于增长的维度，NFS和FS的性能几乎会同步增长，表明FS给出了可靠的协助去提高NS的识别能力。

上述实验中，本文的目的是演示NFS对NS分类器的改进。以前的研究中样本图像下采样为同样大小，而实际上使用高维样本可以提高FS和NFS的识别能力，如图3所示为FS及NFS在扩展Yale B数据库子集5上相对于预测图像特征维度的识别率。

从图3可以看出，识别率随着维度的增大而提升，因此，高维对提升FS和NFS分类器的识别率是有益的。理由是高维特征空间可以包含每个类的非常丰富的独特基础向量，这对提升FS和NFS的判别是有益的。

3.2 ORL数据库

ORL人脸数据库中有40个对象，每个对象10幅图像，数据库中纳入了各种变化，包括脸部姿势变化、改装(戴不戴眼镜)、小角度脸部转动(小于20度)。大小为112×92的图像训练和测试时均被下采样为10×5大小，如图4所示为ORL人脸数据库上某人的10张人脸图像示例。

为了对NS、FS和NFS与其他方法对比，该实验遵循文献[14]中的两个评估协议。对于评估协议1(EP1)，前5个图像用作原型图像，剩余5个图像作为测试图像。评估协议2(EP2)采用“留一法”策略。表3给出了实验结果，图像被下采样至较低的50D，这仅有的40个对象对于FS来说是吃亏的。

从表3可以看出，两个评估协议中，ERE的结果都是最好的，比NFS和SRC要好2%。ERE是最近提出的一个基于特征值的特征提取算法，首先分解图像空间的特征向量到三个子空间，然后分别基于不同的特征谱模型进行规整，提取的特征值在噪声和训练样本数目限制方面的鲁棒性都很好，因此，能够取得最高的识别率。NFS分类器不仅使用了查询图像和类之间的相似度，还采用了查询图像与其他类之间的不相似度，当训练样本足够多时，也能取得相当好的效果，在评估协议2中，NFS的识别率可高达99.25%，该结果与ERE相同，在两个评估协议下，NFS的执行效果明显优于Fisher脸、特征脸、SRC、核特征脸和NS。

3.3 AR数据库

AR人脸数据库包括70个男性56个女性的4000幅图像，这些图像包含有六类差异:脸部表情变化(无表情、微笑、生气、尖叫)、不同的光照变化、遮蔽(太阳镜和围巾)。本文从原始AR数据库选择100个对象(50个男性和50个女性)用于实验，所有的图像下采样为10×10大小，本小节中，对脸部表情变化、不同光照条件、不同遮蔽物三种情况分别进行了三个实验。

首先，测试本文提出的方法能否应对脸部表情变化的挑战。图5显示了AR数据库中一个对象的4个不同的脸部表情。实验中采用了交叉验证策略，每次验证，训练样本包括三个不同的表情图像，剩余的图像作为探针。实验结果如表4所示，本实验中NS和NFS分类器对所有脸部表情都能达到很高的识别率，且对应的识别精度几乎相同。

接着，在不同光照条件下验证本文提出的方法，共包括四种光照条件:柔光、左侧光、右侧光、所有的测光(如图6所示)。实验仍是基于交叉验证，每次实验，不同光照条件的每个人6幅图像用于训练，其余的图像用于测试。表5给出了实验结果，本实验中，NS和NFS可以给出左侧光和右侧光条件下没有任何错误的图像预测。

最后，使用图7所示的图像预测有遮蔽的图像，包括戴太阳镜和围围巾两种遮蔽方式，对于戴太阳镜遮蔽，只使用前半部分图像，因为后半部分几乎被太阳镜全覆盖了，也就没有相关的判别信息，在这种情况下分类在50D特征空间执行。近几年对有连续遮蔽的人脸识别进行了大量的研究和调查。本实验比较了本文提出的算法和其他著名的算法，包括PCA、ICA1、局部非负矩阵分解(LNMF)、基于稀疏表示的分类(SRC)。NFS分类器在两种有遮蔽的条件下执行效果均优于其他算法，实验结果如表6所示，结果表明，本文算法的识别率明显高于其他各个算法。

4 结语

本文提出了两种新颖的分类算法。首先提出了FS分类器，FS中“不考虑该类”子空间的概念，测试样本到每个“不考虑该类”子空间的距离表示这个探针的标签，验证了本文的假设，即每个类在类依赖子空间内有它自己独特的基础向量。实验结果表明FS分类器可以达到可接受的识别精度，当原型图像数目很小且样本中包含了各种变化时，FS分类器的执行效果比其他算法更好。接着，本文提出了另外一种基于线性回归分类的NFS分类算法。尽管近期的研究表明用下采样图像作为特征图像的NS分类器已经可以得到很好的人脸识别效果，但是本文在3个不同的人脸数据库上进行的实验表明，本文提出的NFS分类器的识别精度比NS还要高。