摘  要： 判別局部保持投影DLPP算法在計(jì)算過(guò)程中需要解決稠密矩陣特征分解問(wèn)題，這使得該算法在時(shí)間和內(nèi)存上消耗都非常高。譜回歸判別分析SRDA算法可以有效的節(jié)省時(shí)間和內(nèi)存的消耗?；赟RDA，提出一種改進(jìn)的局部保持投影LPP算法——譜回歸判別局部保持投影算法SRDLPP。實(shí)驗(yàn)結(jié)果表明，該算法可以提高識(shí)別率，同時(shí)降低時(shí)間和內(nèi)存消耗。
關(guān)鍵詞： 判別局部保持投影; 局部保持投影算法; 譜回歸判別分析; 人臉識(shí)別

    人臉識(shí)別中的維數(shù)約簡(jiǎn)是一個(gè)關(guān)鍵問(wèn)題，流行的維數(shù)約簡(jiǎn)方法包括主成分分析PCA（Principal Component Analysis）[1]、線性判別分析LDA（Linear Discriminant Analysis）[2]、局部保持投影LPP(Locality Preserving Projection)[3]等。LPP被認(rèn)為是一種有效的維數(shù)約簡(jiǎn)方法，它在保持?jǐn)?shù)據(jù)集的局部結(jié)構(gòu)的同時(shí)，通過(guò)鄰接圖來(lái)確認(rèn)流形結(jié)構(gòu)模型的一種線性變換，它已經(jīng)成功應(yīng)用于許多鄰域[4]。LPP的目的是尋找一個(gè)投影矩陣，在投影后，兩個(gè)樣本點(diǎn)的距離最小，然而，它卻忽略了樣本間的判別信息。參考文獻(xiàn)[5]中，Yu提出了判別局部保持投影DLPP(Discriminant Locality Preserving Projection）算法，他在LPP算法中加入了判別信息來(lái)提高識(shí)別率。但是，在DLPP算法計(jì)算過(guò)程中,需要解決密度矩陣的特征分解問(wèn)題，這給時(shí)間和內(nèi)存方面帶來(lái)了非常高的計(jì)算成本。參考文獻(xiàn)[6]中，Cai證明了LDA的空間復(fù)雜度為：O(mnt+t3)，并且占用內(nèi)存為：O(mn+mt+nt),其中m是樣本的個(gè)數(shù)，n是類(lèi)個(gè)數(shù)，t=min(m,n)。當(dāng)m和n很大時(shí)，應(yīng)用到較大的數(shù)據(jù)集上，幾乎是不可行的。最近，譜方法作為一種有效的維數(shù)約簡(jiǎn)方法已經(jīng)運(yùn)用到人臉識(shí)別中。參考文獻(xiàn)[6]中，Cai提出一個(gè)新的判別分析算法， 即譜回歸判別分析SRDA(Spectral Regression Discriminant Analysis)。通過(guò)使用譜圖分析，SRDA將判別分析投射到回歸框架上，它只需要解決一系列正則化的最小二乘問(wèn)題，而不需要計(jì)算特征向量，節(jié)省了時(shí)間和內(nèi)存的消耗，在計(jì)算方面明顯地優(yōu)于LDA算法。本文提出了一種新的改進(jìn)算法——譜回歸判別局部保持投影SRDLPP(Spectral Regression Discriminant Locality Preserving Projection)。其在LPP算法中加入了譜回歸判別分析算法,這樣可以避免解密度矩陣特征分解時(shí)帶來(lái)的高昂的內(nèi)存和時(shí)間的消耗。分別在Yale、Orl和擴(kuò)展Yale_B人臉庫(kù)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本算法優(yōu)于其他算法。

    DLPP的識(shí)別率優(yōu)于本文提出的算法和LPP算法。但是它同時(shí)也消耗了大量的時(shí)間。計(jì)算平均數(shù)據(jù)集每一次所占用的時(shí)間消耗，最高的達(dá)到50 s。
3．3 擴(kuò)展 Yale_B人臉庫(kù)

　擴(kuò)展的Yale_B人臉數(shù)據(jù)庫(kù)包含16 128幅人臉圖像，共38類(lèi)，9種姿態(tài)65種細(xì)節(jié)下進(jìn)行，本文選擇正面且所有的圖片細(xì)節(jié)不同，每人得到64圖片。所有人臉圖片剪裁為32×32像素，256灰度級(jí)。特征(像素值)在[0，1]之間（除以256）。實(shí)驗(yàn)結(jié)果如表5、表6所示。

    表5、表6為在擴(kuò)展的Yale_B人臉庫(kù)上的識(shí)別率和時(shí)間消耗?？梢?jiàn)，DLPP的識(shí)別率比較高，但是占用了太多的時(shí)間，平均識(shí)別一次所需要時(shí)間最高達(dá)到900 s。本文提出的算法最高識(shí)別率達(dá)到95.91%.
    綜合以上3個(gè)實(shí)驗(yàn)結(jié)果可知，本文提出的算法，在一定程度上提高了識(shí)別率，特別是時(shí)間消耗方面具有明顯的優(yōu)勢(shì)，尤其是在數(shù)據(jù)集較大的情況下，優(yōu)勢(shì)越明顯。
    本文提出一種新的人臉識(shí)別算法——譜回歸判別局部保持投影算法SRDLPP（Spectral Regression Discriminant Locality Preserving Projection）。它利用譜回歸判別分析的思想加入到局部保持投影中。實(shí)驗(yàn)結(jié)果表明，雖然DLPP的識(shí)別率有較好的效果，但是由于它需要計(jì)算密度矩陣求解特征問(wèn)題，占用了很大的時(shí)間和內(nèi)存消耗，在實(shí)際運(yùn)用中存在弊端。譜回歸判別分析算法只需要解決一系列正則化的最小二乘問(wèn)題，而不需要計(jì)算特征問(wèn)題，這大大地節(jié)省了時(shí)間和內(nèi)在的消耗。SRDLPP算法不僅提高了識(shí)別率而且時(shí)間和內(nèi)存的消耗都比較少。分別在Yale、Orl及擴(kuò)展Yale_B人臉庫(kù)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明該算法具有高效的識(shí)別率、低的時(shí)間及內(nèi)存消耗。
參考文獻(xiàn)
[1] MARDIA K V, KENT J T, BIBBY J M. Multivariate analysis[M]. Academic Press, 1980.
[2] SWETS D L, WENG J Y, Using discriminant eigenfeatures for image retrieval[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18(8):831-836.
[3] He Xiaofei, NIYOGI P. Locality preserving projections[A]. Neural Information Processing System[C]. Vancouver: MIT  Press,2003.
[4] FOLEY D H, SAMMON J W Jr. An optimal set of discriminant vectors, IEEE Transactions on Computer, 1975, C-24(3):281-289.
[5] Yu Weiwei, Teng Xiaolong, Liu Chongqing. Face recognition using discriminant locality preserving projections[J]. Image and Vision Computer, 2006(24):239-248.
[6] Cai Deng, He Xiaofei, Han Jiawei. SRDA：an efficient algorithm for large scale discriminant analysis[J].IEEE Transactions on Knavledge and Data Engineering, 2008, 20(1):1-12.
[7] FUKUNAGA K. Introduction to statistical pattern recognition 2nd edition[M]. Academic Press, 1990.
[8] TORKKOLA K. Linear discriminant analysis in document classification[C]. Proceedings of IEEE ICDM Workshop  Text Mining, 2001.
[9] HOWLAND P, PARK H. Generalizing discriminant analysis sing the generalized singular value decomposition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004,26(8):995-1006.
[10] YE J.Characterization of a family of algorithms for generalized discriminant analysis on undersampled problems[J]. Journal of Machine Learning Research,2005(6):483-502.
[11] FRIEDMAN J H. Regularized discriminant analysis[J].Journal of the American Statistical Association,1989,84(405):165-175.
[12] CHUNG F R K. Spectral graph theory[M]. AMS, 1997.
[13] HASTIE T, TIBSHIRANI R, FRIEDMAN J. The elements of statistical learning: data mining, inference, and prediction[M]. New York: Springer-Verlag, 2001.