資源描述：
《廣義的監(jiān)督局部保留投影算法》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、廣義的監(jiān)督局部保留投影算法第31卷第8期2009年8月電子與信息JournalofElectronics&InformationTechnology,硒1.31No.8Aug.2009廣義的監(jiān)督局部保留投影算法王曉明王士同(江南大學(xué)信息工程學(xué)院無錫214122)摘要:針對監(jiān)督的局部保留投影算法(SupervisedLocalityPreservingProjection,SLPP)在小樣本情況下矩陣的奇異性問題,該文提出了一種廣義的監(jiān)督局部保留投影算法(GeneralizedSupervisedLocalit
2、yPreservingProjection,GSLPP1.GSLPP在大樣本情況下等價于SLPP,在小樣本情況下卻可以等價轉(zhuǎn)換到一個低維空間中來求解,從而有效解決了小樣本問題.最后,實驗結(jié)果驗證了該方法的有效性.關(guān)鍵詞:特征提取;局部保留投影;監(jiān)督局部保留投影中圖分類號:TP391文獻(xiàn)標(biāo)識碼:A文章編號:1009—5896(2009)08—1840—06GeneralizedSupervisedLocalityPreservingProjectionWangXiao--mingWangShi—-tong(School
3、ofInformation,JiangnanUniversity,Wuxi214122,China)Abstract:SupervisedLocalityPreservingProjection(SLPP)isageneralizationofLocalityPreservingProjection(LPP)inthecaseofsupervisedlearning.InthispaperthedrawbackofSLPPinthehigh-dimensionalandsmallsamplesizecaseispoi
4、ntedoutandanewalgorithmcalledGeneralizedSupervisedLocalityPreservingProjection(GSLPP)isproposed.TherelationshipbetweenSLPPandGSLPPistheoreticallyanalyzed.InthesmallsamplesizecaseGSLPPcanbesolvedequivalentlyinlower—dimensionalityspace.Finally,theeffectivenessoft
5、heproposedalgorithmisverifiedbyexperimentalresults.Keywords:Featureextraction;LocalityPreservingProjection(LPP);SupervisedLocalityPreservingProjection(SLPP)1引言模式識別和機(jī)器學(xué)習(xí)中,經(jīng)常會遇到數(shù)據(jù)特征的高維問題,亦即人們所說的"維數(shù)災(zāi)難"fCurseofDimensionality1.為了有效地進(jìn)行數(shù)據(jù)分析,數(shù)據(jù)特征維數(shù)的降低就顯得異常重要.特征選擇(Featu
6、reselection)SH特征提取(Featureextraction)就是特征降維的兩種主要方法[1]o特征提取又可以根據(jù)使用訓(xùn)練樣本的類標(biāo)與否來分為監(jiān)督和無監(jiān)督的特征提取.最近,一種叫做局部保留投影fLocalityPreservingProjects,Lpp)[z,31新的特征提取降維方法被提出,其主要是針對無監(jiān)督的情況.Shen等人在文獻(xiàn)f41中指出,由于LPP沒有使用類標(biāo)從而使得不同類別而又靠得較近的數(shù)據(jù)在投影后還是靠得較近.針對這種情況,文獻(xiàn)f41中作者提出了監(jiān)督的局部保留投影算法(Supervised
7、LocalityPreservingProjects,SLPP),在一定程度上解決了這個問題.SLPP形式上類似于2008—07-24收到,2009—03—09改回國家863計劃項目(2007AA1Z158,2006AA10Z313)和國家自然科學(xué)基金(607O4047)資助課題Fisher判別分析(FisherDiscriminantAnalysis,FDA)[5,】,其優(yōu)化問題最終也轉(zhuǎn)換為一個廣義特征值問題.但是同F(xiàn)DA一樣,其主要的問題是在小樣本情況下會遭遇到矩陣的奇異性問題,從而不能直接用廣義特征值問題來求解
8、.然而,在實際應(yīng)用中經(jīng)常會遇到小樣本情況,如在人臉識別問題中.因此,針對小樣本問題,進(jìn)一步研究和探討怎么來改進(jìn)SLPP顯得十分必要.針對上述情況,本文在SLPP的基礎(chǔ)上提出了一種叫做廣義的監(jiān)督局部保留投影算法(GeneralizedSupervisedLocalityPreservingProjects,GSLPP).GSLPP在大樣本情況下等
