基于流形學(xué)習(xí)的高維空間分類器研究

《基于流形學(xué)習(xí)的高維空間分類器研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、江南大學(xué)博士學(xué)位論文基于流形學(xué)習(xí)的高維空間分類器研究姓名：谷瑞軍申請學(xué)位級別：博士專業(yè)：輕工信息技術(shù)與工程指導(dǎo)教師：須文波20080301摘要隨著各種數(shù)據(jù)采集設(shè)備的出現(xiàn)，大量高維的原始數(shù)據(jù)在預(yù)處理后才能被用于后續(xù)的各種操作，如聚類、分類、野值檢測等。維數(shù)約簡是數(shù)據(jù)預(yù)處理的步驟之一。其目的是在減少數(shù)據(jù)維數(shù)的同時，盡量減少或去除次要的冗余信息，并且保留或增強(qiáng)有意義的信息。因為現(xiàn)實世界中的數(shù)據(jù)多是非線性的，利用線性降維技術(shù)(如主成分分析，PcA)在映射到低維空間時，并不能保持高維空間的幾何結(jié)構(gòu)和關(guān)系。流形學(xué)習(xí)是一類新近出現(xiàn)的非線性維數(shù)約簡算法，認(rèn)為很多數(shù)據(jù)集是偽

2、高維的，有時包含上千特征的數(shù)據(jù)點可以描述為幾個潛在參數(shù)的函數(shù)。換句話說，數(shù)據(jù)點實際上采樣于嵌入到高維空間里的低維流形。流形學(xué)習(xí)算法試圖確定這些參數(shù)，并發(fā)現(xiàn)數(shù)據(jù)的低維表示。對流形學(xué)習(xí)問題的研究有著非常重要的實際意義，在模式分析、數(shù)據(jù)挖掘、圖像處理等領(lǐng)域都有著廣泛的應(yīng)用。流形學(xué)習(xí)在分類和聚類方面的研究尚在初始階段，有很多問題尚待解決。本論文研究幾種代表性的流形學(xué)習(xí)算法，尤其是等距特征映射算法。分析了各種流形學(xué)習(xí)算法的優(yōu)缺點，并對流形學(xué)習(xí)若干關(guān)鍵問題進(jìn)入了深入分析和改進(jìn)，側(cè)重于流形學(xué)習(xí)中的距離度量、固有維數(shù)、核化等幾個關(guān)鍵問題。本文的主要內(nèi)容包括：(1)譜圖理論

3、是流形學(xué)習(xí)的基礎(chǔ)，本文根據(jù)譜圖理論，充分考慮數(shù)據(jù)的局部結(jié)構(gòu)，提出了一種基于近鄰自適應(yīng)尺度的改進(jìn)譜聚類算法。其基本思想是根據(jù)數(shù)據(jù)點的近鄰分布，對每個點設(shè)置一個近鄰自適應(yīng)尺度，代替標(biāo)準(zhǔn)譜聚類算法中的全局統(tǒng)一尺度。近鄰自適應(yīng)尺度簡化了參數(shù)的選取，使得新算法對密度的變化不敏感，對離群點有一定的魯棒性，同時比標(biāo)準(zhǔn)譜聚類更適合任意形狀的數(shù)據(jù)分布。然后，將改進(jìn)的譜聚類算法成功地應(yīng)用到顏色量化中。(2)如何自動確定高維數(shù)據(jù)的固有維數(shù)，是流形學(xué)習(xí)難點之一。極大似然估計(MLE)是一種新近出現(xiàn)的維數(shù)估計方法，實現(xiàn)簡單，選擇合適的近鄰能取得不錯的結(jié)果。但當(dāng)近鄰數(shù)過小或過大時，均

4、有比較明顯的偏差。其根本原因是沒有考慮每個點對固有維數(shù)的貢獻(xiàn)是不同的。本文充分考慮了數(shù)據(jù)集的分布信息，提出了一種自適應(yīng)極大似然估計(AMLE)。實驗證明，無論在模擬數(shù)據(jù)集還是真實數(shù)據(jù)集上，AMLE較MLE在估計準(zhǔn)確度上均有很大的提高。對近鄰數(shù)的變化也不甚敏感。(3)等距特征映射(Isomap)是一種有代表性的流形學(xué)習(xí)算法，該算法高效、簡單，但計算復(fù)雜度較高?；诮鐦?biāo)點的L—Isomap減少了計算復(fù)雜度，但對于界標(biāo)點的選取，大都采用隨機(jī)的方法，致使該算法不穩(wěn)定。本文考慮到樣本點和近鄰點相對位置，將對嵌入流形影響較大的樣本點賦予較高的權(quán)重。然后根據(jù)權(quán)重大小選擇

5、界標(biāo)點，同時考慮界標(biāo)點之間的相對位置，使得選出的界標(biāo)點不會出現(xiàn)過度集中的現(xiàn)象，近似直線分布的概率也大大降低，從而保證了算法的穩(wěn)定性。實驗結(jié)果表明，該算法在界標(biāo)點數(shù)量較少的情況下，比L．Isomap穩(wěn)定，且對缺失數(shù)據(jù)的不完整流形，也能獲取和Isomap相差不大的I江南大學(xué)博士學(xué)位論文結(jié)果。(4)高維數(shù)據(jù)中最常見的是圖像數(shù)據(jù)，如何度量圖像數(shù)據(jù)之間的距離是一項有挑戰(zhàn)性的工作。本文提出一種基于圖像距離的等距特征映射：lMD．Isomap。因為圖像距離考慮了圖像的空間分布信息，實驗結(jié)果表明IMD．Isomap比Isomap的可視化效果更好，尤其在添加噪聲的情況下。然

6、后，結(jié)合泛化回歸神經(jīng)網(wǎng)絡(luò)，設(shè)計出一種分類器。結(jié)果表明，該分類器對噪聲表現(xiàn)出一定的魯棒性，均比KNN、Isomap或Eigenface的分類效果好。(5)Isom印是無監(jiān)督的學(xué)習(xí)算法，本身不具備樣本外測試能力，因而不能直接用于分類。核Isomap是Isomap的改進(jìn)，利用核技巧獲得了泛化特性。將類別標(biāo)記信息集成到距離中，得到了加權(quán)距離。該距離使得同類點間的距離更近，不同類點間的距離更遠(yuǎn)，更利于分類任務(wù)。本文提出一種基于加權(quán)距離的核Isomap，稱作w1

7、魯棒。關(guān)鍵詞：流形學(xué)習(xí)；模式分類：核方法；譜聚類；圖像距離：固有維數(shù)；界標(biāo)點IIAbstractAbStractRawdatasetstakenwlthVariouscapturingdeVicesareusuallymultidimensionalandneedtobepreprocessedbefbreapplyingsubsequentoperations，such2Lsclustering，claSs訊cation，outlierdetectionetc．Oneofthestepsofdatapreprocessingisdimensionalit

8、)，reduction．IthasbeendeVelopedwit