SVM分類器的原理及應(yīng)用.doc

《SVM分類器的原理及應(yīng)用.doc》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、SVM分類器的原理及應(yīng)用姓名：蘇剛學(xué)號：學(xué)院：數(shù)學(xué)與計算機學(xué)院一、SVM分類器的原理SVM法即支持向量機(SupportVectorMachine)法，由Vapnik等人于1995年提出，具有相對優(yōu)良的性能指標(biāo)。該方法是建立在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)上的機器學(xué)習(xí)方法。通過學(xué)習(xí)算法，SVM可以自動尋找出那些對分類有較好區(qū)分能力的支持向量，由此構(gòu)造出的分類器可以最大化類與類的間隔，因而有較好的適應(yīng)能力和較高的分準(zhǔn)率。該方法只需要由各類域的邊界樣本的類別來決定最后的分類結(jié)果。支持向量機算法的目的在于尋找一個超平面H(d),該超平面

2、可以將訓(xùn)練集中的數(shù)據(jù)分開，且與類域邊界的沿垂直于該超平面方向的距離最大，故SVM法亦被稱為最大邊緣(maximummargin)算法。待分樣本集中的大部分樣本不是支持向量，移去或者減少這些樣本對分類結(jié)果沒有影響，SVM法對小樣本情況下的自動分類有著較好的分類結(jié)果.SVM方法是通過一個非線性映射p，把樣本空間映射到一個高維乃至無窮維的特征空間中（Hilbert空間），使得在原來的樣本空間中非線性可分的問題轉(zhuǎn)化為在特征空間中的線性可分的問題。簡單地說，就是升維和線性化。升維，就是把樣本向高維空間做映射，一般情況下這會增加

3、計算的復(fù)雜性，甚至?xí)稹熬S數(shù)災(zāi)難”，因而人們很少問津。但是作為分類、回歸等問題來說，很可能在低維樣本空間無法線性處理的樣本集，在高維特征空間中卻可以通過一個線性超平面實現(xiàn)線性劃分（或回歸）。一般的升維都會帶來計算的復(fù)雜化，SVM方法巧妙地解決了這個難題：應(yīng)用核函數(shù)的展開定理，就不需要知道非線性映射的顯式表達式；由于是在高維特征空間中建立線性學(xué)習(xí)機，所以與線性模型相比，不但幾乎不增加計算的復(fù)雜性，而且在某種程度上避免了“維數(shù)災(zāi)難”。這一切要歸功于核函數(shù)的展開和計算理論。選擇不同的核函數(shù)，可以生成不同的SVM，常用的核

4、函數(shù)有以下4種：⑴線性核函數(shù)K(x,y)=x·y；⑵多項式核函數(shù)K(x,y)=[(x·y)+1]^d；⑶徑向基函數(shù)K(x,y)=exp(-

5、x-y

6、^2/d^2）；⑷二層神經(jīng)網(wǎng)絡(luò)核函數(shù)K(x,y)=tanh(a(x·y)+b）；二、SVM分類器的應(yīng)用2.1人臉檢測、驗證和識別Osuna最早將SVM應(yīng)用于人臉檢測，并取得了較好的效果。其方法是直接訓(xùn)練非線性SVM分類器完成人臉與非人臉的誤率降低到1.67%，明顯優(yōu)于在傳統(tǒng)方法中效果最好的人工神經(jīng)元網(wǎng)絡(luò)方法。在人臉識別中，面部特征的提取和識別可看作是對3D物體的2D投影圖

7、像進行匹配的問題。由于許多不確定性因素的影響，特征的選取與識別就成為一個難點。有關(guān)學(xué)者分別提出基于PCA與SVM相結(jié)合的人臉識別算法，充分利用了PCA在特征提取方面的有效性以及SVM在處理小樣本問題和泛化能力強等方面的優(yōu)勢，通過SVM與最近鄰距離分類器相結(jié)合，使得所提出的算法具有比傳統(tǒng)最近鄰分類器和BP網(wǎng)絡(luò)分類器更高的識別率。還有的科研人員在PCA基礎(chǔ)上進一步做ICA，提取更加有利于分類的面部特征的主要獨立成分；然后采用分階段淘汰的支持向量機分類機制進行識別。對兩組人臉圖像庫的測試結(jié)果表明，基于SVM的方法在識別率和

8、識別時間等方面都取得了較好的效果。2.2說話人語音識別說話人識別屬于連續(xù)輸入信號的分類問題，SVM是一個很好的分類器，但不適合處理連續(xù)輸入樣本。為此，有的科研人員等引入隱式馬爾可夫模型HMM，建立了SVM和HMM的混合模型。HMM適合處理連續(xù)信號，而SVM適合于分類問題；HMM的結(jié)果反映了同類樣本的相似度，而SVM的輸出結(jié)果則體現(xiàn)了異類樣本間的差異。為了方便與HMM組成混合模型，首先將SVM的輸出形式改為概率輸出。實驗中使用YOHO數(shù)據(jù)庫，特征提取采用12階的線性預(yù)測系數(shù)分析及其微分，組成24維的特征向量。實驗表明H

9、MM和SVM的結(jié)合達到了很好的效果。2.3文字/手寫體識別貝爾實驗室對美國郵政手寫數(shù)字庫進行的實驗，人工識別平均錯誤率是2.5%，專門針對該特定問題設(shè)計的5層神經(jīng)網(wǎng)絡(luò)錯誤率為5.1%(其中利用了大量先驗知識)，而用3種SVM方法(采用3種核函數(shù))得到的錯誤率分別為4.0%、4.1%和4.2%，且是直接采用16×16的字符點陣作為輸入，表明了SVM的優(yōu)越性能。手寫體數(shù)字0～9的特征可以分為結(jié)構(gòu)特征、統(tǒng)計特征等。有關(guān)科研人員在UK心理測試自動分析系統(tǒng)中組合SVM和其他方法成功地進行了手寫數(shù)字的識別實驗。另外，在手寫漢字識

10、別方面，高學(xué)等提出了一種基于SVM的手寫漢字的識別方法，表明了SVM對手寫漢字識別的有效性。2.4圖像處理(1)圖像過濾。一般的互聯(lián)網(wǎng)色情圖像過濾軟件主要采用網(wǎng)址庫的形式來封鎖色情網(wǎng)址或采用人工智能方法對接收到的中、英文信息進分類。由于SVM的訓(xùn)練需要大量的存儲空間，并且非線性行分析甄別。有關(guān)科研人員提出一種多層次特定類型圖像過濾法，即以SVM