支持向量機(jī)(svm)原理及應(yīng)用概述

《支持向量機(jī)(svm)原理及應(yīng)用概述》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、東北大學(xué)研究生考試試卷評(píng)分考試科目：信號(hào)處理的統(tǒng)計(jì)分析方法課程編號(hào)：09601513閱卷人:劉曉志考試日期：2012年11月07日姓名：趙亞楠學(xué)號(hào)：1001236注意事項(xiàng)1.考前研究生將上述項(xiàng)目填寫清楚.2.字跡要清楚,保持卷面清潔.3.交卷時(shí)請(qǐng)將本試卷和題簽一起上交.4.課程考試后二周內(nèi)授課教師完成評(píng)卷工作,公共課成績(jī)單與試卷交研究生院培養(yǎng)辦公室,專業(yè)課成績(jī)單與試卷交各學(xué)院,各學(xué)院把成績(jī)單交研究生院培養(yǎng)辦公室.東北大學(xué)研究生院培養(yǎng)辦公室支持向量機(jī)（SVM）原理及應(yīng)用目錄一、SVM的產(chǎn)生與發(fā)展3二、支持向量機(jī)相關(guān)理論4（一）統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)4（二

2、）SVM原理41．最優(yōu)分類面和廣義最優(yōu)分類面52．SVM的非線性映射73．核函數(shù)8三、支持向量機(jī)的應(yīng)用研究現(xiàn)狀9（一）人臉檢測(cè)、驗(yàn)證和識(shí)別10（二）說話人／語音識(shí)別10（三）文字／手寫體識(shí)別11（四）圖像處理11（五）其他應(yīng)用研究12四、結(jié)論和討論12支持向量機(jī)（SVM）原理及應(yīng)用一、SVM的產(chǎn)生與發(fā)展自1995年Vapnik在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識(shí)別的新方法之后，SVM一直倍受關(guān)注。同年，Vapnik和Cortes提出軟間隔(softmargin)SVM，通過引進(jìn)松弛變量度量數(shù)據(jù)的誤分類(分類出現(xiàn)錯(cuò)誤時(shí)大于0)，同時(shí)在目標(biāo)函數(shù)

3、中增加一個(gè)分量用來懲罰非零松弛變量(即代價(jià)函數(shù))，SVM的尋優(yōu)過程即是大的分隔間距和小的誤差補(bǔ)償之間的平衡過程；1996年，Vapnik等人又提出支持向量回歸(SupportVectorRegression，SVR)的方法用于解決擬合問題。SVR同SVM的出發(fā)點(diǎn)都是尋找最優(yōu)超平面，但SVR的目的不是找到兩種數(shù)據(jù)的分割平面，而是找到能準(zhǔn)確預(yù)測(cè)數(shù)據(jù)分布的平面，兩者最終都轉(zhuǎn)換為最優(yōu)化問題的求解；1998年，Weston等人根據(jù)SVM原理提出了用于解決多類分類的SVM方法(Multi-ClassSupportVectorMachines，Multi-SV

4、M)，通過將多類分類轉(zhuǎn)化成二類分類，將SVM應(yīng)用于多分類問題的判斷：此外，在SVM算法的基本框架下，研究者針對(duì)不同的方面提出了很多相關(guān)的改進(jìn)算法。例如，Suykens提出的最小二乘支持向量機(jī)(LeastSquareSupportVectorMachine，LS—SVM)算法，Joachims等人提出的SVM-1ight，張學(xué)工提出的中心支持向量機(jī)(CentralSupportVectorMachine，CSVM)，Scholkoph和Smola基于二次規(guī)劃提出的v-SVM等。此后，臺(tái)灣大學(xué)林智仁(LinChih-Jen)教授等對(duì)SVM的典型應(yīng)用進(jìn)

5、行總結(jié)，并設(shè)計(jì)開發(fā)出較為完善的SVM工具包，也就是LIBSVM(ALibraryforSupportVectorMachines)。上述改進(jìn)模型中，v-SVM是一種軟間隔分類器模型，其原理是通過引進(jìn)參數(shù)v，來調(diào)整支持向量數(shù)占輸入數(shù)據(jù)比例的下限，以及參數(shù)來度量超平面偏差，代替通常依靠經(jīng)驗(yàn)選取的軟間隔分類懲罰參數(shù)，改善分類效果；LS-SVM則是用等式約束代替?zhèn)鹘y(tǒng)SVM中的不等式約束，將求解QP問題變成解一組等式方程來提高算法效率；LIBSVM是一個(gè)通用的SVM軟件包，可以解決分類、回歸以及分布估計(jì)等問題，它提供常用的幾種核函數(shù)可由用戶選擇，并且具有不

6、平衡樣本加權(quán)和多類分類等功能，此外，交叉驗(yàn)證(crossvalidation)方法也是LIBSVM對(duì)核函數(shù)參數(shù)選取問題所做的一個(gè)突出貢獻(xiàn)；SVM-1ight的特點(diǎn)則是通過引進(jìn)縮水(shrinking)逐步簡(jiǎn)化QP問題，以及緩存(caching)技術(shù)降低迭代運(yùn)算的計(jì)算代價(jià)來解決大規(guī)模樣本條件下SVM學(xué)習(xí)的復(fù)雜性問題。二、支持向量機(jī)相關(guān)理論（一）統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)與傳統(tǒng)統(tǒng)計(jì)學(xué)理論相比，統(tǒng)計(jì)學(xué)習(xí)理論(Statisticallearningtheory或SLT)是一種專門研究小樣本條件下機(jī)器學(xué)習(xí)規(guī)律的理論。該理論是針對(duì)小樣本統(tǒng)計(jì)問題建立起的一套新型理論體系

7、，在該體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在有限信息條件下得到最優(yōu)結(jié)果。Vapnik等人從上世紀(jì)六、七十年代開始致力于該領(lǐng)域研究，直到九十年代中期，有限樣本條件下的機(jī)器學(xué)習(xí)理論才逐漸成熟起來，形成了比較完善的理論體系——統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論的主要核心內(nèi)容包括：(1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則下統(tǒng)計(jì)學(xué)習(xí)一致性條件；(2)這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論；(3)這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則；(4)發(fā)現(xiàn)新的準(zhǔn)則的實(shí)際方法(算法)。（二）SVM原理SVM方法是20世紀(jì)90年代初Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一

8、種新的機(jī)器學(xué)習(xí)方法，它以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為理論基礎(chǔ)，通過適當(dāng)?shù)剡x擇函數(shù)子集及該子集中的判別函數(shù)，使學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)達(dá)到最小，保證了通