資源描述：
《支持向量機(jī)(svm)原理及應(yīng)用概述》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、東北大學(xué)研究生考試試卷評(píng)分考試科目：信號(hào)處理的統(tǒng)計(jì)分析方法課程編號(hào)：09601513閱卷人:劉曉志考試日期：2012年11月07日姓名：趙亞楠學(xué)號(hào)：1001236注意事項(xiàng)1.考前研究生將上述項(xiàng)目填寫(xiě)清楚.2.字跡要清楚,保持卷面清潔.3.交卷時(shí)請(qǐng)將本試卷和題簽一起上交.4.課程考試后二周內(nèi)授課教師完成評(píng)卷工作,公共課成績(jī)單與試卷交研究生院培養(yǎng)辦公室,專(zhuān)業(yè)課成績(jī)單與試卷交各學(xué)院,各學(xué)院把成績(jī)單交研究生院培養(yǎng)辦公室.東北大學(xué)研究生院培養(yǎng)辦公室支持向量機(jī)（SVM）原理及應(yīng)用目錄一、SVM的產(chǎn)生與發(fā)展3二、支持向量機(jī)相關(guān)理論4（一）統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)4（二）SVM原理41
2、．最優(yōu)分類(lèi)面和廣義最優(yōu)分類(lèi)面52．SVM的非線(xiàn)性映射73．核函數(shù)8三、支持向量機(jī)的應(yīng)用研究現(xiàn)狀9（一）人臉檢測(cè)、驗(yàn)證和識(shí)別10（二）說(shuō)話(huà)人／語(yǔ)音識(shí)別10（三）文字／手寫(xiě)體識(shí)別11（四）圖像處理11（五）其他應(yīng)用研究12四、結(jié)論和討論12支持向量機(jī)（SVM）原理及應(yīng)用一、SVM的產(chǎn)生與發(fā)展自1995年Vapnik在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識(shí)別的新方法之后，SVM一直倍受關(guān)注。同年，Vapnik和Cortes提出軟間隔(softmargin)SVM，通過(guò)引進(jìn)松弛變量度量數(shù)據(jù)的誤分類(lèi)(分類(lèi)出現(xiàn)錯(cuò)誤時(shí)大于0)，同時(shí)在目標(biāo)函數(shù)中增加一個(gè)分量用來(lái)懲罰非零松弛變
3、量(即代價(jià)函數(shù))，SVM的尋優(yōu)過(guò)程即是大的分隔間距和小的誤差補(bǔ)償之間的平衡過(guò)程；1996年，Vapnik等人又提出支持向量回歸(SupportVectorRegression，SVR)的方法用于解決擬合問(wèn)題。SVR同SVM的出發(fā)點(diǎn)都是尋找最優(yōu)超平面，但SVR的目的不是找到兩種數(shù)據(jù)的分割平面，而是找到能準(zhǔn)確預(yù)測(cè)數(shù)據(jù)分布的平面，兩者最終都轉(zhuǎn)換為最優(yōu)化問(wèn)題的求解；1998年，Weston等人根據(jù)SVM原理提出了用于解決多類(lèi)分類(lèi)的SVM方法(Multi-ClassSupportVectorMachines，Multi-SVM)，通過(guò)將多類(lèi)分類(lèi)轉(zhuǎn)化成二類(lèi)分類(lèi)，將SVM應(yīng)用
4、于多分類(lèi)問(wèn)題的判斷：此外，在SVM算法的基本框架下，研究者針對(duì)不同的方面提出了很多相關(guān)的改進(jìn)算法。例如，Suykens提出的最小二乘支持向量機(jī)(LeastSquareSupportVectorMachine，LS—SVM)算法，Joachims等人提出的SVM-1ight，張學(xué)工提出的中心支持向量機(jī)(CentralSupportVectorMachine，CSVM)，Scholkoph和Smola基于二次規(guī)劃提出的v-SVM等。此后，臺(tái)灣大學(xué)林智仁(LinChih-Jen)教授等對(duì)SVM的典型應(yīng)用進(jìn)行總結(jié)，并設(shè)計(jì)開(kāi)發(fā)出較為完善的SVM工具包，也就是LIBSVM(
5、ALibraryforSupportVectorMachines)。上述改進(jìn)模型中，v-SVM是一種軟間隔分類(lèi)器模型，其原理是通過(guò)引進(jìn)參數(shù)v，來(lái)調(diào)整支持向量數(shù)占輸入數(shù)據(jù)比例的下限，以及參數(shù)來(lái)度量超平面偏差，代替通常依靠經(jīng)驗(yàn)選取的軟間隔分類(lèi)懲罰參數(shù)，改善分類(lèi)效果；LS-SVM則是用等式約束代替?zhèn)鹘y(tǒng)SVM中的不等式約束，將求解QP問(wèn)題變成解一組等式方程來(lái)提高算法效率；LIBSVM是一個(gè)通用的SVM軟件包，可以解決分類(lèi)、回歸以及分布估計(jì)等問(wèn)題，它提供常用的幾種核函數(shù)可由用戶(hù)選擇，并且具有不平衡樣本加權(quán)和多類(lèi)分類(lèi)等功能，此外，交叉驗(yàn)證(crossvalidation)方
6、法也是LIBSVM對(duì)核函數(shù)參數(shù)選取問(wèn)題所做的一個(gè)突出貢獻(xiàn)；SVM-1ight的特點(diǎn)則是通過(guò)引進(jìn)縮水(shrinking)逐步簡(jiǎn)化QP問(wèn)題，以及緩存(caching)技術(shù)降低迭代運(yùn)算的計(jì)算代價(jià)來(lái)解決大規(guī)模樣本條件下SVM學(xué)習(xí)的復(fù)雜性問(wèn)題。二、支持向量機(jī)相關(guān)理論（一）統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)與傳統(tǒng)統(tǒng)計(jì)學(xué)理論相比，統(tǒng)計(jì)學(xué)習(xí)理論(Statisticallearningtheory或SLT)是一種專(zhuān)門(mén)研究小樣本條件下機(jī)器學(xué)習(xí)規(guī)律的理論。該理論是針對(duì)小樣本統(tǒng)計(jì)問(wèn)題建立起的一套新型理論體系，在該體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在有限信息條件下得到最優(yōu)結(jié)果。Va
7、pnik等人從上世紀(jì)六、七十年代開(kāi)始致力于該領(lǐng)域研究，直到九十年代中期，有限樣本條件下的機(jī)器學(xué)習(xí)理論才逐漸成熟起來(lái)，形成了比較完善的理論體系——統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論的主要核心內(nèi)容包括：(1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則下統(tǒng)計(jì)學(xué)習(xí)一致性條件；(2)這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論；(3)這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則；(4)發(fā)現(xiàn)新的準(zhǔn)則的實(shí)際方法(算法)。（二）SVM原理SVM方法是20世紀(jì)90年代初Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的機(jī)器學(xué)習(xí)方法，它以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為理論基礎(chǔ)，通過(guò)適當(dāng)?shù)剡x擇函數(shù)子集及該子集中的判別函數(shù)，使學(xué)習(xí)機(jī)器的實(shí)
8、際風(fēng)險(xiǎn)達(dá)到最小，保證了通
