資源描述：
《基于支持向量機(jī)的分類研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、支持向量機(jī)在模式分類中的應(yīng)用摘要：介紹了支持向量機(jī)的基木思想，依據(jù)是否引入核函數(shù)，是否具有懲罰因了，支持向量分類算法被分為線性分界面硬間隔、線性分界血?軟間隔、非線性分界而硬間隔和非線性分界而軟間隔四類，并討論了它們的數(shù)學(xué)模型。以RBF為核函數(shù)的非線性支持向量機(jī)對2類2維樣木進(jìn)行的仿真分析，并與最近鄰法分類結(jié)果進(jìn)行了比較，結(jié)果表明支持向量機(jī)分類能力受核函數(shù)參數(shù)影響較人，當(dāng)選取適當(dāng)參數(shù)時，其分類性能與最近鄰法相當(dāng)。關(guān)鍵詞：特征提取；最近鄰分類法；支持向量機(jī)；模式分類TheApplicationofSupportVectorMachinesinPatternC
2、lassificationAbstract：Thefoundationsofsupportvectormachinesareintroduced?FourmathematicsmodelsofsupportvectorclassificationsincludinglinearlyhardmarginSVM,linearlysoftmarginSVM,non?linearlyhardmarginSVMandnon-linearlysoftmarginSVMarediscussed.Comparisonbetweennon-lincarlySVMclassi
3、ficationwithRBFkernelandnearestneighbourclassificationfora2-dimensionfeaturedatasetwhichcontainstwotypes.TheresultsshowthattheclassificationperformanceofSVMisaffectedbykernelfunctionparameter.theclassificationperformanceofSVMisequivalentwithnearestneighbourclassificationwhilekerne
4、lfunctionparameterisselectedappropriately.Keywords：featureabstract;nearestneighbourclassification;supportvectormachines;patternclassification1、引言在模式識別領(lǐng)域如何設(shè)計一種具有較好泛化能力的優(yōu)良分類器一直以來是個備受關(guān)注的問題。傳統(tǒng)的模式識別或人工神經(jīng)網(wǎng)絡(luò)方法都都是以人樣本統(tǒng)計理論為基礎(chǔ)的，而許多實(shí)際問題屮常常而對的是小樣木。如何從小樣木集出發(fā)，得到泛化能力較好的模型，是模式識別研究領(lǐng)域內(nèi)的一個難點(diǎn)。Vapnik[
5、l]等人早在20世紀(jì)60年代就開始研究冇限樣本情況下的機(jī)器學(xué)習(xí)問題，但這些研究長期沒有得到充分的重視。近十年來，有限樣本情況下的機(jī)器學(xué)習(xí)理論逐漸成熟起來，形成了一個較完善的統(tǒng)計學(xué)習(xí)理論(SLT)體系。而同時，神經(jīng)網(wǎng)絡(luò)等較新興的機(jī)器學(xué)習(xí)方法的研究則遇到一些重要的困難，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問題、過擬合與欠擬合問題、局部極小點(diǎn)問題等。在這種情況下，試圖從更木質(zhì)上研究機(jī)器學(xué)習(xí)的SLT體系逐步得到重視。1992—1995年，在SLT的皋礎(chǔ)上發(fā)展了支持向雖機(jī)(SVM)算法山，在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢。尤其是在非線性支持向量機(jī)中通過
6、引入核函數(shù)，將原始空間的非線性問題轉(zhuǎn)化為特征空間的線性問題來求解，而且核方法的引入從理論上較好的解決了經(jīng)驗(yàn)風(fēng)險最小化原則下統(tǒng)計學(xué)習(xí)的一致性條件，在這1些條件下關(guān)于統(tǒng)計學(xué)習(xí)方法泛化性的界，在這些界的基礎(chǔ)上建立小樣本歸納推理原則，以及在此原則下如何構(gòu)造學(xué)習(xí)算法等統(tǒng)計學(xué)習(xí)的基礎(chǔ)理論問題。2、支持向量機(jī)分類器的幾種數(shù)學(xué)模型支持向量機(jī)最初思想是對于線性可分問題如何尋求最優(yōu)分類面，對于特征空間中線性可分問題，最優(yōu)分類面就是間隔了最人的分界面，根據(jù)上述核理論的分析可知，它的確是在保證樣木被正確分類前提下，具有最好泛化能力的分界而。對于特征空間中線性不可分問題,可通過一個
7、懲罰因子來綜合考慮間隔和松弛因子的彩響。根據(jù)面對的不同問題和采取的不同優(yōu)化策略可將解決分類問題的支持向量機(jī)分為如下四類。2.1線性分界面硬間隔當(dāng)在原始空間中分界而是線性的，即解決的問題是在原始空間中尋求最優(yōu)分界而問題。該問題的數(shù)學(xué)模型是：min、如-/s.t.）〔.（〈w,x，〉+b）n“i=l,…，/H2=i其中了為間隔，0是訓(xùn)練樣本數(shù)，X,是訓(xùn)練樣本矢量，W是權(quán)矢量，b是閾值，X為樣本1XECO.標(biāo)記，）；?=代表第i類。-1兀G0）2構(gòu)造拉格朗口函數(shù)，得到f厶（w,b,y,a,2）=—y—》％[x（〈w,xz）+/?）-/]+A（
8、
9、w
10、p-l）i
11、=l分別對gb,y求微分，得到es心心）=_工％=+2加=0db=
