基于svm算法的分類器設(shè)計(jì)論文

《基于svm算法的分類器設(shè)計(jì)論文》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、基于SVM算法的分類器設(shè)計(jì)搖光（————————————）摘要：本篇論文介紹了SVM分類器的設(shè)計(jì)原理，基本思想，對(duì)于線性可分和線性不可分有具體的實(shí)驗(yàn)步驟和設(shè)計(jì)的原理基礎(chǔ)，以及該分類器在現(xiàn)實(shí)中應(yīng)用。對(duì)SVM算法的線性和非線性分類進(jìn)行實(shí)驗(yàn)研究，其具體算法代碼用Matlab代碼來實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，SVM將平面內(nèi)具有線性可分的點(diǎn)，在平面內(nèi)找到一個(gè)可以劃分的分界線，對(duì)平面內(nèi)的點(diǎn)進(jìn)行劃分，這些點(diǎn)分別位于分隔線的兩側(cè)。若平面內(nèi)的點(diǎn)是線性不可分，則SVM會(huì)將平面內(nèi)的點(diǎn)映射到到更高維度，在高維空間中找到劃分所需要的分界線，然后再應(yīng)用線性可分的情況的

2、方法進(jìn)行分類。關(guān)鍵詞：向量機(jī)；線性可分；線性不可分；最大間隔引言在現(xiàn)實(shí)中，我們會(huì)遇到一些分類的問題，比如，將平面上的點(diǎn)分為兩類。如果，這個(gè)問題，對(duì)于在線性可分的情況下，我們可以直接用SVM算法對(duì)平面上的點(diǎn)進(jìn)行劃分，然而，并非所有的點(diǎn)都是線性可分的，那么，當(dāng)我們遇到這樣的問題時(shí)，我們又該怎么辦呢？這就需要對(duì)特征空間進(jìn)行降維，通過某種映射，我們可以將平臺(tái)上的點(diǎn)映射到其他的空間，例如，球面或者其他立體區(qū)域。這樣，我們可以很容易的在其他另外一個(gè)空間找到我們所需要得到“分界線”來將這些待分類的點(diǎn)進(jìn)行劃分。這基本上就是SVM分類器的設(shè)計(jì)原理和基

3、本思想。若待分類的點(diǎn)是線性不可分，SVM通常將將待分類的點(diǎn)映射到某些高維空間，在高維空間找到能將這些點(diǎn)劃分的“超平面”，然后對(duì)待分類的點(diǎn)進(jìn)行劃分。1實(shí)驗(yàn)方案1.1實(shí)驗(yàn)?zāi)康囊訫atlab為實(shí)驗(yàn)的開發(fā)平臺(tái)，使用Libsvm工具箱設(shè)計(jì)出一個(gè)SVM分類器，并用公共數(shù)據(jù)庫(kù)中現(xiàn)存的數(shù)據(jù)集為訓(xùn)練樣例和測(cè)試樣例，采用最優(yōu)的方法的參數(shù)訓(xùn)練出分類器，并且用設(shè)計(jì)出的SVM分類器進(jìn)行測(cè)試。1.2分類標(biāo)準(zhǔn)的起源：logistic回歸在對(duì)待分類點(diǎn)進(jìn)行劃分時(shí)，我們會(huì)得到一個(gè)二維平面，平面內(nèi)有不同的點(diǎn)，如圖1.1.1所示，這些點(diǎn)有紅色的，也有綠色的，還有一條藍(lán)色的

4、線。這條線可以看成是一個(gè)“分界線”也就是所謂的“超平面”。如何用這條藍(lán)色的線將紅色的點(diǎn)和綠色的點(diǎn)進(jìn)行劃分出來？平面內(nèi)待分類的點(diǎn)用x表示，所要?jiǎng)澐值念悇e用y表示，（這里y可以取1或者-1，分別代表兩個(gè)不同的類別），本次SVM分類器設(shè)計(jì)的實(shí)目標(biāo)是在平面內(nèi)找到一個(gè)“分界線”也就是所謂的“超平面”，將平面內(nèi)的點(diǎn)x進(jìn)行分類。而這個(gè)超平面的方程可以表示為（?wT中的T代表轉(zhuǎn)置）：wTx+b=0(這個(gè)1或-1的分類標(biāo)準(zhǔn)源于logistic回歸)。?Logistic回歸得目的是從特征學(xué)習(xí)出一個(gè)0/1的分類模型，而這個(gè)模型則是將特性的線性組合作為自變

5、量，因自變量的取值范圍是從負(fù)無窮到正無窮。因此，使用logistic函數(shù)（或稱作sigmoid函數(shù)）將自變量映射到(0,1)上，映射后的值被認(rèn)為是屬于y=1的概率。假設(shè)函數(shù)：其中x是n維特征向量，函數(shù)g就是logistic6函數(shù)。而的圖像是圖1.1g(z)函數(shù)圖像可以看到，將無窮映射到了（0,1）。而假設(shè)函數(shù)就是特征屬于y=1的概率。從而，當(dāng)判別一個(gè)新來的特征屬于哪個(gè)類時(shí)，只需要求，若>0.5則屬于y=1的類，反之屬于y=0類。另外，只與有關(guān)，若，>0，則，而g(z)只是用來映射，真實(shí)的類別決定權(quán)還是。再，當(dāng)時(shí)，=1，反之=0。如果

6、我們只從出發(fā)，希望模型達(dá)到的目標(biāo)就是讓訓(xùn)練數(shù)據(jù)中y=1的特征，而是y=0的特征。Logistic回歸就是要學(xué)習(xí)得到，使的正例的特征遠(yuǎn)遠(yuǎn)大于0，負(fù)例的特征遠(yuǎn)遠(yuǎn)小于0，并且要在全部訓(xùn)練實(shí)例上都達(dá)到這個(gè)目標(biāo)。之后，嘗試將logistic回歸進(jìn)行變形。首先，將使用過的結(jié)果標(biāo)簽y?=?0和y?=?1替換為y?=?-1,y?=?1，然后，將（）中的替換為b，最后將替換為（即）。這樣，則有了。就是說除了y由y=0變?yōu)閥=-1外，線性分類函數(shù)跟logistic回歸的形式化表示沒有什么區(qū)別。進(jìn)一步，還可以將假設(shè)函數(shù)中的g(z)做一個(gè)簡(jiǎn)化，將其映射到y(tǒng)

7、=-1和y=1上。得到的映射關(guān)系如下：1.3實(shí)驗(yàn)步驟1.3.1線性可分?對(duì)于一個(gè)給定的平面，（一個(gè)超平面，在二維空間就是一條直線），平面內(nèi)有不同的點(diǎn)，如圖1.1.1所示，這些點(diǎn)有紅色的，也有綠色的，還有一條藍(lán)色的線。這條線可以看成是一個(gè)“分界線”也就是所謂的“超平面”。如何用這條藍(lán)色的線將紅色的點(diǎn)和綠色的點(diǎn)進(jìn)行劃分出來？從圖1.2.1可以看出，這條藍(lán)顏色的線把紅顏色的點(diǎn)和藍(lán)顏色的點(diǎn)分開了。而這條藍(lán)顏色的線就是我們所說的超平面。在這條藍(lán)線兩側(cè)的數(shù)據(jù)點(diǎn)x所對(duì)應(yīng)的y值一側(cè)全為-1，另一側(cè)全為1。我們可以用分類函數(shù)f(x)=wTx+b顯然，

8、若f(x)=0，那5x是位于超平面上的點(diǎn)，設(shè)對(duì)于所有滿足f(x)<0的點(diǎn)，其對(duì)應(yīng)的y等于-1，而f(x)>0則對(duì)應(yīng)y=1的數(shù)據(jù)點(diǎn)。圖1.3.1線性可分其中w是法向量，它決定了超平面的方向；b是位移項(xiàng)，它決定了超平面到原點(diǎn)之間的距離。距