基于svm算法的分類器設(shè)計論文

《基于svm算法的分類器設(shè)計論文》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、基于SVM算法的分類器設(shè)計搖光（————————————）摘要：本篇論文介紹了SVM分類器的設(shè)計原理，基本思想，對于線性可分和線性不可分有具體的實驗步驟和設(shè)計的原理基礎(chǔ)，以及該分類器在現(xiàn)實中應(yīng)用。對SVM算法的線性和非線性分類進(jìn)行實驗研究，其具體算法代碼用Matlab代碼來實現(xiàn)。實驗結(jié)果表明，SVM將平面內(nèi)具有線性可分的點，在平面內(nèi)找到一個可以劃分的分界線，對平面內(nèi)的點進(jìn)行劃分，這些點分別位于分隔線的兩側(cè)。若平面內(nèi)的點是線性不可分，則SVM會將平面內(nèi)的點映射到到更高維度，在高維空間中找到劃分所需要的分界線，然后再應(yīng)用線性可分的情況的

2、方法進(jìn)行分類。關(guān)鍵詞：向量機(jī)；線性可分；線性不可分；最大間隔引言在現(xiàn)實中，我們會遇到一些分類的問題，比如，將平面上的點分為兩類。如果，這個問題，對于在線性可分的情況下，我們可以直接用SVM算法對平面上的點進(jìn)行劃分，然而，并非所有的點都是線性可分的，那么，當(dāng)我們遇到這樣的問題時，我們又該怎么辦呢？這就需要對特征空間進(jìn)行降維，通過某種映射，我們可以將平臺上的點映射到其他的空間，例如，球面或者其他立體區(qū)域。這樣，我們可以很容易的在其他另外一個空間找到我們所需要得到“分界線”來將這些待分類的點進(jìn)行劃分。這基本上就是SVM分類器的設(shè)計原理和基

3、本思想。若待分類的點是線性不可分，SVM通常將將待分類的點映射到某些高維空間，在高維空間找到能將這些點劃分的“超平面”，然后對待分類的點進(jìn)行劃分。1實驗方案1.1實驗?zāi)康囊訫atlab為實驗的開發(fā)平臺，使用Libsvm工具箱設(shè)計出一個SVM分類器，并用公共數(shù)據(jù)庫中現(xiàn)存的數(shù)據(jù)集為訓(xùn)練樣例和測試樣例，采用最優(yōu)的方法的參數(shù)訓(xùn)練出分類器，并且用設(shè)計出的SVM分類器進(jìn)行測試。1.2分類標(biāo)準(zhǔn)的起源：logistic回歸在對待分類點進(jìn)行劃分時，我們會得到一個二維平面，平面內(nèi)有不同的點，如圖1.1.1所示，這些點有紅色的，也有綠色的，還有一條藍(lán)色的

4、線。這條線可以看成是一個“分界線”也就是所謂的“超平面”。如何用這條藍(lán)色的線將紅色的點和綠色的點進(jìn)行劃分出來？平面內(nèi)待分類的點用x表示，所要劃分的類別用y表示，（這里y可以取1或者-1，分別代表兩個不同的類別），本次SVM分類器設(shè)計的實目標(biāo)是在平面內(nèi)找到一個“分界線”也就是所謂的“超平面”，將平面內(nèi)的點x進(jìn)行分類。而這個超平面的方程可以表示為（?wT中的T代表轉(zhuǎn)置）：wTx+b=0(這個1或-1的分類標(biāo)準(zhǔn)源于logistic回歸)。?Logistic回歸得目的是從特征學(xué)習(xí)出一個0/1的分類模型，而這個模型則是將特性的線性組合作為自變

5、量，因自變量的取值范圍是從負(fù)無窮到正無窮。因此，使用logistic函數(shù)（或稱作sigmoid函數(shù)）將自變量映射到(0,1)上，映射后的值被認(rèn)為是屬于y=1的概率。假設(shè)函數(shù)：其中x是n維特征向量，函數(shù)g就是logistic6函數(shù)。而的圖像是圖1.1g(z)函數(shù)圖像可以看到，將無窮映射到了（0,1）。而假設(shè)函數(shù)就是特征屬于y=1的概率。從而，當(dāng)判別一個新來的特征屬于哪個類時，只需要求，若>0.5則屬于y=1的類，反之屬于y=0類。另外，只與有關(guān)，若，>0，則，而g(z)只是用來映射，真實的類別決定權(quán)還是。再，當(dāng)時，=1，反之=0。如果

6、我們只從出發(fā)，希望模型達(dá)到的目標(biāo)就是讓訓(xùn)練數(shù)據(jù)中y=1的特征，而是y=0的特征。Logistic回歸就是要學(xué)習(xí)得到，使的正例的特征遠(yuǎn)遠(yuǎn)大于0，負(fù)例的特征遠(yuǎn)遠(yuǎn)小于0，并且要在全部訓(xùn)練實例上都達(dá)到這個目標(biāo)。之后，嘗試將logistic回歸進(jìn)行變形。首先，將使用過的結(jié)果標(biāo)簽y?=?0和y?=?1替換為y?=?-1,y?=?1，然后，將（）中的替換為b，最后將替換為（即）。這樣，則有了。就是說除了y由y=0變?yōu)閥=-1外，線性分類函數(shù)跟logistic回歸的形式化表示沒有什么區(qū)別。進(jìn)一步，還可以將假設(shè)函數(shù)中的g(z)做一個簡化，將其映射到y(tǒng)

7、=-1和y=1上。得到的映射關(guān)系如下：1.3實驗步驟1.3.1線性可分?對于一個給定的平面，（一個超平面，在二維空間就是一條直線），平面內(nèi)有不同的點，如圖1.1.1所示，這些點有紅色的，也有綠色的，還有一條藍(lán)色的線。這條線可以看成是一個“分界線”也就是所謂的“超平面”。如何用這條藍(lán)色的線將紅色的點和綠色的點進(jìn)行劃分出來？從圖1.2.1可以看出，這條藍(lán)顏色的線把紅顏色的點和藍(lán)顏色的點分開了。而這條藍(lán)顏色的線就是我們所說的超平面。在這條藍(lán)線兩側(cè)的數(shù)據(jù)點x所對應(yīng)的y值一側(cè)全為-1，另一側(cè)全為1。我們可以用分類函數(shù)f(x)=wTx+b顯然，

8、若f(x)=0，那5x是位于超平面上的點，設(shè)對于所有滿足f(x)<0的點，其對應(yīng)的y等于-1，而f(x)>0則對應(yīng)y=1的數(shù)據(jù)點。圖1.3.1線性可分其中w是法向量，它決定了超平面的方向；b是位移項，它決定了超平面到原點之間的距離。距