svm支持向量機課件.ppt

《svm支持向量機課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、前情提要支持向量機的創(chuàng)新之一在于將分類面的求解看作是一個二次規(guī)劃問題支持向量機的創(chuàng)新之二在于揭示了對分類起關(guān)鍵作用的只是一部分訓(xùn)練樣本，即支持向量1.對線性支持向量機的小結(jié)12.線性支持向量機的數(shù)學(xué)模型：其中通過求解如下的優(yōu)化問題得到：前情提要(續(xù)1)2前情提要(續(xù)2)3.線性支持向量機的編程實現(xiàn)：MatlabCsvcoutput(trnx,trny,testx,’linear’,alpha,bias);[nsvalphabias]=svc(trnx,trny,’linear’);svm_model*svm_train(svm_problem*pro

2、b,svm_parameter*param)svm_predict(svm_model*model,svm_node*x)3SVMForNonlinearProblems求解非線性問題的SVM4第四講41.如何解決少量非線性可分樣本？5內(nèi)容提要2.如何解決大量非線性可分樣本？3.核函數(shù)方法（KernelTrick）4.SVM背后的統(tǒng)計學(xué)習(xí)理論5基本思想：通過訓(xùn)練誤差和類間寬度之間的權(quán)衡，得到一個最優(yōu)超平面。1.線性SVM求解含少量非線性可分樣本的思想優(yōu)化目標(biāo)：約束條件：權(quán)衡因子松弛變量61類樣本：位于分類間隔之外7類似的，通過Lagrange函數(shù)，轉(zhuǎn)

3、化為對偶問題1類樣本2類樣本3類樣本2類樣本：支持向量3類樣本：位于分類間隔之內(nèi)7不同的權(quán)衡因子得到的不同的分類面C＝10C＝100082.非線性支持向量機當(dāng)線性支持向量機劃分樣本會產(chǎn)生過多訓(xùn)練誤差時，需要考慮使用非線性分類面對兩類樣本進(jìn)行劃分。92.1尋找非線性問題的三種思路思路1:原空間法在原空間中直接求解非線性問題10例1：XOR問題思路2:特征空間法將非線性問題的求解轉(zhuǎn)換成另一個空間中的線性問題求解11例2：物種分類問題12尋找特征映射Ф所面臨的問題：1.特征映射Ф的確定往往需要相當(dāng)高的技巧和相當(dāng)專業(yè)的領(lǐng)域知識；3.特征映射Ф往往是一個低維向

4、高維映射的過程，這個映射過程經(jīng)常面臨維數(shù)災(zāi)難。2.特征映射Ф的計算可能會相當(dāng)復(fù)雜；13思路3.核函數(shù)方法優(yōu)化問題：判別函數(shù)：樣本之間的內(nèi)積結(jié)論：構(gòu)建支持向量機只需要知道任意兩個樣本之間的內(nèi)積定義，無需知道樣本點自身的特征表示構(gòu)建到特征空間的隱式映射142.2線性SVM通過核函數(shù)擴展為非線性SVM線性SVM:假設(shè)經(jīng)過某種非線性特征映射后原來的非線性可分問題可以通過線性SVM來解決，則在特征空間中的判別函數(shù)可以表示為：15其中通過求解如下的優(yōu)化問題得到：利用核函數(shù)將非線性問題轉(zhuǎn)化為線性問題的手段和方法稱之為核函數(shù)方法。16例：XOR問題中我們構(gòu)造了一個非

5、線性映射實現(xiàn)了特征的升維：樣本點在新的特征空間中的內(nèi)積為：核函數(shù)描述了樣本點在經(jīng)過某種特征變換后，在新的特征空間中的內(nèi)積。17優(yōu)化問題：判別函數(shù)：線性支持向量機非線性支持向量機利用支持向量機求解異或問題的結(jié)果示意圖核函數(shù)183.1核函數(shù)的定義定義核函數(shù)是一個對稱函數(shù)，對所有的滿足：特征空間中的內(nèi)積運算的充分必要條件是，對于任意的，它是某個這里是從X到內(nèi)積特征空間F的映射。Mercer定理對于任意的對稱函數(shù)且有3核函數(shù)方法19推論令X是有限輸入空間，K(x,z)是X上的對稱函數(shù)。那么K(x,z)是核函數(shù)的充要條件是矩陣：是半正定的。常用的核函數(shù)：多項式

6、核函數(shù)高斯核函數(shù)sigmoid核函數(shù)203.2核函數(shù)的構(gòu)造令K1和K2是X*X上的核，f(?)是X上的一個實值函數(shù)。B是一個對稱半正定矩陣。那么下面的函數(shù)是核函數(shù)：從核函數(shù)中構(gòu)造從特征中構(gòu)造從相似性度量中構(gòu)造213.3核函數(shù)的可分性定理2：樣本點D在核函數(shù)k(x,y)導(dǎo)出的特征映射下線性可分的充要條件是，下列方程組不存在非負(fù)解：其中，223.3核函數(shù)的可分性其中，推論1：當(dāng)時，樣本點線性可分。推論2：對任意給定的訓(xùn)練樣本，如果選用RBF核函數(shù)，則當(dāng)寬度參數(shù)充分小時，訓(xùn)練樣本總是線性可分的。233.4如何選擇核函數(shù)問題1：何謂一個好的核函數(shù)？好的核函數(shù)

7、能夠真實反映樣本間的遠(yuǎn)近關(guān)系。問題2：如何判斷核函數(shù)是否真實的反映的樣本間的遠(yuǎn)近關(guān)系？比較難！但是初步判斷核函數(shù)是否真實反映了訓(xùn)練樣本之間的遠(yuǎn)近關(guān)系還是可能的。核函數(shù)的選擇策略：選擇能夠真實反映訓(xùn)練樣本遠(yuǎn)近關(guān)系的核函數(shù)。24問題3：訓(xùn)練樣本間的遠(yuǎn)近關(guān)系如何表達(dá)？物理含義：兩個屬于同類的樣本相似度為1，不同類的樣本相似度為0。問題4：核函數(shù)與訓(xùn)練樣本間的遠(yuǎn)近關(guān)系的一致性評估利用矩陣的相似性度量：25草案：通過求解下面的優(yōu)化問題進(jìn)行核函數(shù)參數(shù)的選擇：問題：如果K(?)如下所示：它是一個糟糕的Gram矩陣。因為它把所有的訓(xùn)練樣本均看作是同一類樣本。而它會使

8、目標(biāo)函數(shù)取到比較大的值！例1：核函數(shù)的選擇最終方案：通過求解下面的優(yōu)化問題進(jìn)行核函數(shù)的選擇：其中，K’=物理