基于稀疏特征空間的核方法建模研究

《基于稀疏特征空間的核方法建模研究》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。

1、過程控制化工自動化及儀表，2009，36(4)：3O一32ControlandInstrumentsinChemicalIndustry基于稀疏特征空間的核方法建模研究劉春波，王鮮芳，潘豐(江南大學通信與控制工程學院，江蘇無錫214122)摘要：為提高支持向量機在建模方面的擬合性能，針對核函數(shù)方法中單個核函數(shù)的局限性，嘗試融合核支持向量機建模方法以提高模型的泛化能力和精度。為避免在進行核融合時，支持向量機稀疏性的缺失，提出將數(shù)據(jù)映射到稀疏特征空間進行研究。通過仿真研究表明，所建模型在保證稀疏性的前提下，能較好地提高建模精度，從而驗證了算法的

2、有效性。關鍵詞：核函數(shù)；支持向量機；稀疏特征空間；建模中圖分類號：TM301．2文獻標識碼：A文章編號：1000-3932(2009)04-0030-031弓l言特征空間支持向量機：f基于結構風險最小化原則，Vapnik給出了一種1min(÷lI+c∑￡)(￡≥0，=12“，f)(1)通用的學習機器——支持向量機(SVM)，其目對二次規(guī)劃的求解一般轉換成對偶規(guī)劃的求解：標是在VC維的意義下構造“稀疏”模型。與其它學I1．．t習機相比，支持向量機具有良好的推廣能力，已經獲【÷aaiyj~k()()一a】()得了廣泛應用。但MERCER條件限制

3、了支持5．t．∑，，n．=0(0≤a。≤C；i=1，2，?，z)向量機核函數(shù)的選擇。如何選擇更有效的核，卻又相應的決策函數(shù)可表示為：不失支持向量機的稀疏性是一個值得研究的問題。rlI，文中針對此問題進行了相關的研究。特征空間，，=sgnl∑∑()(，)+bl(3)可將支持向量機核函數(shù)的選擇放松到不需要正定的此學習機器由于不要求核函數(shù)正定，它可采用要求，從而擴展了支持向量機核函數(shù)的選擇范圍，不更多的核函數(shù)。但不足是由于權重塒不具稀疏性，足之處卻是喪失了稀疏性。為了彌補這一不足，采導致特征空間支持向量機在對核函數(shù)放寬約束條件用稀疏特征空間的方法

4、來解決這一問題。的同時，損失了其稀疏性。為解決這一不足，可通過2稀疏特征空間的支持向量機在特征空間中將z范數(shù)控制的VC維上界適當放寬受前饋神經網絡非線性映射能力和函數(shù)逼近能的方法解決。由于支持向量機最初是應用到分類問力?！暗膯l(fā)，考慮將非線性映射的思想引入學習題，下面從分類的角度進行闡述，分類跟回歸在本質機的構造過程中。令X=，，?，}表示z個獨上一樣，得出的結論可以借鑒到回歸的研究中。立同分布的樣本組成集合。定義一個由實值函數(shù)集Vapnik提出了關于“m一邊界”分離超平面VC合{；()Ii=1，2，?，d}構成的向量()=維的如下定理。

5、[()，()，?，．()]TO向量()將d維輸入引理1令樣本矢量ER分布于最小半徑為空間上的點映射到一個新的d維空間，即—z：R的一個超球體內，則“m．邊界”分離超平面函數(shù)[。()，()，?，()r。函數(shù)集合{()}所集的維數(shù)h有如下的上界：起的作用類似于神經網絡中的隱單元，故將h≤min([R／mA]，n)+1(4)(X)(=1，2，?，d)稱為隱函數(shù)。相應的空問Z=式中：n——樣本的維數(shù)；[·]——取小于等于該{I=[。()，2()，?，d()]，∈X}稱為特數(shù)的最大整數(shù)。征空間或隱空間。使核函數(shù)k(，Y)作為隱函數(shù)，令根據(jù)這一結論，V

6、apnik引入式(5)的結構風險，=，，?，}，基于的相應特征空間可表示構造出優(yōu)秀的學習機器——支持向量機。為Z：{zlz=[k(xl，)，k(x2，)，?，尼(l，)]，∈X}，維數(shù)為Z。收稿日期：2009-07-03(修改稿)在特征空間中構造最優(yōu)分類超平面，可以得到基金項目：“863”國家高科技計劃資助項目(2006AA020301)第4期劉春波等．基于稀疏特征空間的核方法建模研究·31·R。(a)=C’R。(a)+l／m^(5)次規(guī)劃形式為：文獻[13]結合凡維線性空間上的向量范數(shù)nin—一T一，，的等價性，給出了下面的定理。[i一]

7、+dEwi]c·s引理2給定樣本集={(。，，，)，(，Y2)，?s．t．tlJ，塒≥0，=0(i=1，2，?，f)，(，Y)I(，Y)∈(R，R)}，對于“m一邊界”分＼K一KL、離超平面目標函數(shù)集，加，b)=。+b，W∈R}，對于樣本，機器訓練過程采用如下的判決函數(shù)：式中：H=l—K—￡I；d=L三—K￡JVy=：』‘【(≥A,A≥0(l6o)J一1(w'r+b≤一△，A≥0)卜，，+L／(2C)]存在一個正常數(shù)c，0

8、數(shù)集的VC維數(shù)h的上界有下面的由KKT條件知，約束=0(i=1，2，?，f)不等式成立：在最優(yōu)點處自動滿足，從而求解該優(yōu)化問題等價于h≤min([c·R·0Il；]，n)+1(7