統(tǒng)計(jì)機(jī)器學(xué)習(xí)研究

《統(tǒng)計(jì)機(jī)器學(xué)習(xí)研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、第38卷　第6期2010年11月河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版)JournalofHenanNormalUniversity(NaturalScience)　Vol.38　No.6　Nov.2010　　文章編號(hào):1000-2367(2010)06-0035-06收稿日期:2010-03-10基金項(xiàng)目:國家自然科學(xué)基金項(xiàng)目(60850004,60727002,60774003);國家重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃(973)項(xiàng)目(2005CB321902);國防基礎(chǔ)研究項(xiàng)目(A2120061303);河南師范大學(xué)青年科學(xué)基金(

2、2010qk01,2010qk21)作者簡介:李鈞濤(1978-),男,河南南陽人,河南師范大學(xué)副教授,博士,研究方向:統(tǒng)計(jì)學(xué)習(xí)、智能控制等.統(tǒng)計(jì)機(jī)器學(xué)習(xí)研究李鈞濤1,楊瑞峰2,左紅亮1(1.河南師范大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院,河南新鄉(xiāng)453007;2.新鄉(xiāng)學(xué)院數(shù)學(xué)系,河南新鄉(xiāng)453003)摘　要:通過將正則化框架引入到統(tǒng)計(jì)學(xué)習(xí)中來,介紹了幾種當(dāng)前流行的統(tǒng)計(jì)學(xué)習(xí)機(jī)器,分析了他們的性能,并探討了快速求解算法.關(guān)鍵詞:統(tǒng)計(jì)學(xué)習(xí);機(jī)器學(xué)習(xí);支持向量機(jī)中圖分類號(hào):TP273文獻(xiàn)標(biāo)志碼:A基于數(shù)據(jù)的機(jī)器學(xué)習(xí)(MachineL

3、earning)是現(xiàn)代人工智能的一個(gè)核心研究領(lǐng)域,它研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識(shí)或技能,重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能[1-5].狹義地,可以把機(jī)器學(xué)習(xí)理解為從觀測數(shù)據(jù)(樣本)出發(fā)尋找規(guī)律,利用這些規(guī)律對(duì)未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測[1-2].針對(duì)有限樣本下機(jī)器學(xué)習(xí)問題,Vapnik等人提出了統(tǒng)計(jì)學(xué)習(xí)理論(StatisticalLearningTheory)[3-4].隨著來自不同領(lǐng)域的學(xué)者對(duì)統(tǒng)計(jì)學(xué)習(xí)理論更加深入的研究和廣泛的應(yīng)用,它已發(fā)展成為一門涵蓋模式識(shí)別、函數(shù)逼

4、近論、生物醫(yī)學(xué)、數(shù)據(jù)挖掘、線性及非線性優(yōu)化等眾多學(xué)科交叉的邊緣學(xué)科.1　統(tǒng)計(jì)機(jī)器學(xué)習(xí)的發(fā)展Vapnik等人從20世紀(jì)六、七十年代開始致力于統(tǒng)計(jì)學(xué)習(xí)的研究,到90年代中期,隨著其理論的不斷發(fā)展和成熟,也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實(shí)質(zhì)性進(jìn)展,統(tǒng)計(jì)學(xué)習(xí)理論開始受到越來越廣泛的重視[5,6].隨后,著名統(tǒng)計(jì)學(xué)家Tibshirani,Hastie,Friedman,Wahba,計(jì)算機(jī)學(xué)家Christianini,Shawe-Tay-lor,人工智能學(xué)者Poggio,Mukherjee等人也紛紛開展相應(yīng)的研究,獲得

5、了大量的創(chuàng)新性成果.統(tǒng)計(jì)學(xué)習(xí)理論為解決有限樣本學(xué)習(xí)問題提供了一個(gè)統(tǒng)一的框架,可以說是目前針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測學(xué)習(xí)的最佳理論.在這種新理論體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求,而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果.統(tǒng)計(jì)學(xué)習(xí)理論的一個(gè)核心概念就是VC維,它是描述學(xué)習(xí)機(jī)器的學(xué)習(xí)能力的一個(gè)重要指標(biāo),在此概念基礎(chǔ)上發(fā)展出了一系列關(guān)于統(tǒng)計(jì)學(xué)習(xí)的一致性、收斂速度、泛化性能等重要結(jié)論.支持向量機(jī)(SupportVectorMachine)是統(tǒng)計(jì)學(xué)習(xí)理論中最年輕的內(nèi)容,也是最實(shí)用的部分.其核心內(nèi)容在1992到

6、1995年間被提出[7],目前仍處在不斷發(fā)展的階段[8-11].支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的,它根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷,以期獲得最好的泛化能力.使分類間隔最大化,即對(duì)泛化能力的控制是支持向量機(jī)的核心思想之一.給定訓(xùn)練樣本(x1,y1),(x2,y2),…,(xn,yn),其中xi∈Rp是輸入向量,yi∈{1,-1}是二值輸出響應(yīng),支持向量機(jī)求解下面的最優(yōu)化問題:minw0,w12‖w‖22+C∑ni=1ξi,(1)約束條件為yi(w0+xT

7、iw)1-ξi,ξi0,i=1,2,…,n,其中,C>0是一個(gè)常數(shù),它控制對(duì)錯(cuò)分樣本的懲罰程度.利用Lagrange乘子法,求解支持向量機(jī)等價(jià)于求解如下的二次規(guī)劃問題:maxα∑ni=1αi-12∑ni,j=1yiyjαiαj(xi·xj),(2)約束條件為0αiC,i=1,2,…,n,∑ni=1αiyi=0.非零系數(shù)αi對(duì)應(yīng)的向量xi是最靠近最優(yōu)超平面的向量,被稱為支持向量.通過把原問題轉(zhuǎn)化為對(duì)偶問題,支持向量機(jī)計(jì)算的復(fù)雜度不再取決于空間維數(shù),而是取決于樣本中的支持向量數(shù).這些特點(diǎn)使得支持向量機(jī)可以有效地處理

8、高維問題.對(duì)于非線性問題,支持向量機(jī)首先通過用內(nèi)積函數(shù)(Mercer核函數(shù))定義的非線性變換將輸入空間變換到一個(gè)高維特征空間,然后在這個(gè)空間中尋求(廣義)線性的最優(yōu)分類面.支持向量機(jī)在解決小樣本、非線性及高維模式中有著獨(dú)特的優(yōu)勢:(1)它是專門針對(duì)有限樣本情況的,其目標(biāo)是得到現(xiàn)有信息下的最優(yōu)解而不僅僅是樣本數(shù)趨于無窮大時(shí)的最優(yōu)值;(2)它最終求解的是一個(gè)二次型尋優(yōu)問題,從理論上說,得到