統(tǒng)計(jì)學(xué)習(xí)理論筆記.doc

《統(tǒng)計(jì)學(xué)習(xí)理論筆記.doc》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、統(tǒng)計(jì)學(xué)習(xí)理論統(tǒng)計(jì)學(xué)習(xí)理論是一種機(jī)器學(xué)習(xí)的方法，也就是為機(jī)器學(xué)習(xí)服務(wù)的，首先我們有個(gè)一學(xué)習(xí)機(jī)器LM。學(xué)習(xí)機(jī)器學(xué)習(xí)的對(duì)象是什么，我們稱這個(gè)對(duì)象叫做訓(xùn)練器S，學(xué)習(xí)機(jī)器又是如何學(xué)習(xí)的，是通過觀測訓(xùn)練集，產(chǎn)生器G根據(jù)分布函數(shù)F(x)隨機(jī)獨(dú)立產(chǎn)生輸入數(shù)據(jù)x，通過訓(xùn)練器S中算子訓(xùn)練之后，產(chǎn)生樣本z1x1,y1、z2x2,y2…….我們稱依據(jù)聯(lián)合分布函數(shù)F(x,y)=F(x)F(y

2、x)隨機(jī)產(chǎn)出的數(shù)據(jù)集Z叫做訓(xùn)練集，而學(xué)習(xí)機(jī)器則是學(xué)習(xí)訓(xùn)練器S的這個(gè)訓(xùn)練過程或是學(xué)習(xí)出這個(gè)目標(biāo)算子。學(xué)習(xí)機(jī)器有兩個(gè)追求的目標(biāo)：1.模仿訓(xùn)練器的算子：對(duì)訓(xùn)練器輸出提供最佳的預(yù)測結(jié)果；2.辨識(shí)訓(xùn)練器的

3、算子：試圖構(gòu)造一個(gè)非常接近于訓(xùn)練算子的算子。模仿更加簡單易于解決，而我們的目標(biāo)是構(gòu)造一個(gè)算子，從形式上看，他的意義是學(xué)習(xí)機(jī)器可以通過構(gòu)造一個(gè)機(jī)器來實(shí)現(xiàn)某一固定函數(shù)集，在學(xué)習(xí)過程中，它從函數(shù)集中選取一個(gè)適當(dāng)?shù)暮瘮?shù)。那么如何選取到適合的函數(shù)，我們必須找到一個(gè)規(guī)則目標(biāo)，也就是一個(gè)品質(zhì)標(biāo)準(zhǔn)，我們用它來評(píng)價(jià)學(xué)習(xí)的優(yōu)劣。問題便轉(zhuǎn)到了在函數(shù)集中找到一個(gè)以最佳可能方式滿足給定的品質(zhì)準(zhǔn)則的函數(shù)。我們定義一個(gè)損失函數(shù)：Lz,gz,α=Qz,α來度量學(xué)習(xí)機(jī)器的輸出與訓(xùn)練器的輸出之間的偏差，我們希望對(duì)于所有的產(chǎn)生器產(chǎn)生的樣本，學(xué)習(xí)機(jī)器的響應(yīng)和訓(xùn)練器的響應(yīng)都是一致的，為此我們定義一個(gè)

4、泛函：Rα=Qz,αdFz,a∈Λ并將泛函定義為數(shù)學(xué)期望，這一泛函稱為風(fēng)險(xiǎn)泛函或風(fēng)險(xiǎn)，其最小值對(duì)應(yīng)于最好的品質(zhì)標(biāo)準(zhǔn)。所以問題轉(zhuǎn)到如何最小化泛函R(α)的問題，由于分布F(z)未知，我們無法直接進(jìn)行最小化，在模式識(shí)別問題上，我們知道損失函數(shù)是0，1函數(shù)，即是兩點(diǎn)分部，損失等于概率p，由此我們想到大數(shù)定理，在樣本數(shù)大的情況下，頻率是逼近于概率的，依此我們想到用經(jīng)驗(yàn)數(shù)據(jù)的損失均值來代替泛函的期望，我們定義經(jīng)驗(yàn)風(fēng)險(xiǎn)：Rempα=1lllQzi,α,α∈Λ假設(shè)風(fēng)險(xiǎn)泛函的最小值在Q(z,α0)上取得，經(jīng)驗(yàn)風(fēng)險(xiǎn)泛函的最小值在Q(z,αl)上取得，我們將Q(z,αl)作為Q

5、(z,α0)的一個(gè)近似。解風(fēng)險(xiǎn)最小化問題的這一原則稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（歸納）原則。為此我們需要研究經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的一致性條件，我們給出一個(gè)經(jīng)典定義，對(duì)于函數(shù)集Qz,α,α∈Λ和概率分布函數(shù)F(x)，如果下面兩個(gè)序列依概率收斂于同一極限：RαlPinfα∈ΛRαRempαlPinfα∈ΛRα則我們稱經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則是一致的。然而經(jīng)典定義中會(huì)出現(xiàn)一致性的平凡情況，也就是這個(gè)一致性特性是由函數(shù)集中個(gè)別元素的性質(zhì)所得到的，我們?yōu)榱私⒔?jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法的、不依賴函數(shù)集元素的性質(zhì)而僅僅依賴函數(shù)集的一般性質(zhì)的一致性理論，我們調(diào)整之后定義了嚴(yán)格一致性定義。如果任何非

6、空子集Λc,c∈(-∞,+∞)Λc=α:Qz,αdFz≥c使得收斂性infα∈Λ(c)RempαPinfα∈Λ(c)Rα則，稱經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法是嚴(yán)格（非平凡）一致的。對(duì)于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法的嚴(yán)格一致性，它的充分必要條件是在給定的函數(shù)集上單邊一致收斂性成立：liml→∞Psupα∈ΛQz,αdFx-1li=1lQzi,α>ε=0推廣到雙邊一致收斂：liml→∞Psupα∈ΛQz,αdFx-1li=1lQzi,α>ε=0雙邊一致收斂單邊一致必然收斂，即雙邊一致收斂更為嚴(yán)格。為了估計(jì)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的推廣能力，我們必須知道函數(shù)Q(z,αl)提供多大的風(fēng)險(xiǎn)值，對(duì)

7、于一個(gè)給定的函數(shù)集，這一風(fēng)險(xiǎn)值接近最小可能風(fēng)險(xiǎn)值的程度如何。即研究這樣兩個(gè)界：Rαlε=0從關(guān)于學(xué)習(xí)機(jī)器推廣能力的界：Rαl

8、實(shí)際風(fēng)險(xiǎn)R(α)，我們必須對(duì)右邊的兩項(xiàng)同時(shí)最小化。針對(duì)此我們給出了一個(gè)一般的原則，稱作結(jié)構(gòu)風(fēng)險(xiǎn)最小化（SRM）歸納原則，給出了一個(gè)嵌套集的概念，設(shè)函數(shù)Qz,α,α∈Λ的集合S是由一系列嵌套的函數(shù)子集Sk={Qz,α,a∈Λk}組成的，滿足S?S1?S2?S3…,SRM原則在使保證風(fēng)險(xiǎn)最小的子集Sk中選擇使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)Qz,α1k，定義了在對(duì)給定數(shù)據(jù)逼近的精度和逼近函數(shù)的復(fù)雜性之間的一種折衷。