貝葉斯估計(jì)學(xué)習(xí)資料.ppt

《貝葉斯估計(jì)學(xué)習(xí)資料.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、一、先驗(yàn)分布和后驗(yàn)分布二、共軛先驗(yàn)分布三、貝葉斯風(fēng)險(xiǎn)第3.2節(jié)　貝葉斯估計(jì)四、貝葉斯估計(jì)一、先驗(yàn)分布與后驗(yàn)分布上一章提出用風(fēng)險(xiǎn)函數(shù)衡量決策函數(shù)的好壞，但是由于風(fēng)險(xiǎn)函數(shù)為二元函數(shù)，很難進(jìn)行全面比較。貝葉斯通過(guò)引入先驗(yàn)分布，給出了整體比較的指標(biāo).1、先驗(yàn)信息在抽取樣本之前，人們對(duì)所要估計(jì)的未知參數(shù)所了解的信息，通常稱(chēng)為先驗(yàn)信息.例1(p84例3.6)某學(xué)生通過(guò)物理試驗(yàn)來(lái)確定當(dāng)?shù)氐闹亓铀俣龋瑴y(cè)得的數(shù)據(jù)為(m/s2):9.80,9.79,9.78,6.81,6.80試求當(dāng)?shù)氐闹亓铀俣?解用樣本均值估計(jì)其重力加速度應(yīng)該是合理的，即由經(jīng)驗(yàn)可知，此結(jié)果是不符合事實(shí)的。

2、在估計(jì)之前我們知道，重力加速度應(yīng)該在9.80附近，即這個(gè)信息就是重力加速度的先驗(yàn)信息.在統(tǒng)計(jì)學(xué)中，先驗(yàn)信息可以更好的幫助人們解決統(tǒng)計(jì)決策問(wèn)題.貝葉斯將此思想應(yīng)用于統(tǒng)計(jì)決策中，形成了完整的貝葉斯統(tǒng)計(jì)方法.2、先驗(yàn)分布對(duì)未知參數(shù)?的先驗(yàn)信息用一個(gè)分布形式?(?)來(lái)表示，此分布?(?)稱(chēng)為未知參數(shù)?的先驗(yàn)分布.例如例1中重力加速度的先驗(yàn)分布為3、后驗(yàn)分布在抽取樣本之前，人們對(duì)未知參數(shù)有個(gè)了解，即先驗(yàn)分布。抽取樣本之后，由于樣本中包含未知參數(shù)的信息，而這些關(guān)于未知參數(shù)新的信息可以幫助人們修正抽樣之前的先驗(yàn)信息。而樣本值是在知道?的先驗(yàn)分布的前提下得到的，因而上述分布

3、可以改寫(xiě)為由此可以得到例2(p86例3.7)為了提高某產(chǎn)品的質(zhì)量，公司經(jīng)理考慮增加投資來(lái)改進(jìn)生產(chǎn)設(shè)備，預(yù)計(jì)需投資90萬(wàn)元，但從投資效果來(lái)看，顧問(wèn)們提出兩種不同的意見(jiàn)：經(jīng)理根據(jù)以往的經(jīng)驗(yàn)，兩個(gè)顧問(wèn)建議可信度分別為這兩個(gè)概率是經(jīng)理的主觀判斷（也就是先驗(yàn)概率），為了得到更準(zhǔn)確的信息，經(jīng)理決定進(jìn)行小規(guī)模的試驗(yàn)，實(shí)驗(yàn)結(jié)果如下：A：試制5個(gè)產(chǎn)品，全是正品，由此可以得到條件分布：由全概率公式可以得到：其后驗(yàn)概率為：顯然經(jīng)理對(duì)二位顧問(wèn)的看法已經(jīng)做了修改，為了得到更準(zhǔn)確的信息，經(jīng)理又做了一次試驗(yàn)，結(jié)果為B：試制10個(gè)產(chǎn)品，9個(gè)是正品，由此可見(jiàn)后驗(yàn)分布更能準(zhǔn)確描述事情真相.二、

4、共軛先驗(yàn)分布為了使得后驗(yàn)分布計(jì)算簡(jiǎn)單，為此引入共軛先驗(yàn)分布.定義3.5注共軛分布族總是針對(duì)分布中的某個(gè)參數(shù)而言的.1、共軛分布族2、后驗(yàn)分布核由上一小節(jié)內(nèi)容可知，后驗(yàn)分布為可以看出，m(x)不依賴(lài)于參數(shù)?,因而參數(shù)?的后驗(yàn)分布可以寫(xiě)為如下等價(jià)形式：3、共軛先驗(yàn)分布族的構(gòu)造方法共軛先驗(yàn)分布族共有兩種構(gòu)造方法.第一種方法首先計(jì)算似然函數(shù)q(x

5、?),根據(jù)似然函數(shù)所含?的因式情況，選取與似然函數(shù)具有相同核的分布作為先驗(yàn)分布.例3(p88例3.8)哪一個(gè)分布具有上述核？結(jié)論是倒?分布，這是因?yàn)?分布的密度函數(shù)為此分布密度為倒?分布的密度函數(shù),設(shè)?2的先驗(yàn)分布為倒?分

6、布，即則?2的后驗(yàn)分布為顯然此分布仍為倒?分布，即先驗(yàn)分布與后驗(yàn)分布都為倒?分布，因而倒?分布是?2的共軛先驗(yàn)分布族.例3(p88例4.9)哪一個(gè)分布具有上述核？結(jié)論是?分布，這是因?yàn)?分布的密度函數(shù)為設(shè)?的先驗(yàn)分布為?分布，即則?的后驗(yàn)分布為顯然此分布是?分布的核，因而?分布是?的共軛先驗(yàn)分布族.經(jīng)計(jì)算可知第二種方法設(shè)總體X的分布密度為p(x

7、?),統(tǒng)計(jì)量定理3.1則是共軛先驗(yàn)分布族，其中例4(p89例3.10)解其似然函數(shù)為顯然此共軛分布族為?分布的子族，因而，兩點(diǎn)分布的共軛先驗(yàn)分布族為?分布.常見(jiàn)共軛先驗(yàn)分布倒?分布方差?2正態(tài)分布（均值已知）正態(tài)分布

8、N(?,?2)均值?正態(tài)分布（方差已知）?分布?(??)均值的倒數(shù)?指數(shù)分布?分布?(??)均值?泊松分布?分布?(?,?)成功概率p二項(xiàng)分布共軛先驗(yàn)分布參數(shù)總體分布三、貝葉斯風(fēng)險(xiǎn)由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風(fēng)險(xiǎn)函數(shù)定義為此積分仍為?的函數(shù)，在給定?的先驗(yàn)分布?(?)時(shí)，定義為決策函數(shù)d在給定先驗(yàn)分布?(?)下的貝葉斯風(fēng)險(xiǎn)，簡(jiǎn)稱(chēng)為d的貝葉斯風(fēng)險(xiǎn).1、貝葉斯風(fēng)險(xiǎn)的定義2、貝葉斯風(fēng)險(xiǎn)的計(jì)算當(dāng)X與?都是連續(xù)性隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為當(dāng)X與?都是離散型隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為注由上述計(jì)算可以看出，貝葉斯風(fēng)險(xiǎn)為計(jì)算兩次期望值得到,即此風(fēng)險(xiǎn)大小只與決策函數(shù)d有

9、關(guān)，而不再依賴(lài)參數(shù)?.因此以此來(lái)衡量決策函數(shù)優(yōu)良性更合理四、貝葉斯估計(jì)1、貝葉斯點(diǎn)估計(jì)定義3.6若總體X的分布函數(shù)F(x,?)中參數(shù)?為隨機(jī)變量，?(?)為?的先驗(yàn)分布，若決策函數(shù)類(lèi)D中存在一個(gè)決策函數(shù)使得對(duì)決策函數(shù)類(lèi)中的任一決策函數(shù)均有注1、貝葉斯估計(jì)是使貝葉斯風(fēng)險(xiǎn)達(dá)到最小的決策函數(shù).2、不同的先驗(yàn)分布，對(duì)應(yīng)不同的貝葉斯估計(jì)2、貝葉斯點(diǎn)估計(jì)的計(jì)算平方損失下的貝葉斯估計(jì)定理3.2設(shè)?的先驗(yàn)分布為?(?)和損失函數(shù)為則?的貝葉斯估計(jì)為證首先對(duì)貝葉斯風(fēng)險(xiǎn)做變換又因?yàn)橛忠驗(yàn)閯t因而定理3.3設(shè)?的先驗(yàn)分布為?(?)和損失函數(shù)為加權(quán)平方損失則?的貝葉斯估計(jì)為證明略，此

10、證明定理3.2的證明類(lèi)似.定理3.4設(shè)參數(shù)?為隨機(jī)向