貝葉斯統(tǒng)計(jì)_ch2貝葉斯推斷.ppt

《貝葉斯統(tǒng)計(jì)_ch2貝葉斯推斷.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、12第二章貝葉斯推斷§2.1條件方法§2.2估計(jì)§2.3區(qū)間估計(jì)(可信區(qū)間)§2.4假設(shè)檢驗(yàn)§2.5預(yù)測(cè)§2.6似然原理3§2.1條件方法1.后驗(yàn)分布的特點(diǎn)：未知參數(shù)的后驗(yàn)分布是集三種信息（總體、樣本和后驗(yàn)）于一身，它包含了所有可供利用的信息。故有關(guān)的參數(shù)估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都按一定方式從后驗(yàn)分布提取信息，其提取方法與經(jīng)典統(tǒng)計(jì)推斷相比要簡(jiǎn)單明確得多。2.條件方法的基本思想：基于后驗(yàn)分布的統(tǒng)計(jì)推斷實(shí)際上只考慮已出現(xiàn)的數(shù)據(jù)（樣本觀察值）而認(rèn)為未出現(xiàn)的數(shù)據(jù)與推斷無(wú)關(guān)，這一重要的觀點(diǎn)被稱(chēng)為“條件觀點(diǎn)”，基于這種觀點(diǎn)提出的統(tǒng)計(jì)方法被稱(chēng)為條件方法。43.條件方法與頻率方法的區(qū)別：(

2、以對(duì)估計(jì)的無(wú)偏性認(rèn)識(shí)為例)例如經(jīng)典統(tǒng)計(jì)學(xué)認(rèn)為參數(shù)的無(wú)偏估計(jì)應(yīng)滿足：其中平均是對(duì)樣本空間中所有可能出現(xiàn)的樣本而求的，可實(shí)際中樣本空間中絕大多數(shù)樣本尚為出現(xiàn)過(guò)，而多數(shù)從未出現(xiàn)的樣本也要參與平均是實(shí)際工作者難以理解的。故在貝葉斯推斷中不用無(wú)偏性，而條件方法是容易被實(shí)際工作者理解和接受的。例2.1（教材P36）5§2.2估計(jì)1.貝葉斯估計(jì)定義2.1使后驗(yàn)密度達(dá)到最大的值稱(chēng)為最大后驗(yàn)估計(jì)；后驗(yàn)分布的中位數(shù)稱(chēng)為后驗(yàn)中位數(shù)估計(jì)；后驗(yàn)分布的期望值稱(chēng)為的后驗(yàn)期望值估計(jì)，這三個(gè)估計(jì)都稱(chēng)為貝葉斯估計(jì)，記為。6解題的基本步驟：2．分析后驗(yàn)分布的特征：對(duì)稱(chēng)分布78例2.3為估計(jì)不合格率，今從一批產(chǎn)品

3、中隨機(jī)抽取n件，其中不合格品數(shù)X服從，一般選取為的先驗(yàn)分布，設(shè)已知，求的Bayes估計(jì)。解：由共軛先驗(yàn)分布可知，的后驗(yàn)分布為：則得：特例：選用貝葉斯假設(shè)作為先驗(yàn)分布，即則：9第一、在二項(xiàng)分布時(shí)，的最大后驗(yàn)估計(jì)就是經(jīng)典統(tǒng)計(jì)中的極大似然估計(jì)，即的極大似然估計(jì)就是取特定的先驗(yàn)分布下的貝葉斯估計(jì)。第二、的后驗(yàn)期望值估計(jì)要比最大后驗(yàn)估計(jì)更合適一些。注意:10試驗(yàn)號(hào)樣本量n不合格數(shù)x13000.200210000.08333310.8004101010.917表2.1不合格率的二種貝葉斯估計(jì)的比較11例2.4設(shè)x是來(lái)自如下指數(shù)分布的一個(gè)觀察值。又取柯西分布作為θ的先驗(yàn)分布，即：求θ的最

4、大后驗(yàn)估計(jì)。解：由前面方法可求出θ的后驗(yàn)密度：為了尋找θ的最大后驗(yàn)估計(jì)，對(duì)后驗(yàn)密度求導(dǎo)數(shù)，得：由于π(θ

5、x)的非減性，考慮到θ的取值不能超過(guò)x，故θ的最大后驗(yàn)估計(jì)應(yīng)為=x122.貝葉斯估計(jì)的誤差設(shè)是的一個(gè)貝葉斯估計(jì)，在樣本給定后，是一個(gè)數(shù)，在綜合各種信息后，是按取值，所以評(píng)價(jià)一個(gè)貝葉斯估計(jì)的誤差的最好而又簡(jiǎn)單的方式是用θ對(duì)的后驗(yàn)均方差或平方根來(lái)度量，定義如下：定義2.2設(shè)參數(shù)θ的后驗(yàn)分布為,貝葉斯估計(jì)為，則的后驗(yàn)期望稱(chēng)為的后驗(yàn)均方差，而其平方根稱(chēng)為后驗(yàn)標(biāo)準(zhǔn)誤。13注意：(1)表示用條件分布求期望；(2)當(dāng)時(shí)，則稱(chēng)為后驗(yàn)方差，其平方根稱(chēng)為后驗(yàn)標(biāo)準(zhǔn)差；(3)后驗(yàn)均方差與后驗(yàn)方

6、差的關(guān)系:這表明，當(dāng)時(shí)，可使后驗(yàn)均方差達(dá)到最小，實(shí)際中常取后驗(yàn)均值作為的貝葉斯估計(jì)值；(4)與經(jīng)典統(tǒng)計(jì)的兩點(diǎn)比較：①后驗(yàn)方差應(yīng)用的方便程度不一樣；②計(jì)算的復(fù)雜程度不一樣。（閱讀教材p40最后一段）14例2.5設(shè)一批產(chǎn)品的不合格率為,檢查是一個(gè)一個(gè)進(jìn)行,直到發(fā)現(xiàn)第一個(gè)不合格品為止,若X為發(fā)現(xiàn)第一個(gè)不合格品時(shí)已檢查的產(chǎn)品數(shù),則X服從幾何分布,其分布列為：設(shè)的先驗(yàn)分布為，如今只獲得一個(gè)樣本觀察值x=3，求的最大后驗(yàn)估計(jì)，后驗(yàn)期望估計(jì)，并計(jì)算它的誤差。解：(1)先求聯(lián)合分布。因?yàn)橐阎鹊南闰?yàn)分布和在θ給定下，X=3的條件概率，則聯(lián)合分布為：X=3的無(wú)條件概率為(利用全概率公式)15

7、再求θ的后驗(yàn)分布列為：或最后得的最大后驗(yàn)估計(jì):的后驗(yàn)均方差為(2)(3)因?yàn)?所以:16例2.6在例2.3中，在選用共軛分布下，不合格品率θ的后驗(yàn)分布為貝塔分布，它的后驗(yàn)方差為：其中n為樣本量，x為樣本中不合格品數(shù)，α與β為先驗(yàn)分布中的兩個(gè)超參數(shù)。若取α=β=1，則其后驗(yàn)方差為：這時(shí)θ的后驗(yàn)期望估計(jì)和最大后驗(yàn)估計(jì)分別為：17顯然，的后驗(yàn)均方差就是上述Var(θ/x)，的后驗(yàn)均方差為：對(duì)若干對(duì)(n,x)的值算得的后驗(yàn)方差和后驗(yàn)均方差列入表2.2中。表2.2和的后驗(yàn)均方差nxVarMSE301/50.026670.1600.066670.261001/120.005880.08

8、00.012820.111012/120.010680.101/100.015120.122012/220.003590.061/200.005270.0718§2.3區(qū)間估計(jì)(可信區(qū)間)一、可信區(qū)間19這里的可信水平和可信區(qū)間與經(jīng)典統(tǒng)計(jì)中的置信水平與置信區(qū)間雖是同類(lèi)的概念，但兩者還是有本質(zhì)的差別，主要表現(xiàn)在下面二點(diǎn):1.在條件方法下,對(duì)給定的樣本x和可信水平1-α，通過(guò)后驗(yàn)分布可求得具體的可信區(qū)間，譬如，θ的可信水平為0.9的可信區(qū)間是[1.5，2.6]，這時(shí)我們可以寫(xiě)出2.在經(jīng)典統(tǒng)計(jì)中尋求置信區(qū)間有時(shí)是困難的，