《貝葉斯估計(jì)》PPT課件

《《貝葉斯估計(jì)》PPT課件》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、貝葉斯統(tǒng)計(jì)(BayesianStatistics)（Bayes，Thomas）(1702─1761)貝葉斯是英國數(shù)學(xué)家.1702年生于倫敦；1761年4月17日卒于坦布里奇韋爾斯.貝葉斯是一位自學(xué)成才的數(shù)學(xué)家.曾助理宗教事務(wù)，后來長期擔(dān)任坦布里奇韋爾斯地方教堂的牧師.1742年，貝葉斯被選為英國皇家學(xué)會會員.如今在概率、數(shù)理統(tǒng)計(jì)學(xué)中以貝葉斯姓氏命名的有貝葉斯公式、貝葉斯風(fēng)險(xiǎn)、貝葉斯決策函數(shù)、貝葉斯決策規(guī)則、貝葉斯估計(jì)量、貝葉斯方法、貝葉斯統(tǒng)計(jì)等等.貝葉斯方法(Bayesianapproach)貝葉斯方法

2、是基于貝葉斯定理而發(fā)展起來用于系統(tǒng)地闡述和解決統(tǒng)計(jì)問題的方法(SamuelKotz和吳喜之,2000)。貝葉斯推斷的基本方法是將關(guān)于未知參數(shù)的先驗(yàn)信息與樣本信息綜合，再根據(jù)貝葉斯定理，得出后驗(yàn)信息，然后根據(jù)后驗(yàn)信息去推斷未知參數(shù)(茆詩松和王靜龍等,1998年)。“貝葉斯提出了一種歸納推理的理論(貝葉斯定理)，以后被一些統(tǒng)計(jì)學(xué)者發(fā)展為一種系統(tǒng)的統(tǒng)計(jì)推斷方法，稱為貝葉斯方法.”──摘自《中國大百科全書》（數(shù)學(xué)卷）統(tǒng)計(jì)學(xué)有兩個(gè)主要學(xué)派:頻率學(xué)派與貝葉斯學(xué)派.它們之間有異同,貝葉斯統(tǒng)計(jì)是在與經(jīng)典統(tǒng)計(jì)的爭論中發(fā)展

3、起來,主要的爭論有:1.未知參數(shù)可否作為隨機(jī)變量?2.事件的概率是否一定的頻率解釋?3.概率是否可用經(jīng)驗(yàn)來確定?……….§1.1先介紹三種信息的概念經(jīng)典統(tǒng)計(jì)學(xué)派規(guī)定統(tǒng)計(jì)推斷使用兩種信息:總體信息樣本信息而貝葉斯學(xué)派認(rèn)為是三種信息:總體信息樣本信息先驗(yàn)信息第一章先驗(yàn)分布與后驗(yàn)分布總體信息即總體分布或總體所屬分布族給我們的信息。譬如，“總體是正態(tài)分布”就給我們帶來很多信息：他的密度函數(shù)是一條鐘形曲線；他的一切一階距都存在；有關(guān)正態(tài)變量（服從正態(tài)分布隨機(jī)變量）的一些事件的概率可以計(jì)算；由正態(tài)分布可以導(dǎo)出分布，

4、分布和分布等重要分布，還有許多成熟的點(diǎn)估計(jì)、區(qū)間估計(jì)和假設(shè)檢驗(yàn)方法可供我們選用?？傮w信息是很重要的信息，為了獲得此信息，往往耗資巨大。樣本信息從總體中抽取的樣本給我們提供的信息。這是最“新鮮”的信息，并且愈多愈好。人們希望對樣本的加工和處理對總體的某些特征作出較為精確的統(tǒng)計(jì)推斷。沒有樣本就沒有統(tǒng)計(jì)學(xué)可言。這是大家都理解的事實(shí)。樣本信息基于上述兩種信息進(jìn)行的統(tǒng)計(jì)推斷稱為經(jīng)典統(tǒng)計(jì)學(xué)，它的基本觀點(diǎn)是把數(shù)據(jù)（樣本）看成是具有一定概率分布的總體，所研究的對象是這個(gè)總體而不局限于數(shù)據(jù)本身。這方面最早的工作是高斯(G

5、auss,C.F.1777~1855）和勒讓德（Legendre,A.M.1752~1833）的誤差分析，正態(tài)分布和最小二乘法。從十九世紀(jì)末到二十世紀(jì)上半葉，經(jīng)皮爾遜（Pearson,K.1857~1936）、費(fèi)歇（Fisher,R.A.1890~1962）奈曼（Neyman.J.）等人的杰出工作創(chuàng)立了經(jīng)典統(tǒng)計(jì)學(xué)。隨著經(jīng)典統(tǒng)計(jì)學(xué)的持續(xù)發(fā)展與廣泛的應(yīng)用，它本身的缺陷也逐漸暴露出來了。先驗(yàn)信息即在抽樣之前有關(guān)統(tǒng)計(jì)問題的一些信息，一般說來，先驗(yàn)信息主要來源于經(jīng)驗(yàn)和歷史資料。例1：有一英國婦女，對奶茶能辨別出先

6、倒進(jìn)茶還是先倒進(jìn)奶，做十次試驗(yàn)她都正確說出。某學(xué)生第一次看到他的數(shù)學(xué)老師,即有反應(yīng):老師30歲到40之間,極可能35歲左右(左右可理解為正負(fù)3歲,極可能可理解為90%的可能).P(32≤X≤38)=0.90三種信息基于上述三種信息（總體信息、樣本信息和先驗(yàn)信息）進(jìn)行的統(tǒng)計(jì)推斷被稱為貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的主要差別在于是否利用先驗(yàn)信息。貝葉斯統(tǒng)計(jì)學(xué)派把任意一個(gè)未知參數(shù)都看成隨機(jī)變量，應(yīng)用一個(gè)概率分布去描述它的未知狀況，該分布稱為先驗(yàn)分布。信息處理設(shè)自然狀態(tài)?有k種，?1，?2，…，?k，P（?i）表

7、示自然狀態(tài)?i發(fā)生的先驗(yàn)概率分布，P（x︱?i）表示在狀態(tài)?i條件，事件為x的概率。P（?i︱x）為?i發(fā)生的后驗(yàn)概率。全概率公式：P（x）為x在各種狀態(tài)下可能出現(xiàn)的概率綜合值。從概率論的Bayes公式談起注:把事件?i，x看為隨機(jī)變量,上公式則為Bayes后驗(yàn)分布§1.2貝葉斯公式的密度函數(shù)形式§1.2貝葉斯公式的密度函數(shù)形式§1.2貝葉斯公式的密度函數(shù)形式§1.2貝葉斯公式的密度函數(shù)形式§1.2貝葉斯公式的密度函數(shù)形式后驗(yàn)分布是三種信息的綜合,先驗(yàn)分布反應(yīng)人們在抽樣前對參數(shù)的認(rèn)識,后驗(yàn)分布反應(yīng)人們在

8、抽樣后對參數(shù)的認(rèn)識Bayes統(tǒng)計(jì)推斷原則:對參數(shù)所作任何推斷(參數(shù)估計(jì),假設(shè)檢驗(yàn)等)都必須建立在后驗(yàn)分布基礎(chǔ)上.§1.2貝葉斯公式的密度函數(shù)形式例:為了提高某產(chǎn)品質(zhì)量,公司經(jīng)理考慮投資100萬改進(jìn)設(shè)備,下屬部門提出兩種實(shí)施意見:意見1:改進(jìn)生產(chǎn)設(shè)備后,高質(zhì)量產(chǎn)品占90%意見2:改進(jìn)生產(chǎn)設(shè)備后,高質(zhì)量產(chǎn)品占70%但經(jīng)理根據(jù)以往兩部門建議情況認(rèn)為.意見1的可信度只有40%,而意見案2的可信度只有60%,§1.2貝葉斯公式的密度函數(shù)形式貝塔分布(