極大似然估計(jì)與據(jù)估計(jì)

《極大似然估計(jì)與據(jù)估計(jì)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、矩估計(jì)與極大似然估計(jì)1、概論：統(tǒng)計(jì)推斷:從觀測(cè)數(shù)據(jù)推斷未知變量或未知模型的有關(guān)信息的過(guò)程.（1）統(tǒng)計(jì)學(xué)中兩種重要方法：貝葉斯統(tǒng)計(jì)推斷和經(jīng)典統(tǒng)計(jì)推斷（2）統(tǒng)計(jì)推斷的主要內(nèi)容：參數(shù)估計(jì)，假設(shè)檢驗(yàn)和顯著性檢驗(yàn)（3）統(tǒng)計(jì)學(xué)中最重要的方法：最大后驗(yàn)概率準(zhǔn)則，最小均方估計(jì)，最大似然估計(jì)，回歸，似然比檢驗(yàn)，等等2、點(diǎn)估計(jì)設(shè)總體X的分布函數(shù)中的參數(shù)未知，是來(lái)自總體的樣本。我們用一個(gè)統(tǒng)計(jì)量的取值作為θ的估計(jì)值，統(tǒng)計(jì)量稱為θ的點(diǎn)估計(jì)（量），簡(jiǎn)稱估計(jì)。如何構(gòu)造統(tǒng)計(jì)量沒(méi)有明確的規(guī)定，只要滿足一定的合理性即可。問(wèn)題一：如何給出估計(jì)，即估計(jì)方法問(wèn)題。問(wèn)題二：對(duì)不同的估計(jì)進(jìn)

2、行評(píng)價(jià)，即估計(jì)好壞的判斷標(biāo)準(zhǔn)極大似然估計(jì)例：設(shè)有外形完全相同的兩個(gè)箱子，甲箱中有3個(gè)白球，1個(gè)黑球，乙箱中有3個(gè)黑球1個(gè)白球。現(xiàn)隨機(jī)的抽取一箱，并從中取出一球，結(jié)果取得白球。問(wèn)這球是從那一箱子中取出的？解：設(shè)A表示“取出白球”，則：即：如果取出的是甲箱，A發(fā)生的概率為0.75即：如果取出的是乙箱，A發(fā)生的概率為0.25于是我們判斷：此球最像是從甲箱中取出的。這里“最像”就是“極大似然”的意思。若抽取次數(shù)增加為3次(有放回),白球和黑球的比例未知的情況（下例）：p01/42/43/41p(X=2)09/6412/6427/640于是判斷：p=3/

3、4例：設(shè)一個(gè)箱子中裝有白球和黑球，共4個(gè)，但不知道白球所占的比例。現(xiàn)有放回的取三個(gè)球，結(jié)果有兩個(gè)白球。估計(jì)白球所占的比例是多少。解：設(shè)白球所占的比例為p，則p的取值為:0，1/4，2/4，3/4，1根據(jù)二項(xiàng)分布，得：如果箱子中的球的個(gè)數(shù)未知，且比較大，則p的范圍：此時(shí)我們應(yīng)該選擇p，使得盡可能大令當(dāng)p=2/3時(shí)，L(p)取最大值，于是估計(jì)p=2/3更一般的情況：有放回的n次取球：如果箱子中的白球的比例為p，有放回的n次取球，結(jié)果為：其中于是：令根據(jù)極大似然原理，應(yīng)選擇p，使L(p)盡可能大。由于：求導(dǎo)得方程：解得：定義：設(shè)總體的概率函數(shù)為其中θ

4、是未知參數(shù)，是參數(shù)θ的可能取值空間，是來(lái)自該總體的樣本，其聯(lián)合概率函數(shù)看作是關(guān)于θ的函數(shù)：稱為樣本的似然函數(shù)。如果統(tǒng)計(jì)量滿足：則稱是θ的極大似然估計(jì)量。由于lnx單調(diào)上升，故與有相同的極大值點(diǎn)。于是是θ的極大似然估計(jì)量的必要條件是：此方程稱為似然方程，它的解為極大似然估計(jì)量例2：已知總體X服從參數(shù)為λ的泊松分布，概率函數(shù)為求參數(shù)λ的極大似然估計(jì)量。解：參數(shù)λ的似然函數(shù)為：取對(duì)數(shù)：似然方程：解得：連續(xù)型隨機(jī)變量的極大似然估計(jì)若總體X是連續(xù)型隨機(jī)變量，密度函數(shù)為θ為未知參數(shù)又設(shè)為樣本的一個(gè)觀測(cè)值，那么樣本落在點(diǎn)的鄰域里的概率為極大似然原理就是選取使

5、達(dá)到最大的數(shù)值作為參數(shù)θ的估計(jì)值。此時(shí)，似然函數(shù)為：對(duì)數(shù)似然方程仍為：例設(shè)總體X服從參數(shù)為λ的指數(shù)分布，密度函數(shù)為λ>0,x>0,試求參數(shù)λ的極大似然估計(jì)量。解：似然函數(shù)為取對(duì)數(shù)：似然方程為：解得：多參數(shù)情形：例:設(shè)總體X服從正態(tài)分布：試求μ及σ的極大似然估計(jì)解：似然函數(shù)為似然方程：解得取對(duì)數(shù)：均勻分布求θ的極大似然估計(jì)量例設(shè)X~U[0,q]，密度函數(shù)為解似然函數(shù)為由似然方程：無(wú)解由于故因而是θ的極大似然估計(jì)量例設(shè)總體X~U[a,b]，密度函數(shù)為求a,b的最大似然估計(jì)量。解似然函數(shù)為由于故于是a，b的極大似然估計(jì)量分別是：矩估計(jì)1.樣本k階原點(diǎn)

6、矩2.樣本k階中心矩樣本矩總體矩1.總體X的k階原點(diǎn)矩mk=E(Xk)，k=1,2,…k=1時(shí)，m1=EX2.總體X的k階中心矩sk=E(X-EX)k，k=1,2,…k=2時(shí)，s2=E(X-EX)2=DX矩估計(jì)的方法用樣本矩去估計(jì)相應(yīng)的總體矩，進(jìn)而求出參數(shù)的估計(jì)量。稱為參數(shù)的矩估計(jì)量。例如：用樣本1階原點(diǎn)矩估計(jì)總體1階原點(diǎn)矩即例1.設(shè)總體X服從參數(shù)為l的指數(shù)分布，求l的矩估計(jì)量解由于EX=1/l=m，又即例2.設(shè)總體X~U[0,q]，求q的矩估計(jì)量解由即例3.設(shè)總體X~U[a,b]，求a,b的矩估計(jì)量解由即解出