概率論與數(shù)理統(tǒng)計(jì)ppt課件.ppt

《概率論與數(shù)理統(tǒng)計(jì)ppt課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、概率論與數(shù)理統(tǒng)計(jì)第十七講主講教師：程維虎教授北京工業(yè)大學(xué)應(yīng)用數(shù)理學(xué)院第七章:參數(shù)估計(jì)數(shù)理統(tǒng)計(jì)的任務(wù)：●總體分布類型的判斷；●總體分布中未知參數(shù)的推斷(參數(shù)估計(jì)與假設(shè)檢驗(yàn))。參數(shù)估計(jì)問題的一般提法設(shè)總體X的分布函數(shù)為F(x,θ)，其中θ為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本X1,X2,…,Xn.依樣本對(duì)參數(shù)θ做出估計(jì)，或估計(jì)參數(shù)θ的某個(gè)已知函數(shù)g(θ)。這類問題稱為參數(shù)估計(jì)。參數(shù)估計(jì)包括：點(diǎn)估計(jì)和區(qū)間估計(jì)。稱該計(jì)算值為μ的一個(gè)點(diǎn)估計(jì)。為估計(jì)參數(shù)μ，需要構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量T(X1,X2,…,Xn)，一旦當(dāng)有了樣本，就將樣本值代入到該統(tǒng)

2、計(jì)量中，算出一個(gè)值作為μ的估計(jì)，尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法3.最小二乘法4.貝葉斯方法…我們僅介紹前面的兩種參數(shù)估計(jì)法。其思想是:用同階、同類的樣本矩來估計(jì)總體矩。矩估計(jì)是基于“替換”思想建立起來的一種參數(shù)估計(jì)方法。最早由英國統(tǒng)計(jì)學(xué)家K.皮爾遜提出?！?.1矩估計(jì)矩估計(jì)就是用相應(yīng)的樣本矩去估計(jì)總體矩。設(shè)總體X的分布函數(shù)中含k個(gè)未知參數(shù)步驟一：記總體X的m階原點(diǎn)矩E(Xm)為am,m=1,2,…,k.am(?1,?2,…,?k),m=1,2,…,k.一般地,am(m=1,2,…,K)是總體分布中參數(shù)或參數(shù)向量(?1,?2,…

3、,?k)的函數(shù)。故,am(m=1,2,…,k)應(yīng)記成:步驟二：算出樣本的m階原點(diǎn)矩步驟三：令得到關(guān)于?1,?2,…,?k的方程組(L≥k)。一般要求方程組(1)中有k個(gè)獨(dú)立方程。步驟四：解方程組(1),并記其解為這種參數(shù)估計(jì)法稱為參數(shù)的矩估計(jì)法，簡(jiǎn)稱矩法。解：先求總體的期望例1：設(shè)總體X的概率密度為由矩法，令樣本矩總體矩解得為α的矩估計(jì)。注意：要在參數(shù)上邊加上“^”，表示參數(shù)的估計(jì)。它是統(tǒng)計(jì)量。解:先求總體的均值和2階原點(diǎn)矩。例2：設(shè)X1,X2,…Xn是取自總體X的簡(jiǎn)單樣本,X有概率密度函數(shù)令y=(x-μ)/θ令y=(x-μ)/θ用樣本矩

4、估計(jì)總體矩得列出方程組:例3：設(shè)總體X的均值為?，方差為?2，求?和?2的矩估計(jì)。解：由故，均值?,方差?2的矩估計(jì)為求解，得如：正態(tài)總體N(?,?2)中?和?2的矩估計(jì)為又如：若總體X～U(a,b)，求a,b的矩估計(jì)。解：列出方程組因解上述方程組，得到a,b的矩估計(jì):矩估計(jì)的優(yōu)點(diǎn)是：簡(jiǎn)單易行,不需要事先知道總體是什么分布。缺點(diǎn)是：當(dāng)總體的分布類型已知時(shí)，未充分利用分布所提供的信息；此外，一般情形下，矩估計(jì)不具有唯一性?！?.2極大似然估計(jì)極大似然估計(jì)法是在總體的分布類型已知前提下，使用的一種參數(shù)估計(jì)法。該方法首先由德國數(shù)學(xué)家高斯于182

5、1年提出，其后英國統(tǒng)計(jì)學(xué)家費(fèi)歇于1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質(zhì)，并給出了求參數(shù)極大似然估計(jì)一般方法——極大似然估計(jì)原理。I.極大似然估計(jì)原理設(shè)總體X的分布(連續(xù)型時(shí)為概率密度，離散型時(shí)為概率分布)為f(x,θ),X1,X2,…,Xn是抽自總體X的簡(jiǎn)單樣本。于是，樣本的聯(lián)合概率函數(shù)(連續(xù)型時(shí)為聯(lián)合概率密度，離散型時(shí)為聯(lián)合概率分布)為被看作固定，但未知的參數(shù)。視為變量將上式簡(jiǎn)記為L(θ)，即稱L(θ)為θ的似然函數(shù)。視為變量視為固定值假定現(xiàn)在我們觀測(cè)到一組樣本X1,X2,…,Xn，要去估計(jì)未知參數(shù)θ。稱為θ的極大似然估計(jì)(ML

6、E)。一種直觀的想法是：哪個(gè)參數(shù)(多個(gè)參數(shù)時(shí)是哪組參數(shù))使得現(xiàn)在的出現(xiàn)的可能性(概率)最大，哪個(gè)參數(shù)(或哪組參數(shù))就作為參數(shù)的估計(jì)。這就是極大似然估計(jì)原理。如果θ可能變化空間,稱為參數(shù)空間。(4).在最大值點(diǎn)的表達(dá)式中，代入樣本值，就得參數(shù)θ的極大似然估計(jì)。II.求極大似然估計(jì)(MLE)的一般步驟.由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)(連續(xù)型時(shí)為聯(lián)合概率密度,離散型時(shí)為聯(lián)合概率分布)；(2).把樣本的聯(lián)合概率函數(shù)中的自變量看成已知常數(shù),參數(shù)θ看成自變量,得到似然函數(shù)L(θ)；(3).求似然函數(shù)L(θ)的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL(θ)的最大

7、值點(diǎn))，即θ的MLE;兩點(diǎn)說明：●求似然函數(shù)L(θ)的最大值點(diǎn)，可應(yīng)用微積分中的技巧。由于ln(x)是x的增函數(shù)，所以lnL(θ)與L(θ)在θ的同一點(diǎn)處達(dá)到各自的最大值。假定θ是一實(shí)數(shù),lnL(θ)是θ的一個(gè)可微函數(shù)。通過求解似然方程可以得到θ的MLE?！裼蒙鲜龇椒ㄇ髤?shù)的極大似然估計(jì)有時(shí)行不通，這時(shí)要用極大似然原理來求。若θ是向量，上述似然方程需用似然方程組代替。III.下面舉例說明如何求參數(shù)的MLE例1:設(shè)X1,X2,…,Xn是取自總體X~B(1,p)的一個(gè)樣本，求參數(shù)p的極大似然估計(jì)。解：似然函數(shù)為對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)，并令其

8、等于零，得上式等價(jià)于解上述方程，得換成換成例2：求正態(tài)總體N(?,?2)參數(shù)?和?2的極大似然估計(jì)(注:我們把?2看作一個(gè)參數(shù))。解：似然函數(shù)為對(duì)數(shù)似然函數(shù)為似然方程組為由第一個(gè)方程，得到代入