概率論與數(shù)理統(tǒng)計ppt課件.ppt

《概率論與數(shù)理統(tǒng)計ppt課件.ppt》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、概率論與數(shù)理統(tǒng)計第十七講主講教師：程維虎教授北京工業(yè)大學應用數(shù)理學院第七章:參數(shù)估計數(shù)理統(tǒng)計的任務：●總體分布類型的判斷；●總體分布中未知參數(shù)的推斷(參數(shù)估計與假設檢驗)。參數(shù)估計問題的一般提法設總體X的分布函數(shù)為F(x,θ)，其中θ為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本X1,X2,…,Xn.依樣本對參數(shù)θ做出估計，或估計參數(shù)θ的某個已知函數(shù)g(θ)。這類問題稱為參數(shù)估計。參數(shù)估計包括：點估計和區(qū)間估計。稱該計算值為μ的一個點估計。為估計參數(shù)μ，需要構造適當?shù)慕y(tǒng)計量T(X1,X2,…,Xn)，一旦當有了樣本，就將樣本值代入到該統(tǒng)

2、計量中，算出一個值作為μ的估計，尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法…我們僅介紹前面的兩種參數(shù)估計法。其思想是:用同階、同類的樣本矩來估計總體矩。矩估計是基于“替換”思想建立起來的一種參數(shù)估計方法。最早由英國統(tǒng)計學家K.皮爾遜提出?！?.1矩估計矩估計就是用相應的樣本矩去估計總體矩。設總體X的分布函數(shù)中含k個未知參數(shù)步驟一：記總體X的m階原點矩E(Xm)為am,m=1,2,…,k.am(?1,?2,…,?k),m=1,2,…,k.一般地,am(m=1,2,…,K)是總體分布中參數(shù)或參數(shù)向量(?1,?2,…

3、,?k)的函數(shù)。故,am(m=1,2,…,k)應記成:步驟二：算出樣本的m階原點矩步驟三：令得到關于?1,?2,…,?k的方程組(L≥k)。一般要求方程組(1)中有k個獨立方程。步驟四：解方程組(1),并記其解為這種參數(shù)估計法稱為參數(shù)的矩估計法，簡稱矩法。解：先求總體的期望例1：設總體X的概率密度為由矩法，令樣本矩總體矩解得為α的矩估計。注意：要在參數(shù)上邊加上“^”，表示參數(shù)的估計。它是統(tǒng)計量。解:先求總體的均值和2階原點矩。例2：設X1,X2,…Xn是取自總體X的簡單樣本,X有概率密度函數(shù)令y=(x-μ)/θ令y=(x-μ)/θ用樣本矩

4、估計總體矩得列出方程組:例3：設總體X的均值為?，方差為?2，求?和?2的矩估計。解：由故，均值?,方差?2的矩估計為求解，得如：正態(tài)總體N(?,?2)中?和?2的矩估計為又如：若總體X～U(a,b)，求a,b的矩估計。解：列出方程組因解上述方程組，得到a,b的矩估計:矩估計的優(yōu)點是：簡單易行,不需要事先知道總體是什么分布。缺點是：當總體的分布類型已知時，未充分利用分布所提供的信息；此外，一般情形下，矩估計不具有唯一性?！?.2極大似然估計極大似然估計法是在總體的分布類型已知前提下，使用的一種參數(shù)估計法。該方法首先由德國數(shù)學家高斯于182

5、1年提出，其后英國統(tǒng)計學家費歇于1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質(zhì)，并給出了求參數(shù)極大似然估計一般方法——極大似然估計原理。I.極大似然估計原理設總體X的分布(連續(xù)型時為概率密度，離散型時為概率分布)為f(x,θ),X1,X2,…,Xn是抽自總體X的簡單樣本。于是，樣本的聯(lián)合概率函數(shù)(連續(xù)型時為聯(lián)合概率密度，離散型時為聯(lián)合概率分布)為被看作固定，但未知的參數(shù)。視為變量將上式簡記為L(θ)，即稱L(θ)為θ的似然函數(shù)。視為變量視為固定值假定現(xiàn)在我們觀測到一組樣本X1,X2,…,Xn，要去估計未知參數(shù)θ。稱為θ的極大似然估計(ML

6、E)。一種直觀的想法是：哪個參數(shù)(多個參數(shù)時是哪組參數(shù))使得現(xiàn)在的出現(xiàn)的可能性(概率)最大，哪個參數(shù)(或哪組參數(shù))就作為參數(shù)的估計。這就是極大似然估計原理。如果θ可能變化空間,稱為參數(shù)空間。(4).在最大值點的表達式中，代入樣本值，就得參數(shù)θ的極大似然估計。II.求極大似然估計(MLE)的一般步驟.由總體分布導出樣本的聯(lián)合概率函數(shù)(連續(xù)型時為聯(lián)合概率密度,離散型時為聯(lián)合概率分布)；(2).把樣本的聯(lián)合概率函數(shù)中的自變量看成已知常數(shù),參數(shù)θ看成自變量,得到似然函數(shù)L(θ)；(3).求似然函數(shù)L(θ)的最大值點(常常轉(zhuǎn)化為求lnL(θ)的最大

7、值點)，即θ的MLE;兩點說明：●求似然函數(shù)L(θ)的最大值點，可應用微積分中的技巧。由于ln(x)是x的增函數(shù)，所以lnL(θ)與L(θ)在θ的同一點處達到各自的最大值。假定θ是一實數(shù),lnL(θ)是θ的一個可微函數(shù)。通過求解似然方程可以得到θ的MLE?！裼蒙鲜龇椒ㄇ髤?shù)的極大似然估計有時行不通，這時要用極大似然原理來求。若θ是向量，上述似然方程需用似然方程組代替。III.下面舉例說明如何求參數(shù)的MLE例1:設X1,X2,…,Xn是取自總體X~B(1,p)的一個樣本，求參數(shù)p的極大似然估計。解：似然函數(shù)為對數(shù)似然函數(shù)為：對p求導，并令其

8、等于零，得上式等價于解上述方程，得換成換成例2：求正態(tài)總體N(?,?2)參數(shù)?和?2的極大似然估計(注:我們把?2看作一個參數(shù))。解：似然函數(shù)為對數(shù)似然函數(shù)為似然方程組為由第一個方程，得到代入