回歸模型的參數(shù)估計(jì).ppt

《回歸模型的參數(shù)估計(jì).ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第二節(jié)回歸模型的參數(shù)估計(jì)一、最小二乘估計(jì)（OLS）⒈選擇最佳擬合曲線的標(biāo)準(zhǔn)從幾何意義上說，樣本回歸曲線應(yīng)盡可能靠近樣本數(shù)據(jù)點(diǎn)。選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為：使總的擬合誤差（即總殘差）達(dá)到最小。用最小二乘法描述就是：所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。⒉OLS的基本思路不同的估計(jì)方法可得到不同的樣本回歸參數(shù)和，所估計(jì)的也不同。理想的估計(jì)方法應(yīng)使和的差即殘差越小越好。因?yàn)榭烧韶?fù)，所以可以取最小，（選擇平方的原因：介紹）即：⒊估計(jì)過程在離差平方和的表達(dá)式中，被解釋變量的觀測值和解釋變量都是已知的，因此可以將看作是未知參數(shù)的函數(shù)。計(jì)算此函數(shù)對的一階

2、偏導(dǎo)數(shù)，可得：得到：此方程組為正規(guī)方程組，解此方程組得：其中，案例2.1&2.2課本p24、p27EViews軟件操作二、最小二乘估計(jì)的性質(zhì)㈠參數(shù)估計(jì)式的評價(jià)標(biāo)準(zhǔn)⒈無偏性前提：重復(fù)抽樣中估計(jì)方法固定、樣本數(shù)不變、經(jīng)重復(fù)抽樣的觀測值，可得一系列參數(shù)估計(jì)值。參數(shù)估計(jì)值的分布稱為的抽樣分布，其密度函數(shù)記為f()如果E()=稱是參數(shù)的無偏估計(jì)式，是另一種方式產(chǎn)生的模型參數(shù)的估計(jì)量，抽樣分布為，若的期望不是等于的真實(shí)值，則稱是有偏的，偏倚為E()-，見下圖概率密度偏倚圖2.6⒉最小方差性（有效性）前提：樣本相同、用不同的方法估計(jì)參數(shù)，可以找到若干個(gè)不同的估計(jì)式。目標(biāo)：努力尋

3、求其抽樣分布具有最小方差的估計(jì)式——最小方差準(zhǔn)則，或稱最佳性準(zhǔn)則。見下圖有效性衡量了參數(shù)估計(jì)值與參數(shù)真值平均離散程度的大小。既是無偏的同時(shí)又具有最小方差的估計(jì)式，稱為最佳無偏估計(jì)式。概率密度圖2.7⒊一致性思想：當(dāng)樣本容量較小時(shí)，有時(shí)很難找到最佳無偏估計(jì)，需要考慮擴(kuò)大樣本容量（估計(jì)方法不變，樣本數(shù)逐步擴(kuò)大，分析性質(zhì)是否改善）一致性：當(dāng)樣本容量n趨于無窮大時(shí)，如果估計(jì)式按概率收斂于總體參數(shù)的真實(shí)值，就稱這個(gè)估計(jì)式是的一致估計(jì)式。limP(?-???)＝1漸進(jìn)無偏估計(jì)式是當(dāng)樣本容量變得足夠大時(shí)，其偏倚趨于零的估計(jì)式。見下圖概率密度㈡高斯－馬爾可夫定理由OLS估計(jì)式可以

4、看出，可以用觀測樣本和唯一表示。因?yàn)榇嬖跇颖境闃硬▌?，OLS估計(jì)的是隨機(jī)變量。OLS估計(jì)式是點(diǎn)估計(jì)式。在古典回歸模型的若干假定成立的情況下，最小二乘估計(jì)是所有線性無偏估計(jì)量中的有效估計(jì)量。稱OLS估計(jì)為“最佳線性無偏估計(jì)量”。⒈線性特征;⒉無偏性;⒊最小方差性⒋一致性證明過程參見p30~32,也可從精品課程網(wǎng)站下載。結(jié)論：OLS估計(jì)式是BLUE。㈢系數(shù)的估計(jì)誤差與置信區(qū)間1、和1?b的概率分布其次，和1?b分別是iY的線性組合，因此、1?b的概率分布取決于Y。在?是正態(tài)分布的假設(shè)下，Y是正態(tài)分布，因此和1?b也服從正態(tài)分布，其分布特征（密度函數(shù)）由其均值和方差唯一

5、決定。首先，由于解釋變量iX是確定性變量，隨機(jī)誤差項(xiàng)i?是隨機(jī)性變量，因此被解釋變量iY是隨機(jī)變量，且其分布（特征）與i?相同。因此：),(~?222S2XXNsbb，),(~?22211sbb?iSXXnXN1?b和2?b的標(biāo)準(zhǔn)差分別為：=222/)?(iSXXSsb?=2221)?(iiSXXnXSsb可以證明：總體方差2s的無偏估計(jì)量為2?22-=?neis2、隨機(jī)誤差項(xiàng)?的方差2s的估計(jì)在估計(jì)的參數(shù)2?b和1?b的方差和標(biāo)準(zhǔn)差的表達(dá)式中，都含有隨機(jī)擾動項(xiàng)方差2s=)var(i?。2s又稱為總體方差。由于2s實(shí)際上是未知的，因此2?b和1?b的方差與標(biāo)準(zhǔn)差實(shí)

6、際上無法計(jì)算。由于隨機(jī)項(xiàng)i?不可觀測，只能從i?的估計(jì)——?dú)埐頸e出發(fā)，對總體方差2s進(jìn)行估計(jì)。在總體方差2s的無偏估計(jì)量2?s求出后，估計(jì)的參數(shù)2?b和1?b的方差和標(biāo)準(zhǔn)差的估計(jì)量分別是：的樣本方差：=22?)?(VarsbS2XX的樣本標(biāo)準(zhǔn)差：=2?)?(Ssb的樣本方差：?=221?)?(inXVarsb的樣本標(biāo)準(zhǔn)差：?=21)?(inXSb1?b1?b2?b2?bS2XXS2XXS2XX⒊系數(shù)的置信區(qū)間見p34四、多元線性回歸模型的參數(shù)估計(jì)方法相同，只是通過矩陣表示，參見p35~37※五、極大似然法ML極大似然法（MaximumLikelihood,ML）

7、，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計(jì)方法的基礎(chǔ)?；驹恚?對于最小二乘法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計(jì)量應(yīng)該使得模型能最好地?cái)M合樣本數(shù)據(jù)。對于極大似然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測值的概率最大。對于一元線性回歸模型：iiiXYmbb++=21i=1,2,…n隨機(jī)抽取n組樣本觀測值iiXY,（i=1,2,…n），假如模型的參數(shù)估計(jì)量已經(jīng)求得到，為$b1和$b2，那么iY服從如下的正態(tài)分布：iY～),??(221?s

8、bbiXN