回歸模型的參數(shù)估計

《回歸模型的參數(shù)估計》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第二節(jié)回歸模型的參數(shù)估計一、最小二乘估計（OLS）⒈選擇最佳擬合曲線的標(biāo)準(zhǔn)從幾何意義上說，樣本回歸曲線應(yīng)盡可能靠近樣本數(shù)據(jù)點。選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為：使總的擬合誤差（即總殘差）達(dá)到最小。用最小二乘法描述就是：所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。⒉OLS的基本思路不同的估計方法可得到不同的樣本回歸參數(shù)和，所估計的也不同。理想的估計方法應(yīng)使和的差即殘差越小越好。因為可正可負(fù)，所以可以取最小，（選擇平方的原因：介紹）即：⒊估計過程在離差平方和的表達(dá)式中，被解釋變量的觀測值和解釋變量都是已知的，因此可以將看

2、作是未知參數(shù)的函數(shù)。計算此函數(shù)對的一階偏導(dǎo)數(shù)，可得：得到：此方程組為正規(guī)方程組，解此方程組得：其中，案例2.1&2.2課本p24、p27EViews軟件操作二、最小二乘估計的性質(zhì)㈠參數(shù)估計式的評價標(biāo)準(zhǔn)⒈無偏性前提：重復(fù)抽樣中估計方法固定、樣本數(shù)不變、經(jīng)重復(fù)抽樣的觀測值，可得一系列參數(shù)估計值。參數(shù)估計值的分布稱為的抽樣分布，其密度函數(shù)記為f()如果E()=稱是參數(shù)的無偏估計式，是另一種方式產(chǎn)生的模型參數(shù)的估計量，抽樣分布為，若的期望不是等于的真實值，則稱是有偏的，偏倚為E()-，見下圖概率密度偏倚圖2.6⒉最小方差性（有效性）前

3、提：樣本相同、用不同的方法估計參數(shù)，可以找到若干個不同的估計式。目標(biāo)：努力尋求其抽樣分布具有最小方差的估計式——最小方差準(zhǔn)則，或稱最佳性準(zhǔn)則。見下圖有效性衡量了參數(shù)估計值與參數(shù)真值平均離散程度的大小。既是無偏的同時又具有最小方差的估計式，稱為最佳無偏估計式。概率密度圖2.7⒊一致性思想：當(dāng)樣本容量較小時，有時很難找到最佳無偏估計，需要考慮擴大樣本容量（估計方法不變，樣本數(shù)逐步擴大，分析性質(zhì)是否改善）一致性：當(dāng)樣本容量n趨于無窮大時，如果估計式按概率收斂于總體參數(shù)的真實值，就稱這個估計式是的一致估計式。limP(?-???)＝1

4、漸進(jìn)無偏估計式是當(dāng)樣本容量變得足夠大時，其偏倚趨于零的估計式。見下圖概率密度㈡高斯－馬爾可夫定理由OLS估計式可以看出，可以用觀測樣本和唯一表示。因為存在樣本抽樣波動，OLS估計的是隨機變量。OLS估計式是點估計式。在古典回歸模型的若干假定成立的情況下，最小二乘估計是所有線性無偏估計量中的有效估計量。稱OLS估計為“最佳線性無偏估計量”。⒈線性特征;⒉無偏性;⒊最小方差性⒋一致性證明過程參見p30~32,也可從精品課程網(wǎng)站下載。結(jié)論：OLS估計式是BLUE。㈢系數(shù)的估計誤差與置信區(qū)間1、和1?b的概率分布其次，和1?b分別是i

5、Y的線性組合，因此、1?b的概率分布取決于Y。在?是正態(tài)分布的假設(shè)下，Y是正態(tài)分布，因此和1?b也服從正態(tài)分布，其分布特征（密度函數(shù)）由其均值和方差唯一決定。首先，由于解釋變量iX是確定性變量，隨機誤差項i?是隨機性變量，因此被解釋變量iY是隨機變量，且其分布（特征）與i?相同。因此：),(~?222S2XXNsbb，),(~?22211sbb?iSXXnXN1?b和2?b的標(biāo)準(zhǔn)差分別為：=222/)?(iSXXSsb?=2221)?(iiSXXnXSsb可以證明：總體方差2s的無偏估計量為2?22-=?neis2、隨機誤差項

6、?的方差2s的估計在估計的參數(shù)2?b和1?b的方差和標(biāo)準(zhǔn)差的表達(dá)式中，都含有隨機擾動項方差2s=)var(i?。2s又稱為總體方差。由于2s實際上是未知的，因此2?b和1?b的方差與標(biāo)準(zhǔn)差實際上無法計算。由于隨機項i?不可觀測，只能從i?的估計——殘差ie出發(fā)，對總體方差2s進(jìn)行估計。在總體方差2s的無偏估計量2?s求出后，估計的參數(shù)2?b和1?b的方差和標(biāo)準(zhǔn)差的估計量分別是：的樣本方差：=22?)?(VarsbS2XX的樣本標(biāo)準(zhǔn)差：=2?)?(Ssb的樣本方差：?=221?)?(inXVarsb的樣本標(biāo)準(zhǔn)差：?=21)?(i

7、nXSb1?b1?b2?b2?bS2XXS2XXS2XX⒊系數(shù)的置信區(qū)間見p34四、多元線性回歸模型的參數(shù)估計方法相同，只是通過矩陣表示，參見p35~37※五、極大似然法ML極大似然法（MaximumLikelihood,ML），也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)?；驹恚?對于最小二乘法，當(dāng)從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得模型能最好地擬合樣本數(shù)據(jù)。對于極大似然法，當(dāng)從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該

8、使得從模型中抽取該n組樣本觀測值的概率最大。對于一元線性回歸模型：iiiXYmbb++=21i=1,2,…n隨機抽取n組樣本觀測值iiXY,（i=1,2,…n），假如模型的參數(shù)估計量已經(jīng)求得到，為$b1和$b2，那么iY服從如下的正態(tài)分布：iY～),??(221?sbbiXN