一元線性回歸模型與多元線性回歸模型對(duì)比資料

《一元線性回歸模型與多元線性回歸模型對(duì)比資料》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、一元線性回歸模型多元線性回歸模型總體回歸函數(shù)即總體回歸模型（總體回歸函數(shù)的隨機(jī)表達(dá)形式）即樣本回歸模型（樣本回歸函數(shù)的隨機(jī)表達(dá)形式）即樣本回歸函數(shù)即給定一組容量為n的樣本則，上述式子可以寫(xiě)成：給定一組容量為n的樣本，則上述式子可以寫(xiě)成：總體回歸函數(shù)總體回歸模型樣本回歸模型樣本回歸函數(shù)樣本回歸函數(shù)的離差形式解釋變量的個(gè)數(shù)（包括常數(shù)項(xiàng)）2個(gè)：C，Xk+1個(gè)：C，基本假定假設(shè)1：回歸模型是正確設(shè)定的。模型設(shè)定正確假設(shè)。假設(shè)2：確定性假設(shè)。解釋變量X是確定性變量，不是隨機(jī)變量，在重復(fù)抽樣確定性假設(shè)。解釋變量是非隨機(jī)或固定的，且中取固定值。:各之間不存在嚴(yán)格線性相關(guān)（無(wú)完全多重共線性）

2、。假設(shè)3：①樣本變異性假設(shè)。對(duì)解釋變量X抽取的樣本觀察值并不完全相同。②樣本方差趨于常數(shù)假設(shè)。①樣本變異性假設(shè)。各解釋變量在所抽取的樣本中具有變異性。②樣本方差趨于常數(shù)假設(shè)。隨著樣本容量的無(wú)限增加，各解釋變量的樣本方差區(qū)域一個(gè)非零的有限常數(shù)。假設(shè)4：隨機(jī)誤差項(xiàng)μ零均值、同方差、不序列相關(guān)假設(shè)。隨機(jī)誤差項(xiàng)μ零均值、同方差、不序列相關(guān)假設(shè)。假設(shè)5：隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)。隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)。假設(shè):6：正態(tài)性假設(shè)。隨機(jī)項(xiàng)服從正態(tài)分布。正態(tài)性假設(shè)。隨機(jī)項(xiàng)服從正態(tài)分布。參數(shù)估計(jì)一元線性回歸模型多元線性回歸模型普通最小二乘估計(jì)（OLS）殘差平方和達(dá)到最小，得到正規(guī)方程組，求得

3、參數(shù)的普通最小二乘估計(jì)值：(普通最小二乘估計(jì)的離差形式)隨機(jī)干擾項(xiàng)的方差的估計(jì)量殘差平方和達(dá)到最小，得到正規(guī)方程組，求得參數(shù)的普通最小二乘估計(jì)值(普通最小二乘估計(jì)的離差形式)隨機(jī)干擾項(xiàng)的方差最大似然估計(jì)(ML)矩估計(jì)（MM）參數(shù)估計(jì)值估計(jì)結(jié)果與OLS方法一致，但隨機(jī)干擾項(xiàng)的方差的估計(jì)量與OLS不同參數(shù)估計(jì)值估計(jì)結(jié)果與OLS方法一致，但隨機(jī)干擾項(xiàng)的方差的估計(jì)量參數(shù)估計(jì)量的性質(zhì)線性性、無(wú)偏性、有效性線性性、無(wú)偏性、有效性參數(shù)估計(jì)量的概率分布---樣本容量問(wèn)題----樣本容量n必須不少于模型中解釋變量的個(gè)數(shù)（包括常數(shù)項(xiàng)），即才能得到參數(shù)估計(jì)值，時(shí)t分布才比較穩(wěn)定，能夠進(jìn)行變量的顯著

4、性檢驗(yàn)，一般認(rèn)為活著至少時(shí)才能滿(mǎn)足模型估計(jì)要求。如果樣本量過(guò)小，則只依靠樣本信息是無(wú)法完成估計(jì)的，需要用其他方法去估計(jì)。統(tǒng)計(jì)檢驗(yàn)一元線性回歸模型多元線性回歸模型擬合優(yōu)度檢驗(yàn)總離差平方和的分解TSS=ESS+RSS，越接近于1，擬合優(yōu)度越高?？傠x差平方和的分解TSS=ESS+RSS，（即總平方和中回歸平方和的比例）對(duì)于同一個(gè)模型，越接近于1，擬合優(yōu)度越高。（調(diào)整的思路是殘差平方和RSS和總平方和TSS各自除以它們的自由度）為什么要對(duì)進(jìn)行調(diào)整?解釋變量個(gè)數(shù)越多，它們對(duì)Y所能解釋的部分越大（即回歸平方和部分越大），殘差平方和部分越小，越高，由增加解釋變量引起的的增大與擬合好壞無(wú)關(guān)，

5、因此在多元回歸模型之間比較擬合優(yōu)度，就不是一個(gè)合適的指標(biāo)，必須加以調(diào)整。方程總體顯著性檢驗(yàn)------目的：對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否成立做出判斷。原假設(shè)H0:β1=0，β2=0，…βk=0備擇假設(shè)：H1：βjj=1,2,…k不全為零統(tǒng)計(jì)量的構(gòu)造：F=ESSkRSS(n-k-1)~F(k,n-k-1)判斷步驟：①計(jì)算F統(tǒng)計(jì)量的值②給定顯著性水平α，查F分布的臨界值表獲得Fα(k,n-k-1)②比較F與Fα的值，若F>Fα,拒絕原假設(shè)，認(rèn)為原方程總體線性關(guān)系在1-α的置信水平下顯著。若F≤Fα，接受原假設(shè)，不能認(rèn)為原方程總體線性關(guān)系在1-α的置信水平

6、下顯著。變量的顯著性檢驗(yàn)?zāi)康模簩?duì)模型中被解釋變量對(duì)每一個(gè)解釋變量之間的線性關(guān)系是否成立作出判斷，或者說(shuō)考察所選擇的解釋變量對(duì)被解釋變量是否有顯著的線性影響。針對(duì)某解釋變量Xj，原假設(shè):H0:βj=0,備擇假設(shè)：H1:βj≠0最常用的檢驗(yàn)方法:t檢驗(yàn)構(gòu)造統(tǒng)計(jì)量:t=βj-βjSβj~t(n-k-1)判斷步驟：①計(jì)算t統(tǒng)計(jì)量的值②給定顯著性水平α，查t分布的臨界值表獲得tα2(n-k-1)③比較t值與tα2的值，若t>tα2,拒絕原假設(shè)，認(rèn)為變量Xj在1-α的置信水平下通過(guò)顯著性檢驗(yàn)（或者說(shuō)，在α的顯著性水平下通過(guò)檢驗(yàn)），認(rèn)為解釋變量Xj對(duì)被解釋變量Y有顯著線性影響。若t≤tα2

7、，接受原假設(shè)，在顯著性水平α下沒(méi)有足夠證據(jù)表明Xj對(duì)Y有顯著線性影響。參數(shù)的置信區(qū)間目的：考察一次抽樣中樣本參數(shù)的估價(jià)值βj與總體參數(shù)的真實(shí)值βj的接近程度。思路：構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值βj為中心的區(qū)間，考察它以多大的概率包含總體參數(shù)的真實(shí)值。方法：①預(yù)先選擇一個(gè)概率α（0<α<1），使得區(qū)間βj-δ，βj+δ包含參數(shù)真值βj的概率為1-α即Pβj-δ≤βj≤βj+δ=1-α②計(jì)算其中的δ（δ=tα2×Sβj），從而求出1-α置信度下βj的置信區(qū)間：（βj-tα2×Sβj，βj+tα2×Sβj）掌握