《多元線性回歸模型》PPT課件

《《多元線性回歸模型》PPT課件》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第三章多元線性回歸模型模型的建立及其假定條件最小二乘法最小二乘估計(jì)量的特性多元線性回歸模型的預(yù)測(cè)可決系數(shù)顯著性檢驗(yàn)與置信區(qū)間預(yù)測(cè)案例分析模型的建立及其假定條件基本概念多元線性回歸模型的基本假定基本概念多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。一般形式：i=1,2…,n其中:k為解釋變量的數(shù)目，?j稱為回歸參數(shù)。習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。這樣模型中解釋變量的數(shù)目為（k+1）也被稱為總體回歸函數(shù)。被稱為多元總體線性回歸方程,簡稱總體回歸方程。方程表示各變量X值固定時(shí)Y的平均響應(yīng)。?j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下

2、，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;或者說?j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響?？傮w回歸模型矩陣表達(dá)式為Y=Xβ+U其中總體回歸模型矩陣表達(dá)式樣本回歸函數(shù)用來估計(jì)總體回歸函數(shù)其中的ei為殘差。樣本回歸函數(shù)的矩陣表達(dá)為其中：稱樣本回歸函數(shù)基本假定假設(shè)1隨機(jī)誤差項(xiàng)具有零均值假設(shè)2隨機(jī)誤差項(xiàng)具有同方差假設(shè)3隨機(jī)誤差項(xiàng)不序列相關(guān)性基本假定假設(shè)4n?(k+1)矩陣X是非隨機(jī)的，且X的秩?=k+1，即X滿秩。解釋變量與隨機(jī)項(xiàng)不相關(guān)E(X’U)=0假設(shè)6，隨機(jī)項(xiàng)滿足正態(tài)分布假設(shè)5解釋變量之間不存在完全線性關(guān)系3.2最小二乘法參數(shù)的最小二乘估計(jì)隨機(jī)誤差項(xiàng)的方

3、差的估計(jì)量參數(shù)的普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：i=1,2…n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解其中于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：正規(guī)方程即由于X’X滿秩，故有正規(guī)方程組的矩陣形式將OLS過程用矩陣表示如下：即求解方程組：得到：于是：可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為隨機(jī)誤差項(xiàng)u的方差?2的無偏估計(jì)第三節(jié)　參數(shù)估計(jì)量的性質(zhì)在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)?的普通最小二乘估計(jì)具有：線性性、無偏性、有效性。1、線性性其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量2、無偏性這里利用了假設(shè):E(X’Ｕ)=0

4、3、有效性（最小方差性）其中利用了和第四節(jié)可決系數(shù)總離差平方和的分解多元樣本可決系數(shù)修正樣本可決系數(shù)總離差平方和的分解由于=0所以有：=SSE+SSR該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，R2往往增大。這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整?？蓻Q系數(shù)在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的

5、自由度，n-1為總體平方和的自由度。調(diào)整的可決系數(shù)調(diào)整的可決系數(shù)與可決系數(shù)的關(guān)系第五節(jié)　顯著性檢驗(yàn)與置信區(qū)間方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。1、方程顯著性的F檢驗(yàn)即檢驗(yàn)?zāi)Ｐ蚘i=?0+?1X1i+?2X2i+?+?kXki+uii=1,2,?,n中的參數(shù)?j是否顯著不為0。可提出如下原假設(shè)與備擇假設(shè)：H0：?1=?2=?=?k=0H1：?j不全為0F檢驗(yàn)的思想來自于總離差平方和的分解式：TSS=ESS+RSS如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。因此,可通過該比值

6、的大小對(duì)總體線性關(guān)系進(jìn)行推斷。F檢驗(yàn)的思想根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量服從自由度為(k,n-k-1)的F分布給定顯著性水平?，可得到臨界值F?(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過F?F?(k,n-k-1)或F?F?(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論或３解釋變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線性關(guān)系顯著?每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的

7、。由于以cii表示矩陣(X’X)-1主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為：其中為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:1、t統(tǒng)計(jì)量因此，可構(gòu)造如下t統(tǒng)計(jì)量設(shè)計(jì)原假設(shè)與備擇假設(shè)：H1：?i?0給定顯著性水平?，可得到臨界值t?/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

8、t

9、?t?/2(n-k-1)或

10、t

11、?t?/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。H0：?i=