多元線性回歸模型.ppt

《多元線性回歸模型.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、第三章多元線性回歸模型多元線性回歸模型及其基本假設(shè)多元線性回歸模型的估計(jì)問(wèn)題經(jīng)典假設(shè)滿足時(shí)的推斷問(wèn)題多元線性回歸模型的延伸受約束回歸一、多元線性回歸模型及其基本假設(shè)Leslie土地價(jià)格例：1968年加州某市想從Leslie公司征一塊地建公園，為了確定一個(gè)公平的市場(chǎng)價(jià)格，希望做一個(gè)回歸分析，以便了解有哪些因素影響這些土地的價(jià)值。變量如下：Price:千美元/畝County:土地所處地區(qū)，0-SanMateo,1-SantaClaraSize:土地的規(guī)模，畝Elevation：海拔高度，英尺Sewer:據(jù)最近排水系統(tǒng)的距離，英尺Date:交易日期，從現(xiàn)

2、在起倒數(shù)，月Flood:潮汐是否造成洪水，1-是，0-否Distance:到Leslie公司的距離，英里（距公司越遠(yuǎn)，到洛杉磯越近）為什么用對(duì)數(shù)？用對(duì)數(shù)后系數(shù)的含義有什么不同1.多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，?j，j=1,2,…k稱(chēng)為偏回歸系數(shù)。也被稱(chēng)為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:表示：各變量X值給定時(shí)Y的平均響應(yīng)。習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）總體回歸模型

3、n個(gè)隨機(jī)方程的矩陣表達(dá)式為:?j被稱(chēng)為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;或者說(shuō)?j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。其中樣本觀測(cè)值:ei稱(chēng)為殘差(residuals)，可看成是對(duì)總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)?i的估計(jì)。樣本回歸函數(shù)的矩陣表達(dá):或其中：用來(lái)估計(jì)總體回歸函數(shù)的樣本回歸函數(shù)為：2.多元回歸模型的假設(shè)假設(shè)1：x1，x2，…xk是非隨機(jī)的。假設(shè)2：E(?i)=0i=1,2,…n假設(shè)3：Var(?i)=?2(E(?i?i)=?2)假設(shè)4：無(wú)序列相關(guān)，E(?

4、i?j)=0假設(shè)5：x諸變量間無(wú)準(zhǔn)確的線性關(guān)系，即：無(wú)多重共線性。數(shù)學(xué)表示為：不存在一組不全為零的數(shù)?1、?2、…?k，使得：?1x1i+?2x2i+…+?kxki=0假設(shè)6：?i?N(0,?2)關(guān)于多重共線性的進(jìn)一步說(shuō)明如果存在一組不全為零的數(shù)?1、?2、…?k，使得：?1x1i+?2x2i+…+?kxki=0不妨設(shè)?1?0，則上式可變?yōu)椋簒1i=-(?2x2i+…+?kxki)/?1稱(chēng)解釋變量之間存在完全共線性，此時(shí)，某個(gè)解釋變量可以寫(xiě)為其它解釋變量的線性組合。如果，會(huì)不會(huì)破壞無(wú)多重共線假定？不會(huì)，因?yàn)檫@兩個(gè)變量的關(guān)系是非線性的??！經(jīng)典假設(shè)的矩

5、陣表示假設(shè)2：假設(shè)3和4：假設(shè)5：矩陣X的秩等于回歸參數(shù)的個(gè)數(shù)（或解釋變量個(gè)數(shù)加1），R(X)=k+1，n>k+1二、多元回歸模型的估計(jì)問(wèn)題偏回歸系數(shù)的OLS估計(jì)偏回歸系數(shù)的含義復(fù)判定系數(shù)1.偏回歸系數(shù)的OLS估計(jì)二元回歸的樣本回歸函數(shù)為：OLS估計(jì)：極值條件正規(guī)方程解此聯(lián)立方程既可求得參數(shù)估計(jì)值求解正規(guī)方程組可得：OLS估計(jì)量的方差和標(biāo)準(zhǔn)誤自變量相關(guān)程度越高，參數(shù)估計(jì)量的方差越大。當(dāng)x2和x3完全共線時(shí)，方差趨于無(wú)窮。對(duì)有k個(gè)解釋變量的多元回歸模型對(duì)于隨機(jī)抽取的n組觀測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：i=1,2…n根據(jù)最小二乘原理，參數(shù)

6、估計(jì)值應(yīng)該是右列方程組的解于是得到關(guān)于待估參數(shù)的正規(guī)方程組：解該（k+1）個(gè)方程組成的線性代數(shù)方程組，即可得到(k+1)個(gè)待估參數(shù)的估計(jì)值$,,,,,bjj=012L。k將上述過(guò)程用矩陣表示如下：根據(jù)極值條件得到：得到：于是最小二乘估計(jì)量為：——正規(guī)方程最小二乘估計(jì)量的方差-協(xié)方差陣為：?隨機(jī)誤差項(xiàng)?的方差?的無(wú)偏估計(jì)可以證明，隨機(jī)誤差項(xiàng)?的方差的無(wú)偏估計(jì)量為：多元回歸最小二乘估計(jì)量的性質(zhì)在滿足基本假設(shè)的情況下，其偏回歸系數(shù)?的普通最小二乘估計(jì)仍具有：線性性、無(wú)偏性、有效性。2.偏回歸系數(shù)的含義二元回歸模型為：yi=?0+?1x1i+?2x2i+?

7、i偏回歸系數(shù)告訴我們什么偏回歸系數(shù)表示了其他因素不變時(shí)，相應(yīng)解釋變量對(duì)因變量的“凈影響”。例1“期望擴(kuò)充”菲利普斯曲線菲利普斯曲線表明：通貨膨脹率和失業(yè)率是反向變化的。期望擴(kuò)充菲利普斯曲線增加了預(yù)期通貨膨脹率的影響。1970-1982年美國(guó)真實(shí)通貨膨脹率y（%）、失業(yè)率x1（%）和預(yù)期通貨膨脹率x2（%）數(shù)據(jù)如表，作菲利普斯曲線。原始菲利普斯曲線：yt=b0+b10x1t+?1t期望擴(kuò)充菲利普斯曲線:yt=?0+?1x1t+?2x2t+?tb10、?1的經(jīng)濟(jì)涵義、先驗(yàn)符號(hào)？估計(jì)值為正，失業(yè)率與通脹率同方向？例1“期望擴(kuò)充”菲利普斯曲線估計(jì)結(jié)果原始菲

8、利普斯曲線期望擴(kuò)充菲利普斯曲線符號(hào)正確，統(tǒng)計(jì)顯著。統(tǒng)計(jì)上不顯著異于0設(shè)定偏誤b10??1?E(b10)=?1+?2b12b