多元線性回歸模型

《多元線性回歸模型》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、第三章多元線性回歸模型主要內(nèi)容多元線性回歸模型的一般形式參數(shù)估計(jì)（OLS估計(jì)）假設(shè)檢驗(yàn)預(yù)測(cè)一.多元線性回歸模型問題的提出解析形式矩陣形式問題的提出現(xiàn)實(shí)生活中引起被解釋變量變化的因素并非僅只一個(gè)解釋變量，可能有很多個(gè)解釋變量。例如，產(chǎn)出往往受各種投入要素——資本、勞動(dòng)、技術(shù)等的影響；銷售額往往受價(jià)格和公司對(duì)廣告費(fèi)的投入的影響等。所以在一元線性模型的基礎(chǔ)上，提出多元線性模型——解釋變量個(gè)數(shù)≥2多元線性回歸模型的假設(shè)解釋變量Xi是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)，即無多重共線性。隨機(jī)誤差項(xiàng)具有0均值和同方差隨機(jī)誤差項(xiàng)不存在序列相關(guān)關(guān)系隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)隨機(jī)誤差項(xiàng)服

2、從0均值、同方差的正態(tài)分布多元模型的解析表達(dá)式多元模型的矩陣表達(dá)式矩陣形式二.參數(shù)估計(jì)(OLS)參數(shù)值估計(jì)參數(shù)估計(jì)量的性質(zhì)偏回歸系數(shù)的含義正規(guī)方程樣本容量問題1.參數(shù)值估計(jì)(OLS)得到下列方程組求參數(shù)估計(jì)值的實(shí)質(zhì)是求一個(gè)k+1元方程組正規(guī)方程變成矩陣形式正規(guī)方程矩陣形式最小二乘法的矩陣表示2.1最小二乘估計(jì)量的性質(zhì)（1）線性（估計(jì)量都是被解釋變量觀測(cè)值的線性組合）（2）無偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值）（3）有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）OLS估計(jì)量的性質(zhì)（續(xù)）線性無偏性有效性2.2OLS回歸線的性質(zhì)完全同一元情形：2.3隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)注解：k與k+1

3、凡是按解釋變量的個(gè)數(shù)為k的，那么共有k+1個(gè)參數(shù)要估計(jì)。而按參數(shù)個(gè)數(shù)為k的，則實(shí)際有k-1個(gè)解釋變量?？傊畠烧呦嗖?而已！要小心所用的k是什么意思！所以如果本來是用解釋變量個(gè)數(shù)的k表示的要轉(zhuǎn)換成參數(shù)個(gè)數(shù)的k則用k-1代換原來的k就可以了！3.偏回歸系數(shù)的意義多元回歸模型中的回歸系數(shù)稱為偏回歸系數(shù)某解釋變量前回歸系數(shù)的含義是，在其他解釋變量保持不變的條件下，該變量變化一個(gè)單位，被解釋變量將平均發(fā)生偏回歸系數(shù)大小的變動(dòng)4.正規(guī)方程由最小二乘法得到的用以估計(jì)回歸系數(shù)的線性方程組，稱為正規(guī)方程正規(guī)方程的結(jié)構(gòu)Y——被解釋變量觀測(cè)值nx1X——解釋變量觀測(cè)值（含虛擬變量nx(k+1)）X`X——

4、設(shè)計(jì)矩陣（實(shí)對(duì)稱(k+1)x(k+1)矩陣）X`Y——正規(guī)方程右端nx1——回歸系數(shù)矩陣（(k+1)x1）——高斯乘數(shù)矩陣，設(shè)計(jì)矩陣的逆——?dú)埐钕蛄浚╪x1）——被解釋變量的擬合（預(yù)測(cè)）向量nx15.多元回歸模型參數(shù)估計(jì)中的樣本容量問題樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。最小樣本容量：滿足基本要求的樣本容量最小樣本容量n≥k+1(X`X)-1存在?

5、X`X

6、0?X`X為k+1階的滿秩陣R(AB)≤min(R(A),R(B))R(X)≥k+1因此，必須有n≥k+1滿足基本要求的樣本容量一般經(jīng)驗(yàn)認(rèn)為：n≥30或者n≥3

7、(k+1)才能滿足模型估計(jì)的基本要求。n≥3(k+1)時(shí)，t分布才穩(wěn)定，檢驗(yàn)才較為有效第三節(jié)多元線性回歸模型的檢驗(yàn)本節(jié)主要介紹：3.1擬合優(yōu)度檢驗(yàn)（判定系數(shù)及其校正）3.2回歸參數(shù)的顯著性檢驗(yàn)（t－檢驗(yàn)）3.3回歸方程的顯著性檢驗(yàn)（F－檢驗(yàn)）3.4擬合優(yōu)度、t－檢驗(yàn)、F－檢驗(yàn)的關(guān)系3.1.1擬合優(yōu)度檢驗(yàn)－總平方和、自由度的分解目的：構(gòu)造一個(gè)不含單位，可以相互比較，而且能直觀判斷擬合優(yōu)劣的指標(biāo)。類似于一元情形，先將多元線性回歸作如下平方和分解：對(duì)以上自由度的分解的說明3.1.2判定系數(shù)判定系數(shù)的定義：意義：判定系數(shù)越大，自變量對(duì)因變量的解釋程度越高，自變量引起的變動(dòng)占總變動(dòng)的百分比高

8、。觀察點(diǎn)在回歸直線附近越密集。取值范圍：0-13.1.3校正判定系數(shù)為什么要校正？判定系數(shù)隨解釋變量個(gè)數(shù)的增加而增大。易造成錯(cuò)覺：要模型擬合得越好，就應(yīng)增加解釋變量。然而增加解釋變量會(huì)降低自由度，減少可用的樣本數(shù)。并且有時(shí)增加解釋變量是不必要的。導(dǎo)致解釋變量個(gè)數(shù)不同模型之間對(duì)比困難。判定系數(shù)只涉及平方和，沒有考慮自由度。校正思路：引進(jìn)自由度校正所計(jì)算的平方和。校正判定系數(shù)（續(xù)）3.2回歸參數(shù)的顯著性檢驗(yàn)——t－檢驗(yàn)以下給出t-檢驗(yàn)的具體過程3.3回歸方程的顯著性檢驗(yàn)——（F－檢驗(yàn)）回歸系數(shù)的t－檢驗(yàn)，檢驗(yàn)了各個(gè)解釋變量Xj單獨(dú)對(duì)應(yīng)變量Y是否顯著；我們還需要檢驗(yàn)：所有解釋變量聯(lián)合在一起

9、，是否對(duì)應(yīng)變量Y也顯著？這即是下面所要進(jìn)行的F-檢驗(yàn)。3.3.1方差分析表以下用表格的形式列出平方和、自由度、方差平方和來源平方和自由度均方和源于回歸K-1源于殘差n-k總平方和n-13.3.2F－檢驗(yàn)（單側(cè)檢驗(yàn)）3.4各種檢驗(yàn)之間的關(guān)系3.4.1經(jīng)濟(jì)意義檢驗(yàn)和其他檢驗(yàn)的關(guān)系聯(lián)系：判斷一個(gè)回歸模型是否正確，首先要看模型是否具有合理的經(jīng)濟(jì)意義，其次才是統(tǒng)計(jì)檢驗(yàn)。3.4.2擬合優(yōu)度和F－檢驗(yàn)的關(guān)系（1）都是對(duì)回歸方程的顯著性檢驗(yàn)；（2）都是把總平方和分解，以構(gòu)