資源描述:
《§23多元線性回歸模型的參數估計》由會員上傳分享,免費在線閱讀,更多相關內容在教育資源-天天文庫。
1、第三章多元線性回歸模型主要內容多元線性回歸模型的一般形式參數估計(OLS估計)假設檢驗預測一.多元線性回歸模型問題的提出解析形式矩陣形式問題的提出現實生活中引起被解釋變量變化的因素并非僅只一個解釋變量,可能有很多個解釋變量。例如,產出往往受各種投入要素——資本、勞動、技術等的影響;銷售額往往受價格和公司對廣告費的投入的影響等。所以在一元線性模型的基礎上,提出多元線性模型——解釋變量個數≥2多元線性回歸模型的假設解釋變量Xi是確定性變量,不是隨機變量;解釋變量之間互不相關,即無多重共線性。隨機誤差項具有0均值和同方差隨機誤差項不存在序列
2、相關關系隨機誤差項與解釋變量之間不相關隨機誤差項服從0均值、同方差的正態(tài)分布多元模型的解析表達式多元模型的矩陣表達式矩陣形式二.參數估計(OLS)參數值估計參數估計量的性質偏回歸系數的含義正規(guī)方程樣本容量問題1.參數值估計(OLS)得到下列方程組求參數估計值的實質是求一個k+1元方程組正規(guī)方程變成矩陣形式正規(guī)方程矩陣形式最小二乘法的矩陣表示2.1最小二乘估計量的性質(1)線性(估計量都是被解釋變量觀測值的線性組合)(2)無偏性(估計量的數學期望=被估計的真值)(3)有效性(估計量的方差是所有線性無偏估計中最小的)OLS估計量的性質(續(xù)
3、)線性無偏性有效性2.2OLS回歸線的性質完全同一元情形:2.3隨機擾動項方差的估計注解:k與k+1凡是按解釋變量的個數為k的,那么共有k+1個參數要估計。而按參數個數為k的,則實際有k-1個解釋變量??傊畠烧呦嗖?而已!要小心所用的k是什么意思!所以如果本來是用解釋變量個數的k表示的要轉換成參數個數的k則用k-1代換原來的k就可以了!3.偏回歸系數的意義多元回歸模型中的回歸系數稱為偏回歸系數某解釋變量前回歸系數的含義是,在其他解釋變量保持不變的條件下,該變量變化一個單位,被解釋變量將平均發(fā)生偏回歸系數大小的變動4.正規(guī)方程由最小二乘
4、法得到的用以估計回歸系數的線性方程組,稱為正規(guī)方程正規(guī)方程的結構Y——被解釋變量觀測值nx1X——解釋變量觀測值(含虛擬變量nx(k+1))X`X——設計矩陣(實對稱(k+1)x(k+1)矩陣)X`Y——正規(guī)方程右端nx1——回歸系數矩陣((k+1)x1)——高斯乘數矩陣,設計矩陣的逆——殘差向量(nx1)——被解釋變量的擬合(預測)向量nx15.多元回歸模型參數估計中的樣本容量問題樣本是一個重要的實際問題,模型依賴于實際樣本。獲取樣本需要成本,企圖通過樣本容量的確定減輕收集數據的困難。最小樣本容量:滿足基本要求的樣本容量最小樣本容量
5、n≥k+1(X`X)-1存在?
6、X`X
7、0?X`X為k+1階的滿秩陣R(AB)≤min(R(A),R(B))R(X)≥k+1因此,必須有n≥k+1滿足基本要求的樣本容量一般經驗認為:n≥30或者n≥3(k+1)才能滿足模型估計的基本要求。n≥3(k+1)時,t分布才穩(wěn)定,檢驗才較為有效第三節(jié)多元線性回歸模型的檢驗本節(jié)主要介紹:3.1擬合優(yōu)度檢驗(判定系數及其校正)3.2回歸參數的顯著性檢驗(t-檢驗)3.3回歸方程的顯著性檢驗(F-檢驗)3.4擬合優(yōu)度、t-檢驗、F-檢驗的關系3.1.1擬合優(yōu)度檢驗-總平方和、自由度的分解目的:構造
8、一個不含單位,可以相互比較,而且能直觀判斷擬合優(yōu)劣的指標。類似于一元情形,先將多元線性回歸作如下平方和分解:對以上自由度的分解的說明3.1.2判定系數判定系數的定義:意義:判定系數越大,自變量對因變量的解釋程度越高,自變量引起的變動占總變動的百分比高。觀察點在回歸直線附近越密集。取值范圍:0-13.1.3校正判定系數為什么要校正?判定系數隨解釋變量個數的增加而增大。易造成錯覺:要模型擬合得越好,就應增加解釋變量。然而增加解釋變量會降低自由度,減少可用的樣本數。并且有時增加解釋變量是不必要的。導致解釋變量個數不同模型之間對比困難。判定系
9、數只涉及平方和,沒有考慮自由度。校正思路:引進自由度校正所計算的平方和。校正判定系數(續(xù))3.2回歸參數的顯著性檢驗——t-檢驗以下給出t-檢驗的具體過程3.3回歸方程的顯著性檢驗——(F-檢驗)回歸系數的t-檢驗,檢驗了各個解釋變量Xj單獨對應變量Y是否顯著;我們還需要檢驗:所有解釋變量聯(lián)合在一起,是否對應變量Y也顯著?這即是下面所要進行的F-檢驗。3.3.1方差分析表以下用表格的形式列出平方和、自由度、方差平方和來源平方和自由度均方和源于回歸K-1源于殘差n-k總平方和n-13.3.2F-檢驗(單側檢驗)3.4各種檢驗之間的關系3
10、.4.1經濟意義檢驗和其他檢驗的關系聯(lián)系:判斷一個回歸模型是否正確,首先要看模型是否具有合理的經濟意義,其次才是統(tǒng)計檢驗。3.4.2擬合優(yōu)度和F-檢驗的關系(1)都是對回歸方程的顯著性檢驗;(2)都是把總平方和分解,以構