資源描述：
《多元線(xiàn)性回歸模型課件.ppt》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、第三章多元線(xiàn)性回歸模型學(xué)習(xí)目標(biāo)：熟悉多元線(xiàn)性回歸模型的設(shè)定。掌握多元線(xiàn)性回歸的普通最小二乘估計(jì)法和極大似然估計(jì)法的原理。掌握多元線(xiàn)性回歸參數(shù)估計(jì)量的性質(zhì)和模型的各種統(tǒng)計(jì)檢驗(yàn)方法。了解多元線(xiàn)性回歸模型的置信區(qū)間的計(jì)算方法。熟悉受約束回歸的檢驗(yàn)方法與檢驗(yàn)步驟。熟悉EViews軟件進(jìn)行多元線(xiàn)性回歸模型估計(jì)的詳細(xì)步驟。第一節(jié)多元線(xiàn)性回歸模型及假定第二節(jié)多元線(xiàn)性回歸模型的參數(shù)估計(jì)第三節(jié)多元線(xiàn)性回歸模型的統(tǒng)計(jì)檢驗(yàn)第四節(jié) 多元線(xiàn)性回歸模型的置信區(qū)間第五節(jié) 受約束回歸第六節(jié)案例分析一、多元線(xiàn)性回歸模型其一般形式為：由于習(xí)慣上把常數(shù)項(xiàng)看成為一個(gè)虛變量的
2、系數(shù)，在參數(shù)估計(jì)過(guò)程中該虛變量的樣本觀(guān)測(cè)值始終取1。這樣，模型中解釋變量的數(shù)目為（K+1）。代表眾多影響變化的微小因素。第一節(jié)多元線(xiàn)性回歸模型及假定當(dāng)給定一個(gè)樣本時(shí)，上述模型表示為經(jīng)濟(jì)意義：與存在線(xiàn)性關(guān)系,是的重要解釋變量。代數(shù)意義：與存在線(xiàn)性關(guān)系。幾何意義：表示一個(gè)多維平面。多元總體回歸函數(shù)：的總體條件均值表示為多個(gè)解釋變量的函數(shù)；該方程被稱(chēng)為條件期望函數(shù)或總體回歸函數(shù)或簡(jiǎn)稱(chēng)總體回歸。它僅僅表明在給定下的分布的均值與存在著函數(shù)關(guān)系。多元線(xiàn)性回歸模型表示的n個(gè)隨機(jī)方程的矩陣表達(dá)式為：其中，以上多元線(xiàn)性回歸模型也可表示向量表達(dá)式的形式其
3、中，假定1：解釋變量是非隨機(jī)的，即在重復(fù)抽樣中，解釋變量取固定值，且相互之間互不相關(guān)。這表明模型中的解釋變量和隨機(jī)干擾項(xiàng)對(duì)被解釋變量的影響是完全獨(dú)立的。二、多元線(xiàn)性回歸模型的若干假定假定2：隨機(jī)干擾項(xiàng)與解釋變量之間不相關(guān)。這個(gè)假定說(shuō)明Xji與隨機(jī)干擾項(xiàng)ui相互獨(dú)立，互不相關(guān)，它們對(duì)被解釋變量yi的影響同樣也是獨(dú)立的。假定3：隨機(jī)干擾項(xiàng)服從零均值，同方差，零協(xié)方差。用矩陣形式表示就是隨機(jī)干擾項(xiàng)的方差—協(xié)方差矩陣形如：假定4：隨機(jī)干擾項(xiàng)服從正態(tài)分布。即假定5：正確設(shè)定回歸模型。與一元回歸模型一樣，多元回歸模型的正確設(shè)定也有三個(gè)方面的要求：
4、1.選擇正確的變量進(jìn)入模型；2.對(duì)模型的形式進(jìn)行正確的設(shè)定；3.對(duì)模型的解釋變量被解釋變量及隨機(jī)干擾項(xiàng)做了正確的假定。上述假定條件稱(chēng)為多元線(xiàn)性回歸模型的經(jīng)典假定。第二節(jié)多元線(xiàn)性回歸模型的參數(shù)估計(jì)一、普通最小二乘法(一)普通最小二乘估計(jì)對(duì)于多元線(xiàn)性回歸模型，利用最小二乘法估計(jì)模型的參數(shù)，同樣應(yīng)該使殘差平方和達(dá)到最小，即取最小值。根據(jù)多元函數(shù)的極值原理，分別對(duì)求一階偏導(dǎo)數(shù)，并令其為零。即：得到下列方程組：可寫(xiě)成矩陣形式：得出叫做正規(guī)方程組；因而，這就是向量的估計(jì)值。(二)隨機(jī)干擾項(xiàng)方差估計(jì)值的普通最小二乘估計(jì)隨機(jī)干擾項(xiàng)的方差的無(wú)偏估計(jì)為其
5、中，為自由度，這是因?yàn)樵诠烙?jì)時(shí)，必須先求出 ，即消耗了個(gè)自由度。對(duì)于多元線(xiàn)性回歸模型于是，的概率函數(shù)為因?yàn)槭窍嗷オ?dú)立的，所以是隨機(jī)抽取的n組樣本觀(guān)測(cè)值的聯(lián)合概率，即似然函數(shù)為:由于是的單調(diào)函數(shù)，使極大的參數(shù)值也將使極大，即，所以對(duì)數(shù)似然函數(shù)為：可以求出和的估計(jì)參數(shù)（一）線(xiàn)性性參數(shù)估計(jì)量是線(xiàn)性估計(jì)量，即是隨機(jī)變量的線(xiàn)性函數(shù)。由于可見(jiàn)，參數(shù)估計(jì)量是被解釋變量的線(xiàn)性組合。三、參數(shù)估計(jì)量的性質(zhì)（二）無(wú)偏性將代入，得（三）最小方差性由于為單位矩陣。例3-1（四）隨機(jī)干擾項(xiàng)方差估計(jì)量的性質(zhì)由于被解釋變量的估計(jì)值與觀(guān)察值之間的殘差于是隨機(jī)干擾項(xiàng)方差
6、的估計(jì)量為一、模型的擬合優(yōu)度檢驗(yàn)二、回歸方程的顯著性檢驗(yàn)三、顯著性檢驗(yàn)第三節(jié)多元線(xiàn)性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、模型的擬合優(yōu)度檢驗(yàn)（一）R2檢驗(yàn)1.總離差平方和的分解對(duì)于有k個(gè)解釋變量的多元線(xiàn)性回歸模型其對(duì)應(yīng)的回歸方程為：將與其平均值之間的離差分解如下：總離差平方和:回歸平方和:殘差平方和：總離差平方和分解為回歸平方和與殘差平方和兩部分。2.多元樣本決定系數(shù)與擬合優(yōu)度檢驗(yàn)多元樣本決定系數(shù):可用回歸平方和占總離差平方和的比重來(lái)衡量樣本回歸線(xiàn)對(duì)樣本觀(guān)測(cè)值的擬合程度。可用回歸平方和占總離差平方和的比重來(lái)衡量樣本回歸線(xiàn)對(duì)樣本觀(guān)測(cè)值的擬合程度。的數(shù)值
7、越接近1，表明中總離差平方和中可由樣本回歸線(xiàn)解釋的部分越大，殘差平方和越小，樣本回歸線(xiàn)與樣本觀(guān)測(cè)值的擬合程度越高；反之則擬合得越差。3.修正樣本決定系數(shù)R2的大小與模型中解釋變量的數(shù)目有關(guān)，解釋變量的個(gè)數(shù)越多，它的值就越大，在實(shí)際運(yùn)用中需要對(duì)其進(jìn)行調(diào)整。調(diào)整的思想是將殘差平方和與總離差平方和之比的分子分母分別用各自的自由度去除，變成均方差之比，以剔除解釋變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響。于是，修正的樣本決定系數(shù)為調(diào)整的可決系數(shù)與未經(jīng)調(diào)整的可決系數(shù)之間存在如下關(guān)系：或僅僅說(shuō)明了在給定的樣本條件下，估計(jì)的回歸方程對(duì)于樣本觀(guān)測(cè)值的似合優(yōu)度。在實(shí)際應(yīng)
8、用中，或究竟要多大才算模型通過(guò)了檢驗(yàn)，沒(méi)有絕對(duì)的標(biāo)準(zhǔn)，要視具體情況而定。模型的擬合優(yōu)度并不是評(píng)價(jià)模型優(yōu)劣的唯一標(biāo)準(zhǔn)，有時(shí)為了追求模型的經(jīng)濟(jì)意義寧可犧牲一點(diǎn)擬合優(yōu)度。（二）赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則赤池信息準(zhǔn)則：施瓦茨準(zhǔn)則：
