《多元回歸模型》word版

《《多元回歸模型》word版》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、多元回歸模型一、模型的設(shè)定和求解為擾動(dòng)項(xiàng)Y與X之間存在著線性關(guān)系，有關(guān)擾動(dòng)項(xiàng)u的假設(shè)和一元回歸類似。若樣本容量為n，則模型可以寫為：模型可以用矩陣表示如下：Y=XB+U　　　利用最小二乘法求系數(shù)的解：最小二乘的意思就是殘差的平方和達(dá)到最小，也就是最小殘差平方和于是注意根據(jù)矩陣的基本定理=，則，而與都是矩陣，故兩者同值。對殘差平方和求偏導(dǎo)，并令其為零?；貧w方程的顯著性檢驗(yàn)：回歸系數(shù)的顯著性檢驗(yàn)：t檢驗(yàn)可以證明，在回歸方程中自變量的系數(shù)的分布為：是矩陣主對角線上的元素，由于無法直接得到，故以樣本殘差來代替：，因此可以t統(tǒng)計(jì)量來檢驗(yàn)假設(shè)統(tǒng)計(jì)量

2、回歸方程的顯著性檢驗(yàn)：運(yùn)用F統(tǒng)計(jì)量二、多重共線性定義：回歸模型中有兩個(gè)或兩個(gè)以上的自變量相關(guān)。問題：當(dāng)變量相關(guān)時(shí)，回歸系數(shù)的解會(huì)存在問題，一是完全無解，二是系數(shù)不穩(wěn)定。而且可能對參數(shù)估計(jì)的正負(fù)號產(chǎn)生影響。（參數(shù)估計(jì)的正負(fù)號與預(yù)期相反）多重共線性的判別：見書P363頁多重共線性的處理：變量選擇法三、虛擬自變量的回歸解釋變量的分類：定量變量：反映數(shù)量大小的變量；如收入，產(chǎn)量，價(jià)格，成本等。一般用X表示。定性變量：又稱屬性變量，很難直接度量其大小，如性別，種族，職業(yè)，受教育水平，季節(jié)，戰(zhàn)爭，地震，罷工等。一般用D表示。2．由于定性變量常指某一

3、“性質(zhì)”或“屬性”出現(xiàn)或不出現(xiàn)，因此“量化”這些變量的一個(gè)方法是構(gòu)造一個(gè)取值為1或0的人為變量，即：取這樣的1或0值的變量叫做虛擬變量（DummyVariables）。例：；方差分析模型（ANOVA）當(dāng)模型中的解釋變量只有虛擬變量時(shí)，稱為方差分析模型（analysisofvariancemodels）。例：分析大學(xué)畢業(yè)生和非大學(xué)畢業(yè)生的初職年薪是否存在差異。假設(shè)設(shè)定以下回歸模型：其中，Y表示初職年薪；也應(yīng)是說，對于大學(xué)畢業(yè)生而言，其D＝1，代入模型中可得：，其期望值為：對于非大學(xué)畢業(yè)生而言，其D＝0，代入模型可得：，其期望值為：也就是說

4、，原模型是假設(shè)大學(xué)畢業(yè)生的初值年薪與非大學(xué)生的初職年薪顯著不同，其平均差距為虛擬變量D的系數(shù)b2。被賦予零值的那個(gè)類別被稱為是基底或基準(zhǔn)(base，benchmark)，也就是說，它被用于和其它類別比較的基礎(chǔ)。共同的截距項(xiàng)b1就是基底類的截距項(xiàng)。虛擬變量D的系數(shù)b2被稱為級差截距系數(shù)（differentialinterceptcoefficient），它告訴我們?nèi)≈禐?的類別的截距值和基底類的截距值相比有多少差別。虛擬變量顯著性檢驗(yàn)：t檢驗(yàn)顯著表明虛擬變量被賦予1值的分類與基底類的差異是顯著的。包含一個(gè)定量變量，一個(gè)虛擬變量的回歸模型在

5、實(shí)際分析中，很少使用前面提到的方差分析模型，，更多的是用到既有定量變量，又有虛擬變量作為解釋變量的回歸模型，這樣的回歸模型稱為協(xié)方差分析模型（ANCOVA）。例：分析大學(xué)教師的工資的主要影響因素。設(shè)定以下回歸模型：其中，Y為大學(xué)教師的年薪；X為教齡；這個(gè)模型認(rèn)為，大學(xué)教師的年薪主要受兩個(gè)因素的影響，一個(gè)是教齡，另一個(gè)是性別。并且假設(shè)性別只對大學(xué)教師年薪的截距產(chǎn)生影響，年薪對教齡的變化率不受性別影響（即男女教師具有相同的斜率）?？梢詫⒁陨夏Ｐ头纸鉃椋号處煹哪晷侥Ｐ停篋＝0截距為：b1（基底類的截距）男教師的年薪模型：D＝1截距為：b1+

6、b2級差截距為：b2虛擬變量的顯著性檢驗(yàn)的意義：D的t統(tǒng)計(jì)量顯著表明男女教師的年薪的差異是顯著的，平均而言，男教師的年薪比女教師高b2個(gè)單位。虛擬變量的設(shè)置規(guī)則對于有截距項(xiàng)的回歸模型，其虛擬變量的設(shè)置規(guī)則為：某一屬性變量如果有m種互斥的分類，則針對這一屬性應(yīng)在模型中引入m-1個(gè)虛擬變量。例如：假設(shè)旅游支出主要受收入和教育因素的影響。其中，收入是定量變量，教育是定性變量。假設(shè)教育水平可以分為三類：大學(xué)以上水平，中學(xué)水平,和未達(dá)到中學(xué)水平。因此模型中應(yīng)引入的虛擬變量的個(gè)數(shù)為3－1＝2個(gè)。模型可設(shè)定如下：其中，Y表示旅游支出，X表示收入水平，

7、所以模型中三類教育水平的截距分別為：未達(dá)到中學(xué)水平：b1D1＝0；D2＝0中學(xué)水平：b1+b3D1=0；D2＝1大學(xué)以上水平：b1+b2D1＝1；D2=0這樣設(shè)置的目的是為了防止虛擬變量陷阱，即完全的多重共線性問題。例如，假設(shè)分析大學(xué)教師的工資的主要影響因素。設(shè)定以下回歸模型：其中，Y為大學(xué)教師的年薪；X為教齡；即按性別的二種分類設(shè)置了兩個(gè)虛擬變量，則解釋變量序列為：截距D1D2X即截距－（D1＋D2）＝0，也就是說，解釋變量之間出現(xiàn)了完全的多重共線性，它將導(dǎo)致無法估計(jì)模型的參數(shù)。包含一個(gè)定量變量，兩個(gè)定性變量的回歸模型例：設(shè)大學(xué)教師的

8、年薪Y(jié)除了受定量變量教齡X影響外，還受性別和膚色兩個(gè)定性變量的影響。為了簡便，假設(shè)膚色有兩種分類：白種和非白種。所以模型中共應(yīng)引入兩個(gè)虛擬變量，一個(gè)反映男女的差別，一個(gè)反映膚色的差別。設(shè)定的回歸模型如下：其