線性回歸模型中自變量選擇問(wèn)題.pdf

《線性回歸模型中自變量選擇問(wèn)題.pdf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、第10卷1期中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)1980年線性回歸模型中自變量選擇問(wèn)題~不‘.抓}子內(nèi)拜月口二(一)回歸自變量的選擇問(wèn)題,。在一個(gè)大型回歸周題中可供選擇的自變量為數(shù)很多國(guó)內(nèi)地鬢工作者使用的“趨勢(shì)面”,。,。分析自變量可多達(dá)二十多個(gè)在將回歸固題用于氣象予報(bào)方面也存在這種尚題在國(guó),,外將回歸分析用于污染因子與死亡率的關(guān)系研究中在汽事役蔚因子與每公里耗油率的關(guān),。,系的研究中所用的自變量在十到二十個(gè)之簡(jiǎn)據(jù)報(bào)導(dǎo)在有些周題中涉及的自變量個(gè)數(shù)有。可能達(dá)到50一70個(gè)之多,在實(shí)用,因此回歸分析的研究中關(guān)于從一大

2、批可能的自變量中把真正最重要的那些自,一直是一。,變量挑選出來(lái)的周題個(gè)很受重視的周題這種挑選的意義遠(yuǎn)不在于僅從淤算的。,、,角度著眼實(shí)際上所建立的回歸方程的穩(wěn)定性予報(bào)的精度與這種挑選工作有很密切的關(guān)系。而且,通過(guò)這種挑選,可以、對(duì)自變量與因變量的關(guān)系自變量之簡(jiǎn)的關(guān)系獲得不少有,。用信泊一這點(diǎn)應(yīng)當(dāng)看作是回歸分析的主要目的之一’‘,,作者和實(shí)用撫爵工作近二十年特別是近十年來(lái)對(duì)回歸自變量的選擇固題數(shù)理杭靜工者都作了不少工作。理輸方面的主要成就是提出了一系列的選擇準(zhǔn)則,對(duì)它們的就靜性臀作一,。,了一些分析

3、研究為在實(shí)際應(yīng)用中處理這個(gè)尚題提供了一定的理瑞濃扼但這方面的拮果整個(gè),。,,靚來(lái)還處在相當(dāng)初步的階段由于陰題的困難要取得實(shí)鬢性進(jìn)展還需作很大努。。,力另一方面的尚題是尋找良好的靜算方法由于牽涉到極大量的靜算為了使理湍成果付,,,藉實(shí)用這是一個(gè)必需解決的遠(yuǎn)非視而易舉的尚題在這方面近年來(lái)也取得了很大的進(jìn)。展在,,,十多年以前關(guān)于選擇回歸自變量的淮8J幾乎全是基于殘差平方和爵算方面IJ是用。,,逐步回歸(包括向前法和向后法)近年來(lái)提出的某些選擇準(zhǔn)則例如比較受重硯的由一,,,,M淚腸‘」,畢提出的所謂c

4、準(zhǔn)則也是基于殘差平方和另外一些例如所稠P找ESS準(zhǔn),r,,則還有l(wèi)loel等人「2」的嶺回歸法以及種種形式的主成份分析法等則是基于其它的考、。。慮〔3118」是關(guān)于這方面的粽合性介貂,,。不湍怎樣基于殘差平方和的準(zhǔn)glJ現(xiàn)在看來(lái)仍屬于最重要的一類(lèi)如果基于這個(gè)準(zhǔn),:,,一,則就必須處理這樣的朋題投全部自變量有左個(gè)對(duì)任何戶1〔p左找出殘差平方和、,。一最小次小??前若干個(gè)(例如個(gè)),個(gè)白變最的機(jī)由于可能的粗?jǐn)?shù)c,二·卜‘,,‘_二一J一·~-,典一!二_一一一P!(左一/,)仕往,在缺乏有效的算法時(shí)難

5、于實(shí)現(xiàn),逐步回歸往往被用來(lái)作為一種近似。雖然這個(gè)方法極大,,。起過(guò)重要作用且現(xiàn)在也未喪失其意義但近年來(lái)的研究表明這個(gè)方法有著一些缺陷從理,,,渝上靚其中所用的F檢墩是建立在不正確的基礎(chǔ)上的從應(yīng)用上靚它井不能保征挑出最優(yōu)p自變量粗(國(guó)外報(bào)導(dǎo)的一個(gè)例子表明,,的(殘差平方和最小的)差別能達(dá)到37%之多)。另一更大的缺陷是不適合用于分析自變量與因變量及自變量之簡(jiǎn)的關(guān)系,由于上述原因近年來(lái)在國(guó)外對(duì)尋找殘差平方和最小(及若干個(gè)按序排列最小)的子集】,。、L3’〔‘〕〔’1Calside196回歸(即所稍最優(yōu)

6、子集回歸)的有效爵算方法抬予很大的注意‘5)Se},arzoff(1965)、FL,l·nival(1972)、入I〔,:·gin(1972)、FLlrnival和Wilson(2974)〔‘l相,vao。撇提出了一些算法和程序看來(lái)以Ftl’lil和Wilon(197勸的程序?yàn)樽顑?yōu)本文對(duì)va,,Flrnil的算法進(jìn)行了歸鈉分析襯渝了它們的性臀并以其子程序?yàn)榛A(chǔ)抬出了撲算前。,、q回歸系數(shù)的最小二乘估靜個(gè)最優(yōu)子集回歸的完整程序?qū)@些回歸部算出殘差平方和及其方差。利用這些歌息我們可以進(jìn)一步分析自變量的

7、重要性及其相互關(guān)系。(二)計(jì)算問(wèn)題pc露種,,由于從掩個(gè)自變量中選擇個(gè)的方法多達(dá)不難毅想若不按一種粗積良好的方,,,式進(jìn)行爵算則補(bǔ)算量可能達(dá)到不現(xiàn)實(shí)的地步解決這個(gè)困難的基本方法就是眾所周知,在逐步,,的回歸中使用的那個(gè)規(guī)IlJ它使得在原有的基礎(chǔ)上加進(jìn)或棄卻一個(gè)自變量時(shí)只需p1),即使這樣,也還有兩個(gè)固題要解決:對(duì)當(dāng)時(shí)的協(xié)方差障作一種筒單的運(yùn)算(晃附錄,使能用最少個(gè)數(shù)的p運(yùn)算來(lái)算出任一個(gè)自變量子集的重要的回歸一是編排一種合適的次序,,。,撫靜量(殘差平方和系數(shù)估爵及其方差協(xié)方差等)另一個(gè)周題是一個(gè)矩

8、障的元素握,,過(guò)反復(fù)的p運(yùn)算累積視差不斷增加考慮到在自變量子集的選擇中涉及到極多次數(shù)的尸運(yùn),如不對(duì)這個(gè)尚題加以充分的考慮并作出相應(yīng)的安排,則上述累積視差最后將便靜算桔果算完全失。,:其這里所介貂的程序?qū)@個(gè)尚題有較好的處理它是基于以下的想法盡可能不要。,“”對(duì)同一矩障以同一元作樞軸作一次以上的尸運(yùn)算當(dāng)然這就必須使淤算在靜多存儲(chǔ)塊內(nèi)進(jìn),。行因而導(dǎo)致需要較多的存儲(chǔ)單元。,,還有兩項(xiàng)關(guān)于節(jié)省靜算量的考慮一是在p運(yùn)算中涉及矩障的全部元素但在靜算過(guò),,,,程的一個(gè)特定階段上往往某些自變量已注