logistic 回歸與線性回歸的比較

《logistic 回歸與線性回歸的比較》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、1logistic回歸logistic回歸又稱logistic回歸分析，是一種廣義的線性回歸分析模型，常用于數(shù)據(jù)挖掘，疾病自動(dòng)診斷，經(jīng)濟(jì)預(yù)測(cè)等領(lǐng)域。例如，探討引發(fā)疾病的危險(xiǎn)因素，并根據(jù)危險(xiǎn)因素預(yù)測(cè)疾病發(fā)生的概率等。以胃癌病情分析為例，選擇兩組人群，一組是胃癌組，一組是非胃癌組，兩組人群必定具有不同的體征與生活方式等。因此因變量就為是否胃癌，值為“是”或“否”，自變量就可以包括很多了，如年齡、性別、飲食習(xí)慣、幽門螺桿菌感染等。自變量既可以是連續(xù)的，也可以是分類的。然后通過(guò)logistic回歸分析，

2、可以得到自變量的權(quán)重，從而可以大致了解到底哪些因素是胃癌的危險(xiǎn)因素。同時(shí)根據(jù)該權(quán)值可以根據(jù)危險(xiǎn)因素預(yù)測(cè)一個(gè)人患癌癥的可能性。1.1logistic回歸概述logistic回歸是一種廣義線性回歸（generalizedlinearmodel），因此與多重線性回歸分析有很多相同之處。它們的模型形式基本上相同，都具有w‘x+b，其中w和b是待求參數(shù)，其區(qū)別在于他們的因變量不同，多重線性回歸直接將w‘x+b作為因變量，即y=w‘x+b，而logistic回歸則通過(guò)函數(shù)L將w‘x+b對(duì)應(yīng)一個(gè)隱狀態(tài)p，p=

3、L(w‘x+b),然后根據(jù)p與1-p的大小決定因變量的值。如果L是logistic函數(shù)，就是logistic回歸，如果L是多項(xiàng)式函數(shù)就是多項(xiàng)式回歸。logistic回歸的因變量可以是二分類的，也可以是多分類的，但是二分類的更為常用，也更加容易解釋，多類可以使用softmax方法進(jìn)行處理。實(shí)際中最為常用的就是二分類的logistic回歸。Logistic回歸模型的適用條件1因變量為二分類的分類變量或某事件的發(fā)生率，并且是數(shù)值型變量。但是需要注意，重復(fù)計(jì)數(shù)現(xiàn)象指標(biāo)不適用于Logistic回歸。2殘差

4、和因變量都要服從二項(xiàng)分布。二項(xiàng)分布對(duì)應(yīng)的是分類變量，所以不是正態(tài)分布，進(jìn)而不是用最小二乘法，而是最大似然法來(lái)解決方程估計(jì)和檢驗(yàn)問(wèn)題。3自變量和Logistic概率是線性關(guān)系4各觀測(cè)對(duì)象間相互獨(dú)立。原理：如果直接將線性回歸的模型扣到Logistic回歸中，會(huì)造成方程二邊取值區(qū)間不同和普遍的非直線關(guān)系。因?yàn)長(zhǎng)ogistic中因變量為二分類變量，某個(gè)概率作為方程的因變量估計(jì)值取值范圍為0-1，但是，方程右邊取值范圍是無(wú)窮大或者無(wú)窮小。所以，才引入Logistic回歸。Logistic回歸實(shí)質(zhì)：發(fā)生概率

5、除以沒(méi)有發(fā)生概率再取對(duì)數(shù)。就是這個(gè)不太繁瑣的變換改變了取值區(qū)間的矛盾和因變量自變量間的曲線關(guān)系。究其原因，是發(fā)生和未發(fā)生的概率成為了比值，這個(gè)比值就是一個(gè)緩沖，將取值范圍擴(kuò)大，再進(jìn)行對(duì)數(shù)變換，整個(gè)因變量改變。不僅如此，這種變換往往使得因變量和自變量之間呈線性關(guān)系，這是根據(jù)大量實(shí)踐而總結(jié)。所以，Logistic回歸從根本上解決因變量要不是連續(xù)變量怎么辦的問(wèn)題。還有，Logistic應(yīng)用廣泛的原因是許多現(xiàn)實(shí)問(wèn)題跟它的模型吻合。例如一件事情是否發(fā)生跟其他數(shù)值型自變量的關(guān)系。注意：如果自變量為字符型，就

6、需要進(jìn)行重新編碼。一般如果自變量有三個(gè)水平就非常難對(duì)付，所以，如果自變量有更多水平就太復(fù)雜。這里只討論自變量只有三個(gè)水平。非常麻煩，需要再設(shè)二個(gè)新變量。共有三個(gè)變量，第一個(gè)變量編碼1為高水平，其他水平為0。第二個(gè)變量編碼1為中間水平，0為其他水平。第三個(gè)變量，所有水平都為0。實(shí)在是麻煩，而且不容易理解。最好不要這樣做，也就是，最好自變量都為連續(xù)變量。spss操作：進(jìn)入Logistic回歸主對(duì)話框，通用操作不贅述。發(fā)現(xiàn)沒(méi)有自變量這個(gè)說(shuō)法，只有協(xié)變量，其實(shí)協(xié)變量就是自變量。旁邊的塊就是可以設(shè)置很多模

7、型?！胺椒ā睓冢哼@個(gè)根據(jù)詞語(yǔ)理解不容易明白，需要說(shuō)明。共有7種方法。但是都是有規(guī)律可尋的?！跋蚯啊焙汀跋蚝蟆保合蚯笆鞘孪扔靡徊揭徊降姆椒êY選自變量，也就是先設(shè)立門檻。稱作“前”。而向后，是先把所有的自變量都進(jìn)來(lái)，然后再篩選自變量。也就是先不設(shè)置門檻，等進(jìn)來(lái)了再一個(gè)一個(gè)淘汰。“LR”和“Wald”,LR指的是極大偏似然估計(jì)的似然比統(tǒng)計(jì)量概率值，有一點(diǎn)長(zhǎng)。但是其中重要的詞語(yǔ)就是似然。Wald指Wald統(tǒng)計(jì)量概率值。“條件”指條件參數(shù)似然比統(tǒng)計(jì)量概率值?！斑M(jìn)入”就是所有自變量都進(jìn)來(lái)，不進(jìn)行任何篩選將所

8、有的關(guān)鍵詞組合在一起就是7種方法，分別是“進(jìn)入”“向前LR”“向前Wald”"向后LR"“向后Wald”“向后條件”“向前條件”下一步：一旦選定協(xié)變量，也就是自變量，“分類”按鈕就會(huì)被激活。其中，當(dāng)選擇完分類協(xié)變量以后，“更改對(duì)比”選項(xiàng)組就會(huì)被激活。一共有7種更改對(duì)比的方法?！爸甘痉焙汀捌睢?，都是選擇最后一個(gè)和第一個(gè)個(gè)案作為對(duì)比標(biāo)準(zhǔn)，也就是這二種方法能夠激活“參考類別”欄?！爸甘痉笔悄J(rèn)選項(xiàng)?！捌睢北硎痉诸愖兞棵總€(gè)水平和總平均值進(jìn)行對(duì)比，總平均值的上下界就是"最后一個(gè)"和"第一個(gè)"在“參