聚類分析 主成分分析和典型相關分析 含matlab程序

《聚類分析 主成分分析和典型相關分析 含matlab程序》由會員上傳分享，免費在線閱讀，更多相關內容在行業(yè)資料-天天文庫。

1、第十二章回歸分析前面我們講過曲線擬合問題。曲線擬合問題的特點是，根據(jù)得到的若干有關變量的一組數(shù)據(jù)，尋找因變量與（一個或幾個）自變量之間的一個函數(shù)，使這個函數(shù)對那組數(shù)據(jù)擬合得最好。通常，函數(shù)的形式可以由經驗、先驗知識或對數(shù)據(jù)的直觀觀察決定，要作的工作是由數(shù)據(jù)用最小二乘法計算函數(shù)中的待定系數(shù)。從計算的角度看，問題似乎已經完全解決了，還有進一步研究的必要嗎?從數(shù)理統(tǒng)計的觀點看，這里涉及的都是隨機變量，我們根據(jù)一個樣本計算出的那些系數(shù)，只是它們的一個（點）估計，應該對它們作區(qū)間估計或假設檢驗，如果置信區(qū)間太大，甚至包含了零點，那么系數(shù)的估

2、計值是沒有多大意義的。另外也可以用方差分析方法對模型的誤差進行分析，對擬合的優(yōu)劣給出評價。簡單地說，回歸分析就是對擬合問題作的統(tǒng)計分析。具體地說，回歸分析在一組數(shù)據(jù)的基礎上研究這樣幾個問題：（i）建立因變量y與自變量x,x,L,x之間的回歸模型（經驗公式）；12m（ii）對回歸模型的可信度進行檢驗；（iii）判斷每個自變量x(i=1,2,L,m)對y的影響是否顯著；i（iv）診斷回歸模型是否適合這組數(shù)據(jù)；（v）利用回歸模型對y進行預報或控制?！?數(shù)據(jù)表的基礎知識1.1樣本空間在本章中，我們所涉及的均是樣本點×變量類型的數(shù)據(jù)表。如果

3、有m個變量x,x,L,x，對它們分別進行了n次采樣（或觀測），得到n個樣本點12m(x,x,L,x)，i=1,2,L,ni1i2im則所構成的數(shù)據(jù)表X可以寫成一個n×m維的矩陣。T?e?1??X=(x)=Mijn×m???eT??n?Tm式中e=(x,x,L,x)∈R，i=1,2,L,n，e被稱為第i個樣本點。ii1i2imi樣本的均值為n1x=(x1,x2,L,xm)，xj=∑xij，j=1,2,L,mni=1樣本協(xié)方差矩陣及樣本相關系數(shù)矩陣分別為n1TS=(sij)m×m=∑(ek?x)(ek?x)n?1k=1?s?R=(r)

4、=?ij?ijm×m?ss??iijj?其中-226-n1sij=∑(xki?xi)(xkj?xj)n?1k=11.2數(shù)據(jù)的標準化處理（1）數(shù)據(jù)的中心化處理數(shù)據(jù)的中心化處理是指平移變換，即*x=x?x，i=1,2,L,n；j=1,2,L,mijijj該變換可以使樣本的均值變?yōu)?，而這樣的變換既不改變樣本點間的相互位置，也不改變變量間的相關性。但變換后，卻常常有許多技術上的便利。（2）數(shù)據(jù)的無量綱化處理在實際問題中，不同變量的測量單位往往是不一樣的。為了消除變量的量綱效應，使每個變量都具有同等的表現(xiàn)力，數(shù)據(jù)分析中常用的消量綱的方法，

5、是對不同的變量進行所謂的壓縮處理，即使每個變量的方差均變成1，即*x=x/sijijjn12其中sj=∑(xij?xj)。n?1i=1還可以有其它消量綱的方法，如**x=x/max{x}，x=x/min{x}ijijijijijijii**x=x/x，x=x/(max{x}?min{x})ijijjijijijijii（3）標準化處理所謂對數(shù)據(jù)的標準化處理，是指對數(shù)據(jù)同時進行中心化－壓縮處理，即x?x*ijjx=，i=1,2,L,n，j=1,2,L,m。ijsj§2一元線性回歸2.1模型一元線性回歸的模型為y=β+βx+ε，（1）

6、012式中，β,β為回歸系數(shù)，ε是隨機誤差項，總是假設ε~N(0,σ)，則隨機變量012y~N(β+βx,σ)。01若對y和x分別進行了n次獨立觀測，得到以下n對觀測值(y,x)，i=1,2,L,n（2）ii這n對觀測值之間的關系符合模型y=β+βx+ε，i=1,2,L,n（3）i01i這里，x是自變量在第i次觀測時的取值，它是一個非隨機變量，并且沒有測量誤差。i2對應于x，y是一個隨機變量，它的隨機性是由ε造成的。ε~N(0,σ)，對于不同iiii的觀測，當i≠j時，ε與ε是相互獨立的。ij2.2最小二乘估計方法-227-2.2

7、.1最小二乘法用最小二乘法估計β,β的值，即取β,β的一組估計值β?,β?，使y與010101iy?=β?+β?x的誤差平方和達到最小。若記i01n2Q(β0,β1)=∑(yi?β0?β1xi)i=1則n2Q(β?0,β?1)=minQ(β0,β1)=∑(yi?β?0?β?1xi)β0,β1i=1顯然Q(β,β)≥0，且關于β,β可微，則由多元函數(shù)存在極值的必要條件得0101n?Q=?2∑(yi?β0?β1xi)=0?β0i=1n?Q=?2∑xi(yi?β0?β1xi)=0?β1i=1整理后，得到下面的方程組nn??nβ0+β1∑

8、xi=∑yi?i=1i=1?（4）nnn?2β0∑xi+β1∑xi=∑xiyi??i=1i=1i=1此方程組稱為正規(guī)方程組，求解可以得到n??∑(xi?x)(yi?y)?β?=i=1?1n?(x?x)2（5）∑i?i=1??β?=y?β?x?01稱