主成分分析ppt培訓(xùn)課件

《主成分分析ppt培訓(xùn)課件》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第5節(jié)主成分分析主成分分析的基本原理主成分分析的解法主成分分析方法應(yīng)用實例問題的提出地理系統(tǒng)是多要素的復(fù)雜系統(tǒng)。在地理學(xué)研究中，多變量問題是經(jīng)常會遇到的。變量太多，無疑會增加分析問題的難度與復(fù)雜性，而且在許多實際問題中，多個變量之間是具有一定的相關(guān)關(guān)系的。能否在相關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來較多的舊變量，而且使這些較少的新變量盡可能多地保留原來變量所反映的信息？主成分分析方法就是綜合處理這種問題的一種強有力的工具。主成分分析是把原來多個變量劃為少數(shù)幾個綜合指標(biāo)的一種統(tǒng)計分析方法。從數(shù)學(xué)角度來看，這是一種降維處理技術(shù)。例，成績數(shù)據(jù)100個學(xué)生的數(shù)學(xué)、物理、化學(xué)、語文、歷

2、史、英語的成績?nèi)缦卤恚ú糠郑?。從本例可能提出的問題目前的問題是，能不能把這個數(shù)據(jù)的6個變量用一兩個綜合變量來表示呢？這一兩個綜合變量包含有多少原來的信息呢？能不能利用找到的綜合變量來對學(xué)生排序呢？這一類數(shù)據(jù)所涉及的問題可以推廣到對企業(yè)，對學(xué)校進行分析、排序、判別和分類等問題。例中的數(shù)據(jù)點是六維的；也就是說，每個觀測值是6維空間中的一個點。我們希望把6維空間用低維空間表示。先假定只有二維，即只有兩個變量，它們由橫坐標(biāo)和縱坐標(biāo)所代表；因此每個觀測值都有相應(yīng)于這兩個坐標(biāo)軸的兩個坐標(biāo)值；如果這些數(shù)據(jù)形成一個橢圓形狀的點陣（這在變量的二維正態(tài)的假定下是可能的）。那么這個橢圓有一個長軸和一

3、個短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點，那只有在長軸的方向才能夠解釋這些點的變化了；這樣，由二維到一維的降維就自然完成了。當(dāng)坐標(biāo)軸和橢圓的長短軸平行，那么代表長軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標(biāo)軸通常并不和橢圓的長短軸平行。因此，需要尋找橢圓的長短軸，并進行變換，使得新變量和橢圓的長短軸平行。如果長軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個變量（舍去次要的一維），降維就完成了。橢圓（球）的長短軸相差得越大，降維也越有道理。對于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看

4、見。首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最長的幾個軸作為新變量；這樣，主成分分析就基本完成。注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分。正如二維橢圓有兩個主軸，三維橢球有三個主軸一樣，有幾個變量，就有幾個主成分。選擇越少的主成分，降維就越好。什么是標(biāo)準(zhǔn)呢？那就是這些被選的主成分所代表的主軸的長度之和占了主軸長度總和的大部分。有些文獻建議，所選的主軸總長度占所有主軸長度之和的大約85%即可，其實，這只是一個大體的說法；具體選幾個，要看實際情況而定。一、主成分分析方法的基本原理假定有n個地理樣本，每個樣本

5、共有p個變量，構(gòu)成一個n×p階的地理數(shù)據(jù)矩陣。當(dāng)p較大時，在p維空間中考察問題比較麻煩。為了克服這一困難，就需要進行降維處理，即用較少的幾個綜合指標(biāo)代替原來較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量多地反映原來較多變量指標(biāo)所反映的信息，同時它們之間又是彼此獨立的。主成分分析的幾何意義主成分分析的過程就是坐標(biāo)系旋轉(zhuǎn)的過程，各主成分就是新坐標(biāo)與原坐標(biāo)的轉(zhuǎn)換關(guān)系，在新坐標(biāo)系中，各坐標(biāo)軸的方向就是原始數(shù)據(jù)變差最大的方向。（一）主成分分析的幾何解釋X2X1Z1Z2θN個樣品無論沿X1軸方向還是沿X2軸方向均有較大的離散性，其離散程度可以分別用觀測變量X1的方差和X2的方差定量地表示

6、，顯然，若只考慮X1和X2中的任何一個，原始數(shù)據(jù)中的信息均會有較大的損失。Z1Z2主成分分析的實質(zhì)就是要求出方差—協(xié)方差矩陣的特征向量及其對應(yīng)的特征值，即要找出方差—協(xié)方差矩陣所確定的橢球的主軸，并確定其長度。方差—協(xié)方差陣的特征向量表示主軸的方向，而其對應(yīng)的特征值表示主軸的長度。（二）特征值與特征向量與方差--協(xié)方差矩陣的聯(lián)系（主成分的數(shù)學(xué)解釋）例如6個樣方、2個種的多度數(shù)據(jù)是：樣方123456物種X1564603物種X21187622數(shù)據(jù)的中心化樣方123456總和物種X11202-4-10物種X25210-4-40中心化后的原始數(shù)據(jù)矩陣把坐標(biāo)軸X1、X2剛性地旋轉(zhuǎn)一個角度

7、，得到圖中虛線表示的新坐標(biāo)軸Y1和Y2。Y1Y26個樣方點在新坐標(biāo)系中位置的數(shù)據(jù)為：與中心化后的原始數(shù)據(jù)有如下關(guān)系：寫成矩陣的形式有：U是坐標(biāo)旋轉(zhuǎn)的變換矩陣，它是正交矩陣，有UT=U-1，即UUT=I（I為單位矩陣）希望Y1軸就是要找的直線：6個點在該線上垂足的離差平方和最大（即畸變最?。摺嘀行幕院蟮臄?shù)據(jù),相當(dāng)于對原始數(shù)據(jù)的離差求和對剛性旋轉(zhuǎn)后的新軸而言，坐標(biāo)原點仍在形心（）。于是6個點在Y1軸上垂足的離差平方和就是它們在Y1軸上坐標(biāo)之平方和。由它的取值只依賴于坐標(biāo)軸旋轉(zhuǎn)角度一個變量，取