超定方程組最小二乘解

《超定方程組最小二乘解》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在行業(yè)資料-天天文庫。

1、超定方程組最小二乘解最小二乘法廣泛地應用于工程計算中，用最小二乘法消除（平滑）誤差，用最小二乘法從有噪聲的數(shù)據(jù)中提取信號，從海量數(shù)據(jù)中找出數(shù)據(jù)變化的趨勢，……。甚至利用簡單函數(shù)計算復雜函數(shù)的近似值，我們并不期望它的近似值多么精確（事實上很多時候也不用很精確），盡管如此還是希望計算出的近似數(shù)據(jù)與原始數(shù)據(jù)之間有相似之處。如果從線性代數(shù)角度來理解最小二乘法，實際上是將一個高維空間的向量投影到低維子空間所涉及的工作。一、超定方程組的最小二乘解當方程組GX=b的方程數(shù)多于未知數(shù)個數(shù)時，對應的系數(shù)矩陣G的行數(shù)大于列數(shù)，此時方程組被稱為是超定方程組。

2、設G=(giu)m×n，當m>n時即所謂的高矩陣，絕大多數(shù)情況下，超定方程組沒有古典意義下的解。超定方程組的最小二乘解是一種廣義解，是指使殘差r=b–GX的2-范數(shù)達取極小值的解，即該問題是一個優(yōu)化問題。命題1：如果X*是正規(guī)方程組GTGX=GTb的解，則X*是超定方程組GX=b的最小二乘解證由題設可得，GT(b–GX*)=0。對任意n維向量Y，顯然有(X*–Y)TGT(b–GX*)=0考慮殘差2-范數(shù)平方，由上式右端利用內(nèi)積，得從而有

3、

4、b–GY

5、

6、2≥

7、

8、b–GX*

9、

10、2等式僅當Y=X*時成立。所以X*是超定方程組GX=b的最小二乘

11、解。命題2：如果X*是超定方程組GX=b的最小二乘解，則X*滿足正規(guī)方程組GTGX=GTb證由題設，，利用2-范數(shù)與內(nèi)積關系，知X*是下面二次函數(shù)的極小值點j(X)=(GX，GX)–2(GX，b)+(b，b)取任意n維向量v，對任意實數(shù)t，構(gòu)造一元函數(shù)g(t)=j(X*+tv)顯然，g(t)是關于變量t的二次函數(shù)g(t)=(G(X*+tv)，G(X*+tv))–2(G(X*+tv)，b)+(b，b)=g(0)+2t[(GX*，Gv)–(Gv，b)]+t2(Gv，Gv)由題設t=0是g(t)的極小值點。由極值必要條件，得。即(GX*，Gv

12、)–(Gv，b)=0將左端整理化簡，便得(Gv，GX*–b)=0利用內(nèi)積性質(zhì)，得(v，GT(GX*–b))=0由v的任意性，得GT(GX*–b)=0一、最小二乘解的幾何意義首先考慮一個簡單的超定方程組該方程組的右端向量是三維向量，系數(shù)矩陣的每一列也是三維向量，但待求的未知向量卻是二維向量。將系數(shù)矩陣按列分塊，G=[a1，a2]，記右端向量為b。則方程組求解問題可表示為求組合系數(shù)x和y使xa1+ya2=bGX*brmin=b–GX*的向量的線性組合問題。由于兩個向量a1，a2不構(gòu)成三維空間的一組基，所以一般情況下這一問題無解。而由向量a1

13、，a2張成的子空間span{a1，a2}是一張平面，記為p。則超定方程組的最小二乘解實際上是求X*，使GX*恰好等于b在平面p上的投影。而最小二乘解所對應的殘差向量則垂直于向量GX*。事實上，由正規(guī)方程組GTGX=GTb得GT(b–GX*)=0上式的幾何意義可解釋為：最小二乘解的殘差向量與超定方程組的系數(shù)矩陣G的所有列向量正交。從而(X*)TGT(b–GX*)=0所以(GX*，b–GX*)=0