超定方程組最小二乘解

《超定方程組最小二乘解》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、超定方程組最小二乘解最小二乘法廣泛地應(yīng)用于工程計(jì)算中，用最小二乘法消除（平滑）誤差，用最小二乘法從有噪聲的數(shù)據(jù)中提取信號(hào)，從海量數(shù)據(jù)中找出數(shù)據(jù)變化的趨勢(shì)，……。甚至利用簡(jiǎn)單函數(shù)計(jì)算復(fù)雜函數(shù)的近似值，我們并不期望它的近似值多么精確（事實(shí)上很多時(shí)候也不用很精確），盡管如此還是希望計(jì)算出的近似數(shù)據(jù)與原始數(shù)據(jù)之間有相似之處。如果從線性代數(shù)角度來(lái)理解最小二乘法，實(shí)際上是將一個(gè)高維空間的向量投影到低維子空間所涉及的工作。一、超定方程組的最小二乘解當(dāng)方程組GX=b的方程數(shù)多于未知數(shù)個(gè)數(shù)時(shí)，對(duì)應(yīng)的系數(shù)矩陣G的行數(shù)大于列數(shù)，此時(shí)方程組被稱為是超定方程組。

2、設(shè)G=(giu)m×n，當(dāng)m>n時(shí)即所謂的高矩陣，絕大多數(shù)情況下，超定方程組沒(méi)有古典意義下的解。超定方程組的最小二乘解是一種廣義解，是指使殘差r=b–GX的2-范數(shù)達(dá)取極小值的解，即該問(wèn)題是一個(gè)優(yōu)化問(wèn)題。命題1：如果X*是正規(guī)方程組GTGX=GTb的解，則X*是超定方程組GX=b的最小二乘解證由題設(shè)可得，GT(b–GX*)=0。對(duì)任意n維向量Y，顯然有(X*–Y)TGT(b–GX*)=0考慮殘差2-范數(shù)平方，由上式右端利用內(nèi)積，得從而有

3、

4、b–GY

5、

6、2≥

7、

8、b–GX*

9、

10、2等式僅當(dāng)Y=X*時(shí)成立。所以X*是超定方程組GX=b的最小二乘

11、解。命題2：如果X*是超定方程組GX=b的最小二乘解，則X*滿足正規(guī)方程組GTGX=GTb證由題設(shè)，，利用2-范數(shù)與內(nèi)積關(guān)系，知X*是下面二次函數(shù)的極小值點(diǎn)j(X)=(GX，GX)–2(GX，b)+(b，b)取任意n維向量v，對(duì)任意實(shí)數(shù)t，構(gòu)造一元函數(shù)g(t)=j(X*+tv)顯然，g(t)是關(guān)于變量t的二次函數(shù)g(t)=(G(X*+tv)，G(X*+tv))–2(G(X*+tv)，b)+(b，b)=g(0)+2t[(GX*，Gv)–(Gv，b)]+t2(Gv，Gv)由題設(shè)t=0是g(t)的極小值點(diǎn)。由極值必要條件，得。即(GX*，Gv

12、)–(Gv，b)=0將左端整理化簡(jiǎn)，便得(Gv，GX*–b)=0利用內(nèi)積性質(zhì)，得(v，GT(GX*–b))=0由v的任意性，得GT(GX*–b)=0一、最小二乘解的幾何意義首先考慮一個(gè)簡(jiǎn)單的超定方程組該方程組的右端向量是三維向量，系數(shù)矩陣的每一列也是三維向量，但待求的未知向量卻是二維向量。將系數(shù)矩陣按列分塊，G=[a1，a2]，記右端向量為b。則方程組求解問(wèn)題可表示為求組合系數(shù)x和y使xa1+ya2=bGX*brmin=b–GX*的向量的線性組合問(wèn)題。由于兩個(gè)向量a1，a2不構(gòu)成三維空間的一組基，所以一般情況下這一問(wèn)題無(wú)解。而由向量a1

13、，a2張成的子空間span{a1，a2}是一張平面，記為p。則超定方程組的最小二乘解實(shí)際上是求X*，使GX*恰好等于b在平面p上的投影。而最小二乘解所對(duì)應(yīng)的殘差向量則垂直于向量GX*。事實(shí)上，由正規(guī)方程組GTGX=GTb得GT(b–GX*)=0上式的幾何意義可解釋為：最小二乘解的殘差向量與超定方程組的系數(shù)矩陣G的所有列向量正交。從而(X*)TGT(b–GX*)=0所以(GX*，b–GX*)=0