資源描述：
《線(xiàn)性模型參數(shù)的最小二乘估計(jì)綜述》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、線(xiàn)性模型參數(shù)的最小二乘估計(jì)綜述研1104班檢測(cè)自動(dòng)化李宇201104212摘要：本文簡(jiǎn)要介紹了線(xiàn)性模型參數(shù)的最小二乘估計(jì)的特點(diǎn)及相應(yīng)的發(fā)展過(guò)程?？偨Y(jié)了最小二乘估計(jì)的基本理論，探討了最小二乘估計(jì)存在的問(wèn)題和相應(yīng)的解決方法。關(guān)鍵詞：線(xiàn)性模型；最小二乘估計(jì)；綜述SurveyontheleastsquaresestimationonlinearmodelAbstract:Thecharacteristicsanddevelopmentprocessoftheleastsquaresestimationonlinearmodelarebriefl
2、yintroduced.Thebasictheoriesoftheleastsquaresestimationarepresentedindetail.Openissuesanddevelopmentintendsarealsodiscussed.Keywords:linearmodel;leastsquares;survey1前言最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過(guò)最小化誤差的平方來(lái)尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡(jiǎn)便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。隨著信息產(chǎn)業(yè)的飛速發(fā)展，在現(xiàn)代科學(xué)和
3、技術(shù)的許多領(lǐng)域廣泛存在著信息的處理問(wèn)題，根據(jù)不同的需要，人們?cè)诟鞣N優(yōu)化準(zhǔn)則下研究這些信息的優(yōu)化處理。由于信息的產(chǎn)生和收集常常受到各種噪聲的干擾，數(shù)據(jù)一般是不確定的，而是具有一定統(tǒng)計(jì)特性的隨機(jī)數(shù)據(jù)。在隨機(jī)問(wèn)題的參數(shù)估計(jì)方面，人們提岀了均方誤差、線(xiàn)性最小方差、最小二乘估計(jì)等優(yōu)化準(zhǔn)則,并在一定假設(shè)下得到了這些優(yōu)化準(zhǔn)則下最優(yōu)估計(jì)的解析表達(dá)式。而在均方誤差和線(xiàn)性最小方差意義下求最優(yōu)解時(shí)，需要待估參數(shù)的誤差方差陣已知，但在實(shí)際問(wèn)題屮是很難知道的；最小二乘法則不需要待估參數(shù)和誤差的任何先驗(yàn)統(tǒng)計(jì)信息，非常便于實(shí)際應(yīng)用。線(xiàn)性模型是數(shù)理統(tǒng)計(jì)學(xué)中很重要的分支
4、，也是最小二乘法在統(tǒng)計(jì)中應(yīng)用最成功的領(lǐng)域。本文簡(jiǎn)要介紹了線(xiàn)性模型參數(shù)的最小二乘估計(jì)的特點(diǎn)及相應(yīng)的發(fā)展過(guò)程，總結(jié)了最小二乘估計(jì)的基本理論，探討了最小二乘估計(jì)存在的問(wèn)題和解決方法。2最小二乘法的發(fā)展過(guò)程通常的線(xiàn)性模型表示為：y=X0+￡*R”,XwRW,0wRr其屮E（￡）=O,C"（￡）=/V，Y稱(chēng)為隨機(jī)觀(guān)測(cè)矩陣，X為設(shè)計(jì)矩陳，￡為隨機(jī)觀(guān)測(cè)噪聲，V為誤差協(xié)方差矩陣：0和＜7為待估計(jì)參數(shù)。從表達(dá)式可以看到變量X與Y之間的這種線(xiàn)性關(guān)系與通常的函數(shù)關(guān)系不同，因?yàn)樽兞縔的值不能夠完全精確地由X的值所確定。最小二乘法起源丁?求解線(xiàn)性孑盾方程組即線(xiàn)性
5、模型參數(shù)的估值問(wèn)題。兩個(gè)世紀(jì)前，著名數(shù)學(xué)家A.M.Legendre和C.F.Gauss把最小二乘應(yīng)用于觀(guān)測(cè)數(shù)據(jù)的分析。后來(lái),A.A.Markov于1900年證明了最小二乘估計(jì)的最小方差性質(zhì),即著名的gauss-Markov定理，奠定了最小二乘估計(jì)在參數(shù)估計(jì)理論中的地位OR.C.Bose于1944年引入的可估函數(shù)的概念以及廣義矩陣的應(yīng)用，使得設(shè)計(jì)矩陣為列降秩的線(xiàn)性模型的估計(jì)理論表達(dá)的更加嚴(yán)格而簡(jiǎn)潔。誤差方差陣為奇異陣的線(xiàn)性模型的研究始于本世紀(jì)60年代屮期。Goldman和Zelen[l]率先捉出了用滿(mǎn)秩線(xiàn)性變換把模型化為協(xié)方差陣為帶約束的
6、情形。后來(lái)C.R.Rao[2]采用推廣最小二乘的途徑,提出了"最小二乘統(tǒng)一理論”ULS（TheUnifiedTheoryofLeastSquares）,它既實(shí)用于設(shè)計(jì)矩陣為列滿(mǎn)秩或列降秩，又實(shí)用于誤差方差陣為奇異的情形。而兒乎在同一時(shí)期，C.R.Rao還提出了另一種計(jì)算模型BLUE的方法一—分塊逆矩陣法。3最小二乘估計(jì)的基本原理3.1最小二乘一次完成法假定觀(guān)測(cè)模型是線(xiàn)性的，待估計(jì)量為&二冷,&2,…為r，觀(guān)測(cè)為Zj=+hi202+???+hiM0M,i=l,2,…,N用矢量和可表示為z=HO+v其中z=[zpz2,---z^f,v=[v
7、1,v2,---vAf]r,H=^21觀(guān)測(cè)與估計(jì)偏差的平方和可表示為丿@）=[z?H卸[z-H$]最小二乘估計(jì)就是使丿0)最小的估計(jì),記為入。求丿(勿對(duì)$的導(dǎo)數(shù)，并令導(dǎo)數(shù)等于零，得^1=-2Ht[z-H0]=O由此可得最小二乘估計(jì)為3.2最小二乘遞推算法k=(HTH)~]HTz上述的算法是在取得整批數(shù)據(jù)后，一次求取參數(shù)的估計(jì)值。在采樣次數(shù)k值大的時(shí)候，計(jì)算量比較大，因此提出了最小二乘遞推算法。遞推算法的一般形式是&+1=a+k如卜仗+1)-兀+點(diǎn)二&+K如卜伙+1)-歟+1)]+K&+Q伙+i)上式中：瓦是第k次采樣數(shù)據(jù)后求出的參數(shù)估計(jì)
8、值，$如是得到第k+i次采樣數(shù)據(jù)后求出的參數(shù)值，/如是H矩陣的k+l行，仏&是預(yù)報(bào)；g值，是(2n+l)維的修止列向量矩陣。在最小二乘遞推算法中，K⑷的表達(dá)式為：Km=(H「HfhK+l[l+k気(H丁町'
