航空影像多視匹配方法研究

《航空影像多視匹配方法研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

航空影像多視匹配方法研究1緒論1.1選題的意義在當(dāng)今信息社會(huì)中信息技術(shù)正深刻的改變著社會(huì)的各個(gè)方面。對(duì)信息的獲取、加工、處理和應(yīng)用已成為現(xiàn)代信息社會(huì)最基本、最重要的任務(wù)之一。隨著計(jì)算機(jī)軟硬件技術(shù)的迅速發(fā)展特別是計(jì)算機(jī)在計(jì)算速度、傳輸速度、存儲(chǔ)容量等方面的極大提高和在各行各業(yè)的迅速普及計(jì)算機(jī)圖像處理技術(shù)也迅速發(fā)展并廣泛應(yīng)用在信息社會(huì)中起到越來(lái)越重要的作用。人類(lèi)所獲得的70%以上的外界信息是來(lái)自眼睛攝取的圖像。圖像是人類(lèi)獲取視覺(jué)信息的主要途徑。所謂“圖”就是物體透射或者反射光的分布,“像”是人的視覺(jué)系統(tǒng)接收?qǐng)D的信息而在大腦中形成的印象或認(rèn)識(shí)。前者是客觀存在的后者是人的感覺(jué)圖像是兩者的結(jié)合。在許多場(chǎng)合中沒(méi)有其他形式比圖像所表達(dá)的信息更豐富和更真切。將圖像技術(shù)和計(jì)算機(jī)技術(shù)結(jié)合在一起形成了數(shù)字圖像處理與分析技術(shù)。數(shù)字圖像處理與分析技術(shù)在不同領(lǐng)域的應(yīng)用產(chǎn)生了不同的應(yīng)用學(xué)科。目前已發(fā)展了多門(mén)相關(guān)的應(yīng)用學(xué)科計(jì)算機(jī)視覺(jué)、機(jī)器人視覺(jué)、模式識(shí)別與人工智能、數(shù)字光學(xué)測(cè)量和數(shù)字?jǐn)z影測(cè)量學(xué)等。數(shù)字圖像處理與分析技術(shù)已經(jīng)和計(jì)算機(jī)一樣成為科學(xué)研究中的一種基本、通用的工具。圖像匹配技術(shù)是計(jì)算機(jī)視覺(jué)中的一個(gè)關(guān)鍵技術(shù)很多應(yīng)用領(lǐng)域都離不開(kāi)數(shù)字圖像的匹配技術(shù)。計(jì)算機(jī)所處理的是數(shù)字圖像匹配技術(shù)就是如何利用數(shù)字圖像處理技術(shù)來(lái)求解對(duì)應(yīng)性的問(wèn)題。1.2國(guó)內(nèi)外發(fā)展現(xiàn)狀圖像匹配國(guó)內(nèi)外研究現(xiàn)狀圖像匹配在近幾十年來(lái)一直是人們研究的熱點(diǎn)和難點(diǎn)最早的研究是在70年代美國(guó)從事飛行器輔助導(dǎo)航系統(tǒng)等軍事應(yīng)用研究中提出來(lái)的。經(jīng)歷了10多年的發(fā)展從80年代以后其應(yīng)用逐步從原來(lái)單純的軍事應(yīng)用擴(kuò)大到其它領(lǐng)域。國(guó)內(nèi)外現(xiàn)階段對(duì)圖像匹配研究主要是以提高匹配的精度和速度為主同時(shí)對(duì)匹配方法的通用性及可靠性也有一定要求。已研究比較多的匹配方法主要分為基于圖像灰度的匹配方法和基于圖像特征的匹配方法。第19頁(yè)共19頁(yè)

1基于灰度相關(guān)的圖像匹配方法主要處理不存在旋轉(zhuǎn)的匹配對(duì)象且已經(jīng)提出了各種各樣針對(duì)灰度匹配的方法如Leese于1971年提出的MAD算法BarneaDI和Silverman于1972年提出了序貫相似性檢測(cè)法—SSDA緊接著又提出了歸一化積相關(guān)算法—NC這些方法在時(shí)間復(fù)雜度或匹配精度上均存在一定問(wèn)題不適應(yīng)于實(shí)際的匹配應(yīng)用。對(duì)各種匹配快速算法的研究主要是從盡可能減少匹配運(yùn)算量或搜索的位置數(shù)這兩個(gè)角度入手。后分別對(duì)MAD、NCC和SSDA等經(jīng)典模板匹配算法進(jìn)行改進(jìn)以提高匹配速度將多個(gè)算法進(jìn)行融合以提高匹配速度和準(zhǔn)確度又提出新的匹配方法即基于圖像灰度值編碼的匹配方法較傳統(tǒng)匹配算法在速度上提高了一個(gè)數(shù)量級(jí)但其僅適應(yīng)于矩形匹配對(duì)象且對(duì)局部光照變化非常敏感從而影響匹配準(zhǔn)確度。但在實(shí)際應(yīng)用當(dāng)中一般以不規(guī)則匹配對(duì)象居多且環(huán)境的光照變化也是非常不穩(wěn)定因素因此算法設(shè)計(jì)過(guò)程中必須考慮這幾個(gè)因素。典型的還有在搜索策略上進(jìn)行改進(jìn)的一系列方法分層搜索技術(shù)、遺傳算法、最小二乘、模擬退火、能量最小、削減搜索分支、多子區(qū)域相關(guān)匹配等。匹配速度主要從兩個(gè)方面來(lái)分析一方面分析在同樣硬件環(huán)境下同樣匹配精度和要求下比較所研究方法和其它方法的實(shí)際運(yùn)算時(shí)間。另一方面分析算法進(jìn)行算法時(shí)間復(fù)雜度的比較。由于基于灰度相關(guān)的圖像匹配方法不能解決匹配對(duì)象存在旋轉(zhuǎn)情況下的匹配問(wèn)題所以繼續(xù)研究基于特征的圖像匹配方法主要是針對(duì)匹配對(duì)象存在旋轉(zhuǎn)情況下的匹配方法。最早對(duì)旋轉(zhuǎn)圖像的匹配研究是遍歷的旋轉(zhuǎn)搜索法每旋轉(zhuǎn)一個(gè)角度計(jì)算相關(guān)性或先估計(jì)一個(gè)旋轉(zhuǎn)角度在這個(gè)估計(jì)角度范圍內(nèi)進(jìn)行遍歷搜索很顯然該方法速度非常慢。Farhan第19頁(yè)共19頁(yè)

2Ullah提出了方向碼方法利用圖像方向碼的直方圖進(jìn)行相關(guān)性比較其前提條件是己知道匹配圖像的大致旋轉(zhuǎn)角度如果是任意角度就將模板在360內(nèi)任意可能角度旋轉(zhuǎn)以后再跟待搜索圖匹配速度很慢。1992年Tsai提出了圓投影匹配方法用一個(gè)圓環(huán)內(nèi)的象素平均值進(jìn)行匹配可降低噪聲的影響。同時(shí)不變矩方法在圖像玨配中的應(yīng)用也十分廣泛但其計(jì)算量大匹配速度慢不滿足匹配的實(shí)時(shí)性要求。對(duì)旋轉(zhuǎn)圖像的研究重點(diǎn)是如何更有效地在原圖像和變換后的圖像中提取旋轉(zhuǎn)、縮放、尺度變換等不變特征以提高匹配精度和匹配速度。常使用的特征包括邊緣、區(qū)域、曲率、面積、線交叉點(diǎn)、質(zhì)心等其中以邊緣和區(qū)域邊界最常用它們可由邊緣檢測(cè)方法和圖像分割方法得到。從上述分析可知一方面匹配問(wèn)題是研究熱點(diǎn)另一方面也說(shuō)明匹配問(wèn)題仍然有許多技術(shù)難題沒(méi)有解決且急需解決。在上千種算法中匹配問(wèn)題在準(zhǔn)確性、可靠性?xún)煞矫鎺缀跽也坏酵ㄓ玫?、一勞永逸的算法?.3論文的內(nèi)容與技術(shù)路線本論文主要針對(duì)影像的多匹配方法進(jìn)行了探討與研究，主要采用基于概率松弛的影像匹配還有基于物方面的最小二乘法多視影像匹配，主要討論了這兩種多視的計(jì)算方式、應(yīng)用條件及常用范圍。松弛法整體影像匹配通過(guò)局部松弛來(lái)選出匹配點(diǎn)和傳遞匹配點(diǎn)信息，通過(guò)影像金字塔上的多級(jí)匹配來(lái)實(shí)現(xiàn)整體匹配可靠性。松弛法匹配基于地形局部平滑原理，即在局部范圍內(nèi)地起伏較小(即左右視差可認(rèn)為是平滑變化的)。對(duì)于每個(gè)參與匹配特征點(diǎn)，利用相似性測(cè)度，如相關(guān)系數(shù)的峰值，找出右片上可能的同名點(diǎn)作為候選匹配點(diǎn)。根據(jù)地形的平滑性，同名點(diǎn)應(yīng)能獲得較大的鄰域支持，而錯(cuò)誤的候選點(diǎn)的鄰域支持較小。在松弛迭代過(guò)程中，正確的候選點(diǎn)的概率值在迭代中得到增加，錯(cuò)誤的候選的概率值在迭代中不斷減小。迭代若干次數(shù)后，正確的候選點(diǎn)概率值收斂1，錯(cuò)誤的候選點(diǎn)收斂到O。從而得到正確匹配。在影像金字塔的頂部，分辨率降低，局部的相容性相當(dāng)于原始分辨率影像上大范圍的相容，保證了匹配可靠性。通過(guò)上層匹配的信息為下層匹配提供準(zhǔn)確、可靠的近似值，可以減小匹配候選點(diǎn)搜索范圍，加快匹配速度。本章結(jié)合雙片核線影像介紹松弛法整體影像匹配的原理。然后介紹多視影像對(duì)匹配的改進(jìn)。最后介紹一種基于物方面元的最小二乘影像匹配新方法。松弛法影像匹配的關(guān)鍵點(diǎn)是:.匹配點(diǎn)候選的生成.松弛鄰域的結(jié)構(gòu).概率更新.收斂條件2匹配的基本原理第19頁(yè)共19頁(yè)

3圖像匹配是指通過(guò)一定的匹配算法在兩幅或多幅圖像之間識(shí)別同名點(diǎn)，如二維圖像匹配中通過(guò)比較目標(biāo)區(qū)和搜索區(qū)中相同大小的窗口的相關(guān)系數(shù)，取搜索區(qū)中相關(guān)系數(shù)最大所對(duì)應(yīng)的窗口中心點(diǎn)作為同名點(diǎn)。其實(shí)質(zhì)是在基元相似性的條件下，運(yùn)用匹配準(zhǔn)則的最佳搜索問(wèn)題。圖像匹配主要可分為以灰度為基礎(chǔ)的匹配和以特征為基礎(chǔ)的匹配。2.1灰度匹配灰度匹配的基本思想:以統(tǒng)計(jì)的觀點(diǎn)將圖像看成是二維信號(hào)，采用統(tǒng)計(jì)相關(guān)的方法尋找信號(hào)間的相關(guān)匹配。利用兩個(gè)信號(hào)的相關(guān)函數(shù)，評(píng)價(jià)它們的相似性以確定同名點(diǎn)?；叶绕ヅ渫ㄟ^(guò)利用某種相似性度量，如相關(guān)函數(shù)、協(xié)方差函數(shù)、差平方和、差絕對(duì)值和等測(cè)度極值，判定兩幅圖像中的對(duì)應(yīng)關(guān)系。最經(jīng)典的灰度匹配法是歸一化的灰度匹配法，其基本原理是逐像素的把一個(gè)以一定大小的實(shí)時(shí)圖像窗口的灰度矩陣，與參考圖像的所有可能的窗口灰度陣列，按某種相似性度量方法進(jìn)行搜索比較的匹配方法，從理論上說(shuō)就是采用圖像相關(guān)技術(shù)。利用灰度信息匹配方法的主要缺陷是計(jì)算量太大，因?yàn)槭褂脠?chǎng)合一般都有一定的速度要求，所以這些方法很少被使用?，F(xiàn)在已經(jīng)提出了一些相關(guān)的快速算法，如幅度排序相關(guān)算法，F(xiàn)FT相關(guān)算法和分層搜索的序列判斷算法等。2.2特征匹配特征匹配是指通過(guò)分別提取兩個(gè)或多個(gè)圖像的特征（點(diǎn)、線、面等特征），對(duì)特征進(jìn)行參數(shù)描述，然后運(yùn)用所描述的參數(shù)來(lái)進(jìn)行匹配的一種算法?；谔卣鞯钠ヅ渌幚淼膱D像一般包含的特征有顏色特征、紋理特征、形狀特征、空間位置特征等。特征匹配首先對(duì)圖像進(jìn)行預(yù)處理來(lái)提取其高層次的特征，然后建立兩幅圖像之間特征的匹配對(duì)應(yīng)關(guān)系，通常使用的特征基元有點(diǎn)特征、邊緣特征和區(qū)域特征。第19頁(yè)共19頁(yè)

4特征匹配需要用到許多諸如矩陣的運(yùn)算、梯度的求解、還有傅立葉變換和泰勒展開(kāi)等數(shù)學(xué)運(yùn)算。常用的特征提取與匹配方法有：統(tǒng)計(jì)方法、幾何法、模型法、信號(hào)處理法、邊界特征法、傅氏形狀描述法、幾何參數(shù)法、形狀不變矩法等。基于圖象特征的匹配方法可以克服利用圖象灰度信息進(jìn)行匹配的缺點(diǎn)，由于圖象的特征點(diǎn)比較象素點(diǎn)要少很多，大大減少了匹配過(guò)程的計(jì)算量；同時(shí)特征點(diǎn)的匹配度量值對(duì)位置的變化比較敏感，可以大大提高匹配的精確程度；而且特征點(diǎn)的提取過(guò)程可以減少噪聲的影響，對(duì)灰度變化，圖象形變以及遮擋等都有較好的適應(yīng)能力。所以基于圖象特征的匹配在實(shí)際中的應(yīng)用越來(lái)越廣泛。所使用的特征基元有點(diǎn)特征(明顯點(diǎn)，角點(diǎn)，邊緣點(diǎn)等)邊緣線段等。2.3兩者之間的比較特征匹配與灰度匹配的區(qū)別：灰度匹配是基于像素的，特征匹配則是基于區(qū)域的，特征匹配在考慮像素灰度的同時(shí)還應(yīng)考慮諸如空間整體特征、空間關(guān)系等因素。特征是圖象內(nèi)容最抽象的描述，與基于灰度的匹配方法相比，特征相對(duì)于幾何圖象和輻射度影響來(lái)說(shuō)更不易變化，但特征提取方法的計(jì)算代價(jià)通常較大，并且需要一些自由參數(shù)和事先按照經(jīng)驗(yàn)選取的閥值，因而不便于實(shí)時(shí)應(yīng)用。同時(shí)，在紋理較少的圖象區(qū)域提取的特征的密度通常比較稀少，使局部特征的提取比較困難。另外，基于特征的匹配方法的相似性度量也比較復(fù)雜，往往要以特征屬性、啟發(fā)式方法及閥方法的結(jié)合來(lái)確定度量方法。3基于概率松弛的影像匹配3.1雙視松弛法影像匹配原理雙視影像匹配一般是在核線影像上進(jìn)行。如圖3.1，在左片核線影像式建立一個(gè)一定間隔的規(guī)則格網(wǎng)。對(duì)每個(gè)格網(wǎng)點(diǎn)()設(shè)對(duì)應(yīng)的像素坐標(biāo)為()，松弛法匹配的算法可以描述如下:(l)按給定的窗口大小按式(3-1)在右片同名核線上的搜索范圍內(nèi)進(jìn)行相關(guān)計(jì)算，得到左片格網(wǎng)點(diǎn)為中心的影像窗口與搜索區(qū)域內(nèi)的每個(gè)像元為中心的影像窗口的相關(guān)系數(shù)。對(duì)于左片以(i，j)為中心的目標(biāo)窗口，-個(gè)左右視差山確定了在右片上相應(yīng)的搜索窗口。相關(guān)系數(shù)的計(jì)算公式為:(3-1)這里，幾為左影像目標(biāo)窗口(i，j)力處的像素值，為目標(biāo)窗口的灰度均值；為右影像搜索窗口(i，j+)處的像素值，搜索窗口的灰度均值。(2)對(duì)搜索范圍內(nèi)的每個(gè)點(diǎn)進(jìn)行掃描，記下大于給定閡值的相關(guān)系數(shù)的峰值點(diǎn)，作為匹配候選點(diǎn)(或稱(chēng)匹配假設(shè))。(3)假設(shè)格網(wǎng)點(diǎn)()有n個(gè)候選匹配點(diǎn)。為方便起見(jiàn)，把格網(wǎng)點(diǎn)()用i表示，候選匹配用k表示，候選匹配個(gè)數(shù)用第19頁(yè)共19頁(yè)

5表示；i點(diǎn)的8鄰域點(diǎn)用j表示，候選匹配用l表示。則第i點(diǎn)的第k個(gè)候選的概率為(3-2)這里，k=0時(shí)表示零匹配，零匹配的虛擬相關(guān)系數(shù)設(shè)為:在每個(gè)格網(wǎng)點(diǎn)的匹配候選生成后，按8鄰域進(jìn)行松弛迭代，不斷修改每個(gè)候選的匹配概率，直到迭代收斂。從匹配點(diǎn)的唯一性和視差變化的平滑性等條件出發(fā)，利用Byaes原理可以得到概率松弛公式如下:(3-3)(3-4)(3-5)式中，為第i點(diǎn)第k個(gè)候選點(diǎn)第r次迭代的匹配概率，為第i點(diǎn)的第k個(gè)候選點(diǎn)與第j點(diǎn)第l個(gè)候選點(diǎn)的之間的相容系數(shù)，為左右視差較的函數(shù)是為相容系數(shù)的調(diào)整參數(shù)為松弛系數(shù)為第i點(diǎn)的鄰域。第19頁(yè)共19頁(yè)

6圖3.1雙片核線影像圖匹配圖3.2多視候選匹配的搜索與驗(yàn)證3.2多視松弛法影像匹配3.2.1多視匹配的處理多視影像的像方松弛匹配采取與雙片松弛匹配相似思路進(jìn)行。主要的改變是同名點(diǎn)的搜索在原始影像上沿著核線進(jìn)行。而式（3-5)中的視差第19頁(yè)共19頁(yè)

7用高差代替。因?yàn)樵诙嘁曈跋裰?，?duì)于一個(gè)影像上的一點(diǎn)，對(duì)其它片都有核線存在，視差不再是表示同名點(diǎn)的唯一參數(shù)。這時(shí)，可以用（x，y，Z)代替（x，y，P)。因?yàn)橥c(diǎn)在物方空間的交會(huì)是唯一的，所以Z也是唯一的。多視影像的像方松弛匹配的目的就是要確定每個(gè)格網(wǎng)點(diǎn)上的高程。如圖3.2，影像l上的點(diǎn)P在影像2，3，4上都可能存在匹配候選，但只有一個(gè)是正確的。這些候選，有的在所有片上都出現(xiàn)，有的可能只出現(xiàn)在某一些片。為了找出正確的候選，必須把各片所有可能候選都找到，同時(shí)還要保證一個(gè)高程上只有一個(gè)候選，否則會(huì)影響候選概率的更新。多視候選匹配的搜索與驗(yàn)證如果一個(gè)直線段的方向平行(或近似平行)于核線，則該線段上的點(diǎn)在該核線對(duì)上的相關(guān)系數(shù)會(huì)幾乎相等，峰值將很不穩(wěn)定。為了避免在與直線平行的核線上搜索匹配點(diǎn)，我們先計(jì)算待匹配點(diǎn)的梯度方向，如果梯度方向與核線垂直，則不在該核線上在搜索匹配候選點(diǎn)。多視影像匹配的一個(gè)優(yōu)勢(shì)就在于可以選擇條件較好的影像來(lái)進(jìn)行匹配候選的搜索。綜上所述，候選匹配搜索過(guò)程總結(jié)如下:(1)對(duì)于待匹配影像上的每一待匹配點(diǎn)，計(jì)算該點(diǎn)的梯度方向(2)根據(jù)給定的高程范圍()計(jì)算該點(diǎn)在物方空間的光束直線段。(3)在每個(gè)影像上(除本影像外)a)計(jì)算直線段凡PH在該影像上的投影(即核線段)b)在核線段pLPn上計(jì)算每個(gè)像點(diǎn)的相關(guān)系數(shù)c）尋找相關(guān)系數(shù)的峰值點(diǎn)d)對(duì)每一峰值點(diǎn)，按空間前交公式計(jì)算出空間坐標(biāo)(X，Y,Z),并投影到其它片進(jìn)行驗(yàn)證，即計(jì)算相關(guān)系數(shù)，如果相關(guān)系數(shù)大于給定闡值那么認(rèn)為在該片上得到驗(yàn)證。e)把峰值點(diǎn)加入候選匹配隊(duì)列。在加入前，先檢查該點(diǎn)是否已經(jīng)在隊(duì)列中。假如不存在則加入。在進(jìn)行多視驗(yàn)證時(shí)，考慮到投影誤差一般會(huì)在投影點(diǎn)一定的半徑內(nèi)，可以取投影點(diǎn)周?chē)欢ò霃絻?nèi)相關(guān)系數(shù)最大的點(diǎn)來(lái)進(jìn)行判斷。因此可以看出，每個(gè)候選匹配點(diǎn)的空間坐標(biāo)是由前兩個(gè)匹配影像上的像點(diǎn)計(jì)算的，其它的影像只起到驗(yàn)證的作用。這樣多個(gè)影像的信息沒(méi)有被充分利用。為了利用所有影像的信息，需要按多片最小二乘影像匹配求得唯一的坐標(biāo)值。3.2.2由多視相關(guān)系數(shù)計(jì)算初始概率假設(shè)目標(biāo)影像有m個(gè)匹配影像點(diǎn)。設(shè)目標(biāo)影像點(diǎn)i在像片j上有第19頁(yè)共19頁(yè)

8個(gè)相關(guān)系數(shù)峰值點(diǎn)。假設(shè)按高程對(duì)不同視的候選同名點(diǎn)進(jìn)行合并后，像點(diǎn)i總共有n個(gè)候選點(diǎn)，每個(gè)候選對(duì)應(yīng)的高程則為，k=l，2，…，，n在像片j上的相關(guān)系數(shù)為，k=1,2，…，n。為了進(jìn)行松弛優(yōu)化計(jì)算，需要估計(jì)每個(gè)匹配假設(shè)的初始概率?？梢钥紤]兩種估算方法。一種是直接把每個(gè)候選點(diǎn)的多視相關(guān)系數(shù)加起來(lái)，除以所有候選點(diǎn)的相關(guān)系數(shù)的和，作為初始概率。(3-6)式中為影像j上零匹配的虛擬相關(guān)系數(shù)。另一種方法可以先獨(dú)立考慮每個(gè)候選點(diǎn)在相應(yīng)影像上的初始概率，然后通過(guò)概率公式，計(jì)算出多視候選的聯(lián)合概率。首先獨(dú)立考慮目標(biāo)像片與匹配像片j(j=1，2，…，m)。按式（3-7），候選k的初始概率為:(3-7)零匹配的虛擬相關(guān)系數(shù)為:(3-8)聯(lián)合考慮一個(gè)候選點(diǎn)在不同的影像上出現(xiàn)的情況，待匹配點(diǎn)i的初始聯(lián)合概率可以從匹配事件發(fā)生的可能組合來(lái)計(jì)算。因?yàn)榇ヅ潼c(diǎn)i的高程不為及的條件是，在所有m個(gè)影像的候選匹配都是假的。因此，待匹配點(diǎn)P的高程為i的概率P()為:(3-9)待匹配點(diǎn)i零匹配的初始概率定為:(3-10)按式(3-9)、(3-10)計(jì)算出每個(gè)候選高程上的聯(lián)合概率后，還需要進(jìn)行規(guī)一化處理得到最后的初始概率。舉例說(shuō)明如下:設(shè)影像O上點(diǎn)P與影像1，2，3的候選匹配的相關(guān)系數(shù)和方法1第19頁(yè)共19頁(yè)

9估算的結(jié)果列于表3.1。按按式(3-9)、(3-10)計(jì)算得到聯(lián)合概率列于表3.2。表3.1中沒(méi)有清除很小的相關(guān)系數(shù)。從表中可以看出，兩種方法計(jì)算的初始概率基本是一致的。表3.1第一種算法侯選點(diǎn)1234零匹配和影像10.600.310.800.890.102.70影像20.690.900.510.300.102.50影像30.600.400.190.210.401.80相關(guān)系數(shù)和1.891.611.51.40.67初始概率0.270.230.210.200.0091.00表3.2第二種算法點(diǎn)侯選1234零匹配和影像10.220.110.300.330.0371.0影像20.280.360.200.120.051.0影像30.330.220.110.110.221.0聯(lián)合概率0.630.560.500.480.372.53規(guī)一化0.250.220.200.190.151.0下面把小于0.5的相關(guān)系數(shù)清除，按兩種方法重新計(jì)算i的初始概率。結(jié)果列于表3.3和.3.4?？梢钥闯?，清除小于0.5的相關(guān)系數(shù)后，候選點(diǎn)1在3個(gè)影像上都會(huì)有相關(guān)系數(shù)，而點(diǎn)2、3、4的相關(guān)系數(shù)雖然很大，但只在一個(gè)影像上出現(xiàn)。計(jì)算結(jié)果顯示，多片匹配的點(diǎn)概率與單個(gè)影像匹配的點(diǎn)的初始概率優(yōu)勢(shì)得到了充分體現(xiàn)。比較兩種方法計(jì)算的結(jié)果，零匹配概率和點(diǎn)2的概率有明顯差異外。在表3.3中，相同相關(guān)系數(shù)的點(diǎn)2和點(diǎn)4在不同的影像上，按先獨(dú)立估計(jì)再聯(lián)合計(jì)算的方法，點(diǎn)2和點(diǎn)4的初始概率不同，而按直接相加的方法，點(diǎn)2和點(diǎn)4沒(méi)有區(qū)別。在實(shí)際匹配中，采用兩種估算方法進(jìn)行了實(shí)驗(yàn)，匹配結(jié)果看不出特別明顯的差別。表3.3除去小于0.5相關(guān)系數(shù)后第一種算法第19頁(yè)共19頁(yè)

10候選點(diǎn)1234零匹配和影像10.590.810.900.102.4影像20.710.890.101.7影像30.600.401.0相關(guān)系數(shù)和1.90.890.810.900.605.1初始概率0.370.180.160.180.121.0表3.4除去小于0.5相關(guān)系數(shù)后第二種算法候選點(diǎn)1234零匹配和影像10.250.330.380.041.0影像20.410.530.061.0影像30.600000.401.0聯(lián)合概率0.820.530.330.380.182.24規(guī)一化0.370.240.150.170.081.03.3粗差點(diǎn)的剔除經(jīng)過(guò)松弛法匹配后，并不能完全保證匹配收斂的結(jié)果都是完全正確的，需要進(jìn)一步進(jìn)行驗(yàn)證。本文的策略是，把每個(gè)格網(wǎng)點(diǎn)的匹配結(jié)果與8鄰域格網(wǎng)點(diǎn)的匹配結(jié)果進(jìn)行比較，統(tǒng)計(jì)高差在給定值范圍內(nèi)的點(diǎn)數(shù)，稱(chēng)為一致匹配的點(diǎn)數(shù)。如果一致匹配的點(diǎn)數(shù)小于2，則認(rèn)為該點(diǎn)是粗差點(diǎn)。3.4金字塔影像匹配結(jié)果的傳遞第19頁(yè)共19頁(yè)

11松弛法整體影像匹配的整體性是通過(guò)多分辨率匹配來(lái)實(shí)現(xiàn)的。因?yàn)榛?鄰域的格網(wǎng)松弛法匹配，而其鄰域是局部有限的。雖然松弛過(guò)程中可以有匹配結(jié)果的傳遞，但要達(dá)到全局松弛還是很難的。因此多級(jí)匹配是松弛法整體影像匹配的重要組成部分。多級(jí)匹配的實(shí)現(xiàn)很簡(jiǎn)單，只需要在進(jìn)行高一級(jí)分辨率匹配時(shí)，利用低分辨率的匹配結(jié)果確定匹配候選的搜索范圍。處理方法如下:利用所有匹配成功的點(diǎn)構(gòu)成一個(gè)三角網(wǎng)，當(dāng)進(jìn)行高分辨率影像匹配時(shí)，把待匹配點(diǎn)的點(diǎn)位坐標(biāo)換算到低分辨率的影像上，然后在三維網(wǎng)內(nèi)確定該點(diǎn)所在的三角形，通過(guò)該三角形的3個(gè)頂點(diǎn)以及各邊所對(duì)的相鄰三角形的3個(gè)頂點(diǎn)共6個(gè)點(diǎn)的高程來(lái)確定點(diǎn)的高程范圍，可以取6個(gè)頂點(diǎn)的最大、最小高程作為高程范圍。如果待匹配點(diǎn)所在的地方，地形較平坦，那么匹配成功率較高，構(gòu)網(wǎng)數(shù)據(jù)點(diǎn)較密，三角形較小。在高差變化較大的地方，匹配的成功率較低，構(gòu)網(wǎng)數(shù)據(jù)點(diǎn)較稀，三角形較大，確定的高程范圍也自動(dòng)增大。因此，按上述方法進(jìn)行高程范圍估計(jì)可以自動(dòng)根據(jù)三角形的大小，確定盡可能小的高程范圍，避免增加不必要的搜索工作量。4基于物方面元的多視最小二乘匹配4.1共線方程約束的多片最小二乘匹配及不足以三個(gè)片為例，為待匹配點(diǎn)，，，為的同名點(diǎn)。最小二乘匹配假設(shè)，，為中心的窗口之間存在仿射變形和線性輻射畸變。設(shè)為以為中心的影像窗口內(nèi)像素()的灰度，(i=1，2)為以p為中心的影像窗口內(nèi)同名像素()的灰度，則有:(4-1)這里，為第O片點(diǎn)與第i片同名點(diǎn)之間存在的輻射畸變。(4-2)這里，偽i為第0片影像窗口的點(diǎn)與第i片同名點(diǎn)之間存在的仿射映射系數(shù)。MPGC算法認(rèn)為，不是獨(dú)立的，而是物方點(diǎn)的投影。因此，與滿足共線方程。(4-3)第19頁(yè)共19頁(yè)

12這里，為第i片的投影中心，(，…，)為第i片旋轉(zhuǎn)矩陣的元素。當(dāng)i=10時(shí)，式(4-3)變?yōu)橐粋€(gè)純粹的約束條件，把物點(diǎn)約束在像點(diǎn)光束上。如果有m個(gè)影像，匹配窗口的像素個(gè)數(shù)為n。為了確定的物方坐標(biāo)，未知數(shù)個(gè)數(shù)為怡2(m-1)+6(m-1)+3=8(m-1)+3個(gè)，誤差方程個(gè)數(shù)為n(m-1)個(gè)，條件方程個(gè)數(shù)為2m個(gè)。4.2基于物方面元的最小二乘影像匹配圖4.2.1，假設(shè)P點(diǎn)在三個(gè)影像上投影分別為，則以為中心的影像窗口是以P點(diǎn)為中心的某個(gè)物方面元均的投影。面元?jiǎng)t可以是平面元、斜面元、二次曲面等。當(dāng)面元為斜面元的時(shí)候，相當(dāng)于最小二乘匹配采用的仿射映射模型。下面以斜面元為例來(lái)推導(dǎo)相應(yīng)的平差模型。以第一個(gè)影像為準(zhǔn)，把窗口中心點(diǎn)投影到斜面元f上，得到空間三維坐標(biāo)(X，Y，Z)再反射到其它片得到相應(yīng)的像點(diǎn)。則像點(diǎn)與像元的灰度同樣滿足式(4-4)。如圖4.1，設(shè)過(guò)物點(diǎn)(Xc，Yc，Zc)的斜面元的法線為(a，b，c)。斜面元法線由法線方向角決定。圖4.1多片最小二乘影響匹配第19頁(yè)共19頁(yè)

13圖4.2物方面元與光束的交點(diǎn)斜面元的方程為：(4-4)法線向量與方向角的關(guān)系為：(4-5)過(guò)像點(diǎn)的光束方程為：（4-6）第19頁(yè)共19頁(yè)

14這里，為像點(diǎn)的像空間輔助坐標(biāo)，R為投影系數(shù)。像空間輔助坐標(biāo)(u，v，w)與像點(diǎn)(x，y)的關(guān)系為:(4-7)其中，R為像片的旋轉(zhuǎn)矩陣。過(guò)像點(diǎn)的光束與斜面元的交點(diǎn)滿足:(4-8)因此，(4-9)由于面元的中心也在光束上，有，(4-10)(4-11)帶入(4-11)有:(4-12)物點(diǎn)(X，Y，Z)到像片i的投影滿足共線方程(假設(shè)主點(diǎn)為坐標(biāo)0)(4-13)第19頁(yè)共19頁(yè)

15聯(lián)立方程(4-1)、(4-6)、(4-15)，可以列出誤差方程。未知數(shù)為斜面中心的高程Zc，斜面法向量方向角，像片1，2到片0的輻射畸變系數(shù)。和MGPC算法相比，基于物方面元的方法消除了各片獨(dú)立的仿射變換系數(shù)，未知數(shù)數(shù)目會(huì)大大減少。誤差方程為，(4-13)其中,(4-15)(4-16)(4-17)(4-18)(4-19)(4-20)第19頁(yè)共19頁(yè)

16(4-21)(4-22)(4-23)(4-24)(4-25)(4-26)在用相關(guān)系數(shù)法求得匹配點(diǎn)，按空間后交求得物方點(diǎn)的初值后，假定初始面元為水平面元，即可按照上述公式平差解該點(diǎn)得精確三維坐標(biāo).5總結(jié)展望5.1總結(jié)第19頁(yè)共19頁(yè)

17本文在介紹松弛法匹配原理的基礎(chǔ)上，針對(duì)多視影像的特殊性，討論了多視影像候選匹配的生成、多視候匹配選初始概率估計(jì)、金字塔影像匹配結(jié)果的傳遞等問(wèn)題。本文對(duì)多視最小二乘匹配進(jìn)行了改進(jìn)，基于物方面元的最小二乘影像匹配的算法，該算法不僅可以消除各片之間獨(dú)立的變形系數(shù)，減少未知數(shù)，還可以得到空間面元的法向量。5.2展望總的來(lái)說(shuō)，經(jīng)過(guò)十幾年的不懈努力，多視影像匹配的研究己經(jīng)取得了一些進(jìn)展。但是目前還沒(méi)有能夠?qū)Ω鞣N場(chǎng)景自主地進(jìn)行3D重建的完整系統(tǒng)。特別是，對(duì)于含有各種建筑形狀類(lèi)型、房頂類(lèi)型以及地形復(fù)雜的城區(qū)更是如此。這也是多源信息方法和半自動(dòng)方法得到重視的原因。另一方面，應(yīng)該看到自動(dòng)三維重建的研究還沒(méi)有走到絕路。以雙視立體匹配為例，過(guò)去認(rèn)為從立體對(duì)利用相關(guān)匹配的方法己經(jīng)沒(méi)有什么發(fā)展的可能，但是近來(lái)的一些研究表明，通過(guò)開(kāi)發(fā)新的算法，可以建立可靠的、精確的、保持高度不連續(xù)性的密集DsM(codr，etal.，2002)，為公共服務(wù)的檢測(cè)和提取提供服務(wù)。參考文獻(xiàn)[1]吳曉良.匹配的松弛途徑[M].武漢測(cè)繪科技大學(xué)，1989：15-20.[2]張力，張祖勛，張劍清.基于約束滿足神經(jīng)網(wǎng)絡(luò)的整體影像匹配[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào)，1993:20.[3]張力，沈未名，張祖勛.基于視差變強(qiáng)度空間連續(xù)性約束的神經(jīng)網(wǎng)絡(luò)影象匹配[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào)，1999:5.[4]張祖勛，張劍清，吳曉良.整體松弛影像匹配[J].1989：7-10[5]仇彤.基于小波變換的松弛法影像匹配[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào)，1993:66-67.[6]邵巨良.無(wú)需相似性量測(cè)的多片影像匹配[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào)，1989：15-20.[7]張祖勛，張劍清，胡翔云.基于物方空間幾何約束最小二乘匹配的建筑物半自動(dòng)提取方法[J].武漢大學(xué)學(xué)報(bào)(信息版)，1997:93-95.[8]王之卓.攝影測(cè)量原理續(xù)編[J].測(cè)繪出版社，1990:77-79.[9]李德仁，鄭肇葆.解析攝影測(cè)量學(xué)[J].測(cè)繪出版社，1998:87-89.AerialImageMulti-ViewMatchingMethodResearchAbstract:Asaerialimageryacquiredconveniencely,efficiencilyandhighinformationaccommodate,Photographymeasurementmethodfromtheimageobjectextractionofgeometricfeatures(orgeometricelements),iscurrentlytheprimarymeansofaccessto第19頁(yè)共19頁(yè)

18data,butduetotheartificialsurfacefeaturesthedataacquisitionistimeconsuming,costly,andhencethedevelopmentoftheautomaticmappingalgorithmisveryimportant.Thestudyofthisissueisnotonlyrelevant,butalsohasagoodscientificvalue.Thispaperforthecharacteristicsofaerialimagery,mostworkdeonthemulti-viewimagematching.Overallrelaxationofparallaxgrid-basedimagematchingalgorithmisextendedtomulti-viewimagematching.Introducedrelaxationmethodofimagematchingmethodbasedonthree-dimensionalpointoftheObjectSpace.Matchinmulti-viewthree-dimensionalpointestimates,thestudybasedonthephysicalaspectsofasinglemulti-chipleastsquaresalgorithm.Thismethodnotonlyreducestheneedtoestimatetheparameters,youcanalsogetthenormalvectorofthesurfaceelement.Keywords:multipleimages;matchingtwoimagesrelaxationmatching;methodmatching;withleastsquaresmatching第19頁(yè)共19頁(yè)