多視點視頻虛擬視點合成技術(shù)綜述【文獻綜述】

《多視點視頻虛擬視點合成技術(shù)綜述【文獻綜述】》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、畢業(yè)論文文獻綜述電子信息工程多視點視頻虛擬視點合成技術(shù)綜述摘要：隨著多視點視頻研究的發(fā)展，各種多視點視頻編碼技術(shù)的研究都成為熱點領(lǐng)域，其中虛擬視點合成技術(shù)尤為關(guān)鍵，本文簡要概括了多視點視頻編碼技術(shù)的發(fā)展歷程和虛擬視點合成算法的研究現(xiàn)狀，一種高效的虛擬視點插值算法是高質(zhì)量圖像合成的基礎(chǔ)。本文重點介紹了幾種現(xiàn)在虛擬視點插值算法并做了比較，由比較分析出每種算法的優(yōu)缺點。關(guān)鍵詞：多視點視頻；視頻編碼技術(shù)；虛擬視點合成；1多視點視頻編碼技術(shù)簡介多視點視頻(Multi-viewVideo)是一種新型的具有立體感和交互操作功能的視頻,通過在場景中放置多臺攝像機,記錄下多個視點

2、數(shù)據(jù),提供給用戶以視點選擇和場景漫游的交互能力。多視點視頻將在自由視點視頻、立體電視、立體視頻會議、多視點視頻點播等數(shù)字娛樂領(lǐng)域有著非常廣泛的應(yīng)用前景。隨著相機數(shù)目的增加,多視點視頻的數(shù)據(jù)量也成倍增加。系統(tǒng)的一個挑戰(zhàn)就是研究實現(xiàn)一種高效的多路編碼傳輸機制,從而對數(shù)據(jù)進行高效地壓縮以便存儲和傳輸視頻序列。多視序列包含同一個場景內(nèi)多個視點的畫面,畫面之間存在很高的相關(guān)性,如何消除這些冗余,是多視點視頻編碼的一個重要問題。特別是,對于多視點視頻編碼來說,在消除空間冗余的同時,還要消除時間上的冗余。因此,多視點視頻編碼方法包含傳統(tǒng)視頻編碼方法的內(nèi)容,但它比傳統(tǒng)編碼方法更

3、加復(fù)雜。利用視差估計消除多個視點間空間冗余、預(yù)測編碼以及虛擬視點圖像的合成是其中比較重要的技術(shù)[1]。2多視點視頻技術(shù)研究發(fā)展概況目前視頻和音頻結(jié)合的新型媒體的主要特點是具有交互能力。用戶在觀看的過程中不再是一個被動的消費者，取而代之的是用戶可以通過某種方式進行選擇他想觀看場景遠近和角度[2]。它的發(fā)展經(jīng)歷了以下歷程：(1)最早出現(xiàn)的具有此功能的媒體是在圖像處理中，它提供了紋理的三維模型(texturedthree-dimensionalmodels)來實現(xiàn)上述功能，被稱為3D-model[2]。這種方式的缺點在于需要預(yù)先生成物體和場景的三維模型，而且如果要求模

4、型具有相片一樣的真實感或者場景是動態(tài)改變的話，那么模型的生成是十分困難的。(2)與此相反，基于圖像的合成(image-based-5-rendering，以下簡稱IBR)著重在從圖像中生成新的虛擬圖像，取代使用三維模型。IBR起源于光學(xué)函數(shù)。函數(shù)具有七個參數(shù)分別代表了每一條光線的空間位置(三參數(shù))，方向(二參數(shù))，時間和波長。然而這個可以表示視覺的公式只具有理論意義。在實際應(yīng)用中通過忽略一部分參數(shù)，如波長，時間或空間位置，或者限定視點的使用數(shù)量來使其可行。例如光場(lightfield)和全景的拼接和鑲嵌。這些方法的特點在于完全不使用場景中物體的幾何信息，因此可

5、以把這一類稱為基于外觀的IBR。這類方法的缺點在于數(shù)據(jù)量和數(shù)據(jù)獲取的代價都太大，而且對于交互有嚴格的限制。(3)在近幾年的研究中，IBR技術(shù)在合成交互場景中的使用十分流行，進而出現(xiàn)了處理視頻圖像的VBR(video-basedrendering)方法。VBR的提法是基于對IBR基本概念的拓展。VBR是指使用視頻數(shù)據(jù)作為輸入，生成動態(tài)交互的虛擬環(huán)境。然而為了描述運動增加了數(shù)倍的必要圖像數(shù)據(jù)，總體數(shù)據(jù)量的增加是驚人的。完整的VBR處理鏈可以分成以下幾部分:圖像獲取/采集，場景的表現(xiàn),編碼，傳輸/流化，交互的顯示[3]。基于上面的討論，可以看到多視點視頻的合成是屬于V

6、BR方法范疇的，而VBR方法的突出特性就是處理鏈中各個部分相關(guān)性很強，特別是采集和合成是兩個緊密相關(guān)的環(huán)節(jié)，因此關(guān)于VBR合成的研究都是基于各自建立的采集環(huán)境的。1虛擬視點合成算法研究現(xiàn)狀虛擬視點合成是指依據(jù)兩個或多個關(guān)于同一場景的真實視點圖像,合成出虛擬視點圖像。虛擬視點合成在虛擬現(xiàn)實、多視點視頻等領(lǐng)域中有著廣泛的應(yīng)用，目的在于通過現(xiàn)有攝像機攝取的圖像合成出更多的視點圖像，從而在不增加成本的前提下使可切換的視點增加，切換過程更加平滑，觀看起來更加流暢。如圖1所示將虛擬視點合成技術(shù)應(yīng)用于自由視點視頻中,可以為觀看者提供更多的觀察視角[4]。圖1　虛擬視點合成在自

7、由視點視頻中的應(yīng)用目前虛擬視點合成主要有基于位差預(yù)測的視圖合成、基于圖像拼合的視點合成、基于深度圖的視點合成與改進的基于深度圖的視點合成。下面就各類視點合成算法原理、優(yōu)缺點做進一步闡述。-5-（1）基于位差預(yù)測的視點合成算法。為了滿足多視點視頻中新視點合成的需要，提出了一種基于位差估計和補償插值的視點合成方法。實驗結(jié)果表明，當兩個攝像機間的基線比較小的時候，合成的視圖質(zhì)量和傳統(tǒng)方法相當，但合成速度比較快，可應(yīng)用于實時的交互式系統(tǒng)中。該算法的原理如下，首先基于塊匹配的位差估計，將輸入的左右兩幅視圖分別看成是待合成視圖的“前向參考幀”和“后向參考幀”。對待合成視圖與

8、參考視圖進行分塊處理，接