多視點(diǎn)視頻虛擬視點(diǎn)合成技術(shù)綜述【文獻(xiàn)綜述】

《多視點(diǎn)視頻虛擬視點(diǎn)合成技術(shù)綜述【文獻(xiàn)綜述】》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、畢業(yè)論文文獻(xiàn)綜述電子信息工程多視點(diǎn)視頻虛擬視點(diǎn)合成技術(shù)綜述摘要：隨著多視點(diǎn)視頻研究的發(fā)展，各種多視點(diǎn)視頻編碼技術(shù)的研究都成為熱點(diǎn)領(lǐng)域，其中虛擬視點(diǎn)合成技術(shù)尤為關(guān)鍵，本文簡要概括了多視點(diǎn)視頻編碼技術(shù)的發(fā)展歷程和虛擬視點(diǎn)合成算法的研究現(xiàn)狀，一種高效的虛擬視點(diǎn)插值算法是高質(zhì)量圖像合成的基礎(chǔ)。本文重點(diǎn)介紹了幾種現(xiàn)在虛擬視點(diǎn)插值算法并做了比較，由比較分析出每種算法的優(yōu)缺點(diǎn)。關(guān)鍵詞：多視點(diǎn)視頻；視頻編碼技術(shù)；虛擬視點(diǎn)合成；1多視點(diǎn)視頻編碼技術(shù)簡介多視點(diǎn)視頻(Multi-viewVideo)是一種新型的具有立體感和交互操作功能的視頻,通過在場景中放置多臺(tái)攝像機(jī),記錄下多個(gè)視點(diǎn)

2、數(shù)據(jù),提供給用戶以視點(diǎn)選擇和場景漫游的交互能力。多視點(diǎn)視頻將在自由視點(diǎn)視頻、立體電視、立體視頻會(huì)議、多視點(diǎn)視頻點(diǎn)播等數(shù)字娛樂領(lǐng)域有著非常廣泛的應(yīng)用前景。隨著相機(jī)數(shù)目的增加,多視點(diǎn)視頻的數(shù)據(jù)量也成倍增加。系統(tǒng)的一個(gè)挑戰(zhàn)就是研究實(shí)現(xiàn)一種高效的多路編碼傳輸機(jī)制,從而對(duì)數(shù)據(jù)進(jìn)行高效地壓縮以便存儲(chǔ)和傳輸視頻序列。多視序列包含同一個(gè)場景內(nèi)多個(gè)視點(diǎn)的畫面,畫面之間存在很高的相關(guān)性,如何消除這些冗余,是多視點(diǎn)視頻編碼的一個(gè)重要問題。特別是,對(duì)于多視點(diǎn)視頻編碼來說,在消除空間冗余的同時(shí),還要消除時(shí)間上的冗余。因此,多視點(diǎn)視頻編碼方法包含傳統(tǒng)視頻編碼方法的內(nèi)容,但它比傳統(tǒng)編碼方法更

3、加復(fù)雜。利用視差估計(jì)消除多個(gè)視點(diǎn)間空間冗余、預(yù)測編碼以及虛擬視點(diǎn)圖像的合成是其中比較重要的技術(shù)[1]。2多視點(diǎn)視頻技術(shù)研究發(fā)展概況目前視頻和音頻結(jié)合的新型媒體的主要特點(diǎn)是具有交互能力。用戶在觀看的過程中不再是一個(gè)被動(dòng)的消費(fèi)者，取而代之的是用戶可以通過某種方式進(jìn)行選擇他想觀看場景遠(yuǎn)近和角度[2]。它的發(fā)展經(jīng)歷了以下歷程：(1)最早出現(xiàn)的具有此功能的媒體是在圖像處理中，它提供了紋理的三維模型(texturedthree-dimensionalmodels)來實(shí)現(xiàn)上述功能，被稱為3D-model[2]。這種方式的缺點(diǎn)在于需要預(yù)先生成物體和場景的三維模型，而且如果要求模

4、型具有相片一樣的真實(shí)感或者場景是動(dòng)態(tài)改變的話，那么模型的生成是十分困難的。(2)與此相反，基于圖像的合成(image-based-5-rendering，以下簡稱IBR)著重在從圖像中生成新的虛擬圖像，取代使用三維模型。IBR起源于光學(xué)函數(shù)。函數(shù)具有七個(gè)參數(shù)分別代表了每一條光線的空間位置(三參數(shù))，方向(二參數(shù))，時(shí)間和波長。然而這個(gè)可以表示視覺的公式只具有理論意義。在實(shí)際應(yīng)用中通過忽略一部分參數(shù)，如波長，時(shí)間或空間位置，或者限定視點(diǎn)的使用數(shù)量來使其可行。例如光場(lightfield)和全景的拼接和鑲嵌。這些方法的特點(diǎn)在于完全不使用場景中物體的幾何信息，因此可

5、以把這一類稱為基于外觀的IBR。這類方法的缺點(diǎn)在于數(shù)據(jù)量和數(shù)據(jù)獲取的代價(jià)都太大，而且對(duì)于交互有嚴(yán)格的限制。(3)在近幾年的研究中，IBR技術(shù)在合成交互場景中的使用十分流行，進(jìn)而出現(xiàn)了處理視頻圖像的VBR(video-basedrendering)方法。VBR的提法是基于對(duì)IBR基本概念的拓展。VBR是指使用視頻數(shù)據(jù)作為輸入，生成動(dòng)態(tài)交互的虛擬環(huán)境。然而為了描述運(yùn)動(dòng)增加了數(shù)倍的必要圖像數(shù)據(jù)，總體數(shù)據(jù)量的增加是驚人的。完整的VBR處理鏈可以分成以下幾部分:圖像獲取/采集，場景的表現(xiàn),編碼，傳輸/流化，交互的顯示[3]?；谏厦娴挠懻摚梢钥吹蕉嘁朁c(diǎn)視頻的合成是屬于V

6、BR方法范疇的，而VBR方法的突出特性就是處理鏈中各個(gè)部分相關(guān)性很強(qiáng)，特別是采集和合成是兩個(gè)緊密相關(guān)的環(huán)節(jié)，因此關(guān)于VBR合成的研究都是基于各自建立的采集環(huán)境的。1虛擬視點(diǎn)合成算法研究現(xiàn)狀虛擬視點(diǎn)合成是指依據(jù)兩個(gè)或多個(gè)關(guān)于同一場景的真實(shí)視點(diǎn)圖像,合成出虛擬視點(diǎn)圖像。虛擬視點(diǎn)合成在虛擬現(xiàn)實(shí)、多視點(diǎn)視頻等領(lǐng)域中有著廣泛的應(yīng)用，目的在于通過現(xiàn)有攝像機(jī)攝取的圖像合成出更多的視點(diǎn)圖像，從而在不增加成本的前提下使可切換的視點(diǎn)增加，切換過程更加平滑，觀看起來更加流暢。如圖1所示將虛擬視點(diǎn)合成技術(shù)應(yīng)用于自由視點(diǎn)視頻中,可以為觀看者提供更多的觀察視角[4]。圖1　虛擬視點(diǎn)合成在自

7、由視點(diǎn)視頻中的應(yīng)用目前虛擬視點(diǎn)合成主要有基于位差預(yù)測的視圖合成、基于圖像拼合的視點(diǎn)合成、基于深度圖的視點(diǎn)合成與改進(jìn)的基于深度圖的視點(diǎn)合成。下面就各類視點(diǎn)合成算法原理、優(yōu)缺點(diǎn)做進(jìn)一步闡述。-5-（1）基于位差預(yù)測的視點(diǎn)合成算法。為了滿足多視點(diǎn)視頻中新視點(diǎn)合成的需要，提出了一種基于位差估計(jì)和補(bǔ)償插值的視點(diǎn)合成方法。實(shí)驗(yàn)結(jié)果表明，當(dāng)兩個(gè)攝像機(jī)間的基線比較小的時(shí)候，合成的視圖質(zhì)量和傳統(tǒng)方法相當(dāng)，但合成速度比較快，可應(yīng)用于實(shí)時(shí)的交互式系統(tǒng)中。該算法的原理如下，首先基于塊匹配的位差估計(jì)，將輸入的左右兩幅視圖分別看成是待合成視圖的“前向參考幀”和“后向參考幀”。對(duì)待合成視圖與

8、參考視圖進(jìn)行分塊處理，接