多視點(diǎn)視頻壓縮

《多視點(diǎn)視頻壓縮》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、多視點(diǎn)視頻壓縮ExploitingInter-ImageSimilarities.MarkusFlierlandBerndGirodInformationSystemsLaboratory,DepartmentofElectricalEngineering,StanfordUniversity,Stanford,CA94305.顯示器和照相機(jī)技術(shù)的發(fā)展刺激了3D場(chǎng)景通信的新應(yīng)用。3DTV是這些應(yīng)用中最重要的，它力求為所觀察到的場(chǎng)景創(chuàng)建一個(gè)逼真的3D深度印象。通常情況下，多視點(diǎn)視頻指的是由不同視點(diǎn)的多個(gè)攝像機(jī)從不同視角拍攝同一場(chǎng)景得到的一組視頻信號(hào)，是一種有效的3D視頻表示方

2、法，能夠更加生動(dòng)地再現(xiàn)場(chǎng)景，提供立體感和交互功能。多視點(diǎn)視頻的數(shù)據(jù)量隨著攝像機(jī)的數(shù)目增加而線性增加。對(duì)于3DTV來(lái)說(shuō)，大量的多視圖視頻數(shù)據(jù)需要存儲(chǔ)或傳輸。在未來(lái)互聯(lián)網(wǎng)應(yīng)用中，多視點(diǎn)視頻數(shù)據(jù)預(yù)計(jì)將消耗更多的帶寬。這將包括的單播通信及組播通信。通過(guò)先進(jìn)的多媒體內(nèi)容分發(fā)交付網(wǎng)絡(luò)和靈活的對(duì)等網(wǎng)絡(luò)，將刺激多視圖視頻的需求以及現(xiàn)場(chǎng)廣播。對(duì)于3D場(chǎng)景通信來(lái)說(shuō),由于其巨大的多視點(diǎn)視頻原始比特?cái)?shù)據(jù)，我們必須采用高效的壓縮技術(shù)。源于同一場(chǎng)景下的視頻數(shù)據(jù)，可利用多視點(diǎn)圖像的固有相似性進(jìn)行高效壓縮。這些相似之處可分為兩種類型。首先，視點(diǎn)間的相關(guān)性是在相鄰的攝像機(jī)視像中被觀察到的。二，時(shí)間的相關(guān)性是

3、在每個(gè)視頻的時(shí)間連續(xù)圖像里被觀察到的。在眾所周知單通道視頻壓縮編碼中可通過(guò)運(yùn)動(dòng)補(bǔ)償技術(shù)捕捉時(shí)間的相關(guān)性。擴(kuò)展這個(gè)想法，基于多視圖的視點(diǎn)間的相關(guān)性的視差補(bǔ)償技術(shù)正是基于此思想進(jìn)行視頻壓縮的?；诙嘁朁c(diǎn)視頻數(shù)據(jù)的設(shè)計(jì)數(shù)據(jù)壓縮方案，我們必須考慮一些約束條件來(lái)構(gòu)建其結(jié)構(gòu)。在通信的情況下，多視點(diǎn)視頻表示應(yīng)該是可靠的傳輸。另外，理想的是這些表示是高度靈活的，即原始數(shù)據(jù)的子集可以很容易在不同圖像質(zhì)量等級(jí)被訪問(wèn)；用戶的交互性的等級(jí)可以由一個(gè)特定的多視點(diǎn)視頻表示來(lái)支持，將是一個(gè)按需應(yīng)用的重要考慮因素。最后，重建視野的質(zhì)量和其代表的比特率之間的權(quán)衡，將讓人在處理龐大的數(shù)據(jù)量感興趣。多視點(diǎn)視頻（

4、Ｍｕｌｔｉ－ＶｉｅｗＶｉｄｅｏ，ＭＶＶ）是當(dāng)前多媒體領(lǐng)域的研究熱點(diǎn)，與傳統(tǒng)的視頻不同，多視點(diǎn)視頻系統(tǒng)能夠提供與場(chǎng)景的交互能力，增加了圖像中景物的深度信息，它允許用戶在一定范圍內(nèi)選擇任意視點(diǎn)或視角觀看，用戶可以實(shí)現(xiàn)對(duì)同一場(chǎng)景的多方位體驗(yàn)，這充分滿足了用戶的交互性和個(gè)性化需求，使用戶獲得更加真實(shí)的視覺(jué)感受。多視點(diǎn)視頻的提出體現(xiàn)了下一代多媒體應(yīng)用真實(shí)感、交互性和網(wǎng)絡(luò)化的發(fā)展方向，它將解決３Ｄ交互視頻的表現(xiàn)、交互、存儲(chǔ)和傳輸?shù)葐?wèn)題，具有廣泛的應(yīng)用前景，其編碼技術(shù)也在過(guò)去的幾年中得到了飛速發(fā)展。在多視點(diǎn)視頻的發(fā)展過(guò)程中，有兩項(xiàng)關(guān)鍵技術(shù)起著重要的作用并決定它能否被進(jìn)一步應(yīng)用。第一項(xiàng)關(guān)鍵

5、技術(shù)是三維顯示。為提高三維顯示效果，使觀察者能夠得到“運(yùn)動(dòng)視差＂和“環(huán)視＂的效果，多視點(diǎn)三維顯示技術(shù)成為近年來(lái)在顯示技術(shù)方面的研究重點(diǎn)。目前己有方案中，大部分方案需要在圖像分辨率與視點(diǎn)數(shù)目之間作折衷，不能得到人們期望的效果。新近提出的多投影機(jī)與凸透鏡陣列結(jié)合使用的方案能夠同時(shí)提供高分辨率的圖像與大量的視點(diǎn)數(shù)目，受到眾多研究者的青睞，并被認(rèn)為能在不久的將來(lái)實(shí)現(xiàn)商業(yè)價(jià)值ｎ，。多視點(diǎn)視頻發(fā)展的另一項(xiàng)關(guān)鍵技術(shù)是多視點(diǎn)視頻內(nèi)容的存儲(chǔ)與傳輸。多視點(diǎn)視頻和單通道視頻相比，數(shù)據(jù)量成倍增加，所以必須采用更高效的編碼壓縮算法，才能對(duì)多視點(diǎn)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)和傳輸，同時(shí)隨著人們對(duì)視頻觀看質(zhì)量的提高

6、，高分辨率、高清晰度、立體感和交互性是今后的趨勢(shì)，這將帶來(lái)數(shù)據(jù)量的急劇增加，僅僅依靠網(wǎng)絡(luò)帶寬的提高和存儲(chǔ)容量的提升是無(wú)法解決這個(gè)問(wèn)題的，還必須采用高效的編碼壓縮技術(shù)來(lái)解決這個(gè)問(wèn)題。在過(guò)去的十幾年中，全世界很多學(xué)者致力于該領(lǐng)域的研究。為得到高效的編碼效率，他們提出的方案除了利用視頻通道內(nèi)的空間與時(shí)間相關(guān)性外，還利用了不同視頻通道之間高度的相關(guān)性（稱為交叉相關(guān)性）。早些時(shí)期，大部分的研究者提出的是針對(duì)立體視頻的編碼方案，然后將這些方案做簡(jiǎn)單的延伸應(yīng)用于多視點(diǎn)視頻；近幾年間，由于多視點(diǎn)視頻頻應(yīng)用前景的逐漸明朗，針對(duì)多視點(diǎn)視頻的編碼研究成為該領(lǐng)域內(nèi)學(xué)者們的研究重點(diǎn)。在剩下的篇章，我

7、們將首先討論利用圖像間的相似性進(jìn)行多視點(diǎn)視頻壓縮的重要性。然后，我們介紹多視點(diǎn)視頻壓縮的基本方法。一類算法以目前使用的預(yù)測(cè)編碼視頻壓縮標(biāo)準(zhǔn)進(jìn)行多個(gè)視圖擴(kuò)展。另一類算法采用自適應(yīng)內(nèi)次級(jí)分解和跨越不同的攝像機(jī)的視頻序列。我們討論的相對(duì)優(yōu)勢(shì)和這些壓縮方法的缺點(diǎn)，當(dāng)面對(duì)額外的限制，往往在實(shí)際系統(tǒng)中出現(xiàn)。1.多視點(diǎn)視頻圖像基于深度圖的多視點(diǎn)3D立體視頻系統(tǒng)具有數(shù)據(jù)量小、傳輸效率高、顯示內(nèi)容可自適應(yīng)調(diào)節(jié)，用戶交互性好等優(yōu)點(diǎn)。多視點(diǎn)圖像是按照一定空間排列規(guī)律（平行或會(huì)聚）拍攝的同一場(chǎng)景的多幅圖象（或多幀視頻）。視頻相機(jī)安排是根據(jù)