多視點視頻壓縮

《多視點視頻壓縮》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、多視點視頻壓縮ExploitingInter-ImageSimilarities.MarkusFlierlandBerndGirodInformationSystemsLaboratory,DepartmentofElectricalEngineering,StanfordUniversity,Stanford,CA94305.顯示器和照相機(jī)技術(shù)的發(fā)展刺激了3D場景通信的新應(yīng)用。3DTV是這些應(yīng)用中最重要的，它力求為所觀察到的場景創(chuàng)建一個逼真的3D深度印象。通常情況下，多視點視頻指的是由不同視點的多個攝像機(jī)從不同視角拍攝同一場景得到的一組視頻信號，是一種有效的3D視頻表示方

2、法，能夠更加生動地再現(xiàn)場景，提供立體感和交互功能。多視點視頻的數(shù)據(jù)量隨著攝像機(jī)的數(shù)目增加而線性增加。對于3DTV來說，大量的多視圖視頻數(shù)據(jù)需要存儲或傳輸。在未來互聯(lián)網(wǎng)應(yīng)用中，多視點視頻數(shù)據(jù)預(yù)計將消耗更多的帶寬。這將包括的單播通信及組播通信。通過先進(jìn)的多媒體內(nèi)容分發(fā)交付網(wǎng)絡(luò)和靈活的對等網(wǎng)絡(luò)，將刺激多視圖視頻的需求以及現(xiàn)場廣播。對于3D場景通信來說,由于其巨大的多視點視頻原始比特數(shù)據(jù)，我們必須采用高效的壓縮技術(shù)。源于同一場景下的視頻數(shù)據(jù)，可利用多視點圖像的固有相似性進(jìn)行高效壓縮。這些相似之處可分為兩種類型。首先，視點間的相關(guān)性是在相鄰的攝像機(jī)視像中被觀察到的。二，時間的相關(guān)性是

3、在每個視頻的時間連續(xù)圖像里被觀察到的。在眾所周知單通道視頻壓縮編碼中可通過運(yùn)動補(bǔ)償技術(shù)捕捉時間的相關(guān)性。擴(kuò)展這個想法，基于多視圖的視點間的相關(guān)性的視差補(bǔ)償技術(shù)正是基于此思想進(jìn)行視頻壓縮的?；诙嘁朁c視頻數(shù)據(jù)的設(shè)計數(shù)據(jù)壓縮方案，我們必須考慮一些約束條件來構(gòu)建其結(jié)構(gòu)。在通信的情況下，多視點視頻表示應(yīng)該是可靠的傳輸。另外，理想的是這些表示是高度靈活的，即原始數(shù)據(jù)的子集可以很容易在不同圖像質(zhì)量等級被訪問；用戶的交互性的等級可以由一個特定的多視點視頻表示來支持，將是一個按需應(yīng)用的重要考慮因素。最后，重建視野的質(zhì)量和其代表的比特率之間的權(quán)衡，將讓人在處理龐大的數(shù)據(jù)量感興趣。多視點視頻（

4、Ｍｕｌｔｉ－ＶｉｅｗＶｉｄｅｏ，ＭＶＶ）是當(dāng)前多媒體領(lǐng)域的研究熱點，與傳統(tǒng)的視頻不同，多視點視頻系統(tǒng)能夠提供與場景的交互能力，增加了圖像中景物的深度信息，它允許用戶在一定范圍內(nèi)選擇任意視點或視角觀看，用戶可以實現(xiàn)對同一場景的多方位體驗，這充分滿足了用戶的交互性和個性化需求，使用戶獲得更加真實的視覺感受。多視點視頻的提出體現(xiàn)了下一代多媒體應(yīng)用真實感、交互性和網(wǎng)絡(luò)化的發(fā)展方向，它將解決３Ｄ交互視頻的表現(xiàn)、交互、存儲和傳輸?shù)葐栴}，具有廣泛的應(yīng)用前景，其編碼技術(shù)也在過去的幾年中得到了飛速發(fā)展。在多視點視頻的發(fā)展過程中，有兩項關(guān)鍵技術(shù)起著重要的作用并決定它能否被進(jìn)一步應(yīng)用。第一項關(guān)鍵

5、技術(shù)是三維顯示。為提高三維顯示效果，使觀察者能夠得到“運(yùn)動視差＂和“環(huán)視＂的效果，多視點三維顯示技術(shù)成為近年來在顯示技術(shù)方面的研究重點。目前己有方案中，大部分方案需要在圖像分辨率與視點數(shù)目之間作折衷，不能得到人們期望的效果。新近提出的多投影機(jī)與凸透鏡陣列結(jié)合使用的方案能夠同時提供高分辨率的圖像與大量的視點數(shù)目，受到眾多研究者的青睞，并被認(rèn)為能在不久的將來實現(xiàn)商業(yè)價值ｎ，。多視點視頻發(fā)展的另一項關(guān)鍵技術(shù)是多視點視頻內(nèi)容的存儲與傳輸。多視點視頻和單通道視頻相比，數(shù)據(jù)量成倍增加，所以必須采用更高效的編碼壓縮算法，才能對多視點視頻數(shù)據(jù)進(jìn)行存儲和傳輸，同時隨著人們對視頻觀看質(zhì)量的提高

6、，高分辨率、高清晰度、立體感和交互性是今后的趨勢，這將帶來數(shù)據(jù)量的急劇增加，僅僅依靠網(wǎng)絡(luò)帶寬的提高和存儲容量的提升是無法解決這個問題的，還必須采用高效的編碼壓縮技術(shù)來解決這個問題。在過去的十幾年中，全世界很多學(xué)者致力于該領(lǐng)域的研究。為得到高效的編碼效率，他們提出的方案除了利用視頻通道內(nèi)的空間與時間相關(guān)性外，還利用了不同視頻通道之間高度的相關(guān)性（稱為交叉相關(guān)性）。早些時期，大部分的研究者提出的是針對立體視頻的編碼方案，然后將這些方案做簡單的延伸應(yīng)用于多視點視頻；近幾年間，由于多視點視頻頻應(yīng)用前景的逐漸明朗，針對多視點視頻的編碼研究成為該領(lǐng)域內(nèi)學(xué)者們的研究重點。在剩下的篇章，我

7、們將首先討論利用圖像間的相似性進(jìn)行多視點視頻壓縮的重要性。然后，我們介紹多視點視頻壓縮的基本方法。一類算法以目前使用的預(yù)測編碼視頻壓縮標(biāo)準(zhǔn)進(jìn)行多個視圖擴(kuò)展。另一類算法采用自適應(yīng)內(nèi)次級分解和跨越不同的攝像機(jī)的視頻序列。我們討論的相對優(yōu)勢和這些壓縮方法的缺點，當(dāng)面對額外的限制，往往在實際系統(tǒng)中出現(xiàn)。1.多視點視頻圖像基于深度圖的多視點3D立體視頻系統(tǒng)具有數(shù)據(jù)量小、傳輸效率高、顯示內(nèi)容可自適應(yīng)調(diào)節(jié)，用戶交互性好等優(yōu)點。多視點圖像是按照一定空間排列規(guī)律（平行或會聚）拍攝的同一場景的多幅圖象（或多幀視頻）。視頻相機(jī)安排是根據(jù)