基于JND的多視點視頻編解碼.ppt

《基于JND的多視點視頻編解碼.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫。

1、基于JND的多視點視頻編碼目錄研究背景視頻編碼基礎(chǔ)知識簡介基于視覺特性的多視點視頻編碼123研究背景經(jīng)過近30年的飛速發(fā)展，視頻技術(shù)已進入3D時代。2010年上映的電影大片《阿凡達》標志著3D電影已成為商業(yè)電影的發(fā)展趨勢。3D視頻在給人們帶來真實臨場感的體驗效果的同時，也帶來了巨大的數(shù)據(jù)量。3D視頻與傳統(tǒng)的二維視頻相比，最大的不同是視點的增多，從而導致編碼數(shù)據(jù)量和編碼時間的增大，因此制約了3D視頻技術(shù)的發(fā)展。由于人眼是視頻內(nèi)容的最終接受體，因此，感知視頻編碼被認為是最有前景的解決方案之一，成為近幾年重要的研究方向。感知

2、視頻編碼是根據(jù)人類視覺系統(tǒng)（HVS)的感知機制及感知特性建立數(shù)學模型，并將此模型集成到壓縮算法中，以去除視頻信號中的感知冗余的一種視頻編碼方案。為了能夠定量地度量感知冗余，研究者們提出了感知視頻編碼中的一個重要概念JND。最小可察覺失真（JustNoticeableDistortion——JND），也可稱為恰可察覺失真，指由于人類視覺系統(tǒng)存在的各種視覺屏蔽效應，使得人眼只能察覺到超過某一閾值的信號變化，該閾值即為最小可察覺失真。JND模型是一種基于心理學和生理學的模型，它能有效的表征圖像中的人類視覺冗余。JND模型：1

3、、像素域的JND模型2、頻率域的JND模型視頻編碼基礎(chǔ)知識簡介目前的研究顯示視頻文件中主要存在四種形式的冗余：空間冗余時間冗余統(tǒng)計冗余心理冗余空間冗余：視頻由連續(xù)的幀圖像組成，每幀圖像又可被分為前景和背景，一般情況下，在前景和背景中均存在大片的內(nèi)容相似區(qū)域。這種幀內(nèi)相似性也就是空間相關(guān)性。時間冗余：在連續(xù)拍攝的場景中，相鄰的幀與幀中的同一物體一般不會發(fā)生很大的變化，它們在內(nèi)容上也是相似的。這種幀間物體的相似性就是時間相關(guān)性。統(tǒng)計冗余：現(xiàn)在的編碼標準中熵編碼是必不可少的環(huán)節(jié)，因為視頻內(nèi)容在去除了上面提到的兩種冗余后得到的

4、經(jīng)變換后的碼字又可分為高頻和低頻數(shù)據(jù)，各頻域數(shù)據(jù)之間又存在著相關(guān)性，這就是統(tǒng)計冗余。心理冗余：人眼對圖像的感知能力并不像計算機那么靈敏，比如色彩、對比度、分辨率等，這樣就允許視頻信息提供者在適當?shù)臅r候減少所提供的數(shù)據(jù)。1、視頻編碼器將輸入圖像劃分為互不重疊的塊。2、利用視頻的空間相關(guān)性以及時間相關(guān)性，采用幀內(nèi)預測或幀間預測去除冗余信息，得到預測塊。3、預測圖像塊和原始圖像塊進行差值，取得預測殘差塊。4、對預測殘差進行DCT變換和量化，獲得量化的DCT系數(shù)。5、對量化后的DCT系數(shù)進行熵編碼，得到壓縮碼流?；谝曈X特性的

5、多視點視頻編碼多視點視頻系統(tǒng)的結(jié)構(gòu)圖多視點視頻編碼系統(tǒng)結(jié)構(gòu)框圖多視點視頻編碼標準中除了采用HEVC標準中的幀內(nèi)預測和幀間預測編碼技術(shù)外，還采用了視差補償預測。這是因為多視點視頻是攝像機對同一場景內(nèi)容從不同位置拍攝而得，各視點視頻間有很大的相關(guān)性，存在著大量的冗余信息，因此在多視點視頻編碼中采用視差估計/補償來去除多視點視頻各視點間的冗余信息。傳統(tǒng)的視頻編碼技術(shù)通過去除空間冗余、時間冗余以及統(tǒng)計冗余來達到提高視頻的壓縮率的目的，但未利用人眼的視覺冗余。所以我們根據(jù)人眼視覺特性，建立JND模型，并將其嵌入到多視點視頻編碼框

6、架中。JND模型可分為兩大類型：像素域JND模型和頻域JND模型。像素域JND模型是根據(jù)視頻幀的像素值特性而建立的模型。頻域JND模型是根據(jù)像素值在變換域的特性而建立的模型，通常的變換域有小波域和DCT域。由于視頻編碼過程中主要是在DCT域?qū)D像進行處理，因此頻域JND模型大都建立在DCT域。像素域JND模型亮度掩蓋效應模型紋理掩蓋效應模型時域掩蓋效應模型DCT域JND模型空間CSF特性模型背景亮度自適應模型紋理掩蓋模型時間CSF特性模型像素域JND模型亮度掩蓋效應：人類神經(jīng)系統(tǒng)對信號的敏感度和背景信號的強度成反比，背

7、景信號的強度越大，人類的敏感度就越低，區(qū)分能力就越小。紋理掩蓋效應：通常在紋理能量高的區(qū)域，噪聲一般是很難覺察到的，因為人眼對頻率比較高的紋理區(qū)的失真不敏感，在紋理區(qū)可以容納較大的失真。而在平滑區(qū)和邊緣區(qū)的噪聲就比較容易被人眼覺察到，人眼對其失真相對比較敏感，應予以保護，避免過多失真。因此在不同的區(qū)域，JND閾值應取不同的值。由于亮度掩蓋效應和紋理掩蓋效應會產(chǎn)生重疊的效應，提出了掩蓋效應的非線性疊加模型NAMM：時域掩蓋效應模型：當幀間差異變化越大，人眼感知噪聲的能力越小，反之，越大。最終的像素域JND模型為DCT域J

8、ND模型空間CSF特性模型:空間對比敏感度(SpatialContrastSensitivity)表征了HVS對視覺信號的敏感程度，定義為觀察者能檢測出測試激勵的最小對比度值的倒數(shù)，它會受視覺信號的空間頻率因素影響。背景亮度自適應模型:人類神經(jīng)系統(tǒng)對信號的敏感度和背景信號的強度成反比，背景信號的強度越大，人類的敏感度就越低，區(qū)分能