基于JND的多視點(diǎn)視頻編解碼.ppt

《基于JND的多視點(diǎn)視頻編解碼.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫(kù)。

1、基于JND的多視點(diǎn)視頻編碼目錄研究背景視頻編碼基礎(chǔ)知識(shí)簡(jiǎn)介基于視覺特性的多視點(diǎn)視頻編碼123研究背景經(jīng)過近30年的飛速發(fā)展，視頻技術(shù)已進(jìn)入3D時(shí)代。2010年上映的電影大片《阿凡達(dá)》標(biāo)志著3D電影已成為商業(yè)電影的發(fā)展趨勢(shì)。3D視頻在給人們帶來真實(shí)臨場(chǎng)感的體驗(yàn)效果的同時(shí)，也帶來了巨大的數(shù)據(jù)量。3D視頻與傳統(tǒng)的二維視頻相比，最大的不同是視點(diǎn)的增多，從而導(dǎo)致編碼數(shù)據(jù)量和編碼時(shí)間的增大，因此制約了3D視頻技術(shù)的發(fā)展。由于人眼是視頻內(nèi)容的最終接受體，因此，感知視頻編碼被認(rèn)為是最有前景的解決方案之一，成為近幾年重要的研究方向。感知

2、視頻編碼是根據(jù)人類視覺系統(tǒng)（HVS)的感知機(jī)制及感知特性建立數(shù)學(xué)模型，并將此模型集成到壓縮算法中，以去除視頻信號(hào)中的感知冗余的一種視頻編碼方案。為了能夠定量地度量感知冗余，研究者們提出了感知視頻編碼中的一個(gè)重要概念JND。最小可察覺失真（JustNoticeableDistortion——JND），也可稱為恰可察覺失真，指由于人類視覺系統(tǒng)存在的各種視覺屏蔽效應(yīng)，使得人眼只能察覺到超過某一閾值的信號(hào)變化，該閾值即為最小可察覺失真。JND模型是一種基于心理學(xué)和生理學(xué)的模型，它能有效的表征圖像中的人類視覺冗余。JND模型：1

3、、像素域的JND模型2、頻率域的JND模型視頻編碼基礎(chǔ)知識(shí)簡(jiǎn)介目前的研究顯示視頻文件中主要存在四種形式的冗余：空間冗余時(shí)間冗余統(tǒng)計(jì)冗余心理冗余空間冗余：視頻由連續(xù)的幀圖像組成，每幀圖像又可被分為前景和背景，一般情況下，在前景和背景中均存在大片的內(nèi)容相似區(qū)域。這種幀內(nèi)相似性也就是空間相關(guān)性。時(shí)間冗余：在連續(xù)拍攝的場(chǎng)景中，相鄰的幀與幀中的同一物體一般不會(huì)發(fā)生很大的變化，它們?cè)趦?nèi)容上也是相似的。這種幀間物體的相似性就是時(shí)間相關(guān)性。統(tǒng)計(jì)冗余：現(xiàn)在的編碼標(biāo)準(zhǔn)中熵編碼是必不可少的環(huán)節(jié)，因?yàn)橐曨l內(nèi)容在去除了上面提到的兩種冗余后得到的

4、經(jīng)變換后的碼字又可分為高頻和低頻數(shù)據(jù)，各頻域數(shù)據(jù)之間又存在著相關(guān)性，這就是統(tǒng)計(jì)冗余。心理冗余：人眼對(duì)圖像的感知能力并不像計(jì)算機(jī)那么靈敏，比如色彩、對(duì)比度、分辨率等，這樣就允許視頻信息提供者在適當(dāng)?shù)臅r(shí)候減少所提供的數(shù)據(jù)。1、視頻編碼器將輸入圖像劃分為互不重疊的塊。2、利用視頻的空間相關(guān)性以及時(shí)間相關(guān)性，采用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)去除冗余信息，得到預(yù)測(cè)塊。3、預(yù)測(cè)圖像塊和原始圖像塊進(jìn)行差值，取得預(yù)測(cè)殘差塊。4、對(duì)預(yù)測(cè)殘差進(jìn)行DCT變換和量化，獲得量化的DCT系數(shù)。5、對(duì)量化后的DCT系數(shù)進(jìn)行熵編碼，得到壓縮碼流?；谝曈X特性的

5、多視點(diǎn)視頻編碼多視點(diǎn)視頻系統(tǒng)的結(jié)構(gòu)圖多視點(diǎn)視頻編碼系統(tǒng)結(jié)構(gòu)框圖多視點(diǎn)視頻編碼標(biāo)準(zhǔn)中除了采用HEVC標(biāo)準(zhǔn)中的幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)編碼技術(shù)外，還采用了視差補(bǔ)償預(yù)測(cè)。這是因?yàn)槎嘁朁c(diǎn)視頻是攝像機(jī)對(duì)同一場(chǎng)景內(nèi)容從不同位置拍攝而得，各視點(diǎn)視頻間有很大的相關(guān)性，存在著大量的冗余信息，因此在多視點(diǎn)視頻編碼中采用視差估計(jì)/補(bǔ)償來去除多視點(diǎn)視頻各視點(diǎn)間的冗余信息。傳統(tǒng)的視頻編碼技術(shù)通過去除空間冗余、時(shí)間冗余以及統(tǒng)計(jì)冗余來達(dá)到提高視頻的壓縮率的目的，但未利用人眼的視覺冗余。所以我們根據(jù)人眼視覺特性，建立JND模型，并將其嵌入到多視點(diǎn)視頻編碼框

6、架中。JND模型可分為兩大類型：像素域JND模型和頻域JND模型。像素域JND模型是根據(jù)視頻幀的像素值特性而建立的模型。頻域JND模型是根據(jù)像素值在變換域的特性而建立的模型，通常的變換域有小波域和DCT域。由于視頻編碼過程中主要是在DCT域?qū)D像進(jìn)行處理，因此頻域JND模型大都建立在DCT域。像素域JND模型亮度掩蓋效應(yīng)模型紋理掩蓋效應(yīng)模型時(shí)域掩蓋效應(yīng)模型DCT域JND模型空間CSF特性模型背景亮度自適應(yīng)模型紋理掩蓋模型時(shí)間CSF特性模型像素域JND模型亮度掩蓋效應(yīng)：人類神經(jīng)系統(tǒng)對(duì)信號(hào)的敏感度和背景信號(hào)的強(qiáng)度成反比，背

7、景信號(hào)的強(qiáng)度越大，人類的敏感度就越低，區(qū)分能力就越小。紋理掩蓋效應(yīng)：通常在紋理能量高的區(qū)域，噪聲一般是很難覺察到的，因?yàn)槿搜蹖?duì)頻率比較高的紋理區(qū)的失真不敏感，在紋理區(qū)可以容納較大的失真。而在平滑區(qū)和邊緣區(qū)的噪聲就比較容易被人眼覺察到，人眼對(duì)其失真相對(duì)比較敏感，應(yīng)予以保護(hù)，避免過多失真。因此在不同的區(qū)域，JND閾值應(yīng)取不同的值。由于亮度掩蓋效應(yīng)和紋理掩蓋效應(yīng)會(huì)產(chǎn)生重疊的效應(yīng)，提出了掩蓋效應(yīng)的非線性疊加模型NAMM：時(shí)域掩蓋效應(yīng)模型：當(dāng)幀間差異變化越大，人眼感知噪聲的能力越小，反之，越大。最終的像素域JND模型為DCT域J

8、ND模型空間CSF特性模型:空間對(duì)比敏感度(SpatialContrastSensitivity)表征了HVS對(duì)視覺信號(hào)的敏感程度，定義為觀察者能檢測(cè)出測(cè)試激勵(lì)的最小對(duì)比度值的倒數(shù)，它會(huì)受視覺信號(hào)的空間頻率因素影響。背景亮度自適應(yīng)模型:人類神經(jīng)系統(tǒng)對(duì)信號(hào)的敏感度和背景信號(hào)的強(qiáng)度成反比，背景信號(hào)的強(qiáng)度越大，人類的敏感度就越低，區(qū)分能