基于視覺特的視頻編碼理論與方法研究

《基于視覺特的視頻編碼理論與方法研究》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。

1、項目名稱：基于視覺特性的視頻編碼理論與方法研究44一、研究內容由于可以有效節(jié)省通信帶寬和存儲容量，高效率的視頻編碼技術已經(jīng)成為數(shù)字視頻廣播(廣播網(wǎng))、數(shù)字媒體存儲與網(wǎng)絡傳輸(計算機網(wǎng)絡)、以及多媒體通訊(通信網(wǎng))等數(shù)字媒體產業(yè)的共性關鍵技術。特別是近年來，我國的數(shù)字媒體產業(yè)迅猛發(fā)展，年均產值已近萬億元，使得音視頻編解碼標準技術的地位越來越重要。經(jīng)過多年努力，2006年中國終于有了自己的視頻編碼國家標準AVS。但我們仍需未雨綢繆，從模型、理論、方法和技術上為下一代視頻編碼國家標準和國際標準的制定早做準備，確保在下一輪的標準競爭中立于不敗之地。從視頻編碼的需求角度看，編碼的

2、主要動機是在盡量保證高質量視覺效果的前提下最大限度地降低碼率，達到壓縮的目的。眾所周知，人類視覺系統(tǒng)的信息處理能力遠遠超過目前的視頻處理系統(tǒng)，因此，從方法論上借鑒人類視覺系統(tǒng)的視覺信息處理基本神經(jīng)機制和心理機理，構建統(tǒng)一的圖像/視頻基本結構與表示模型及其相應的視覺計算方法，發(fā)展將香農信息論與人類視覺系統(tǒng)信息處理原理相結合的高效視覺信息編碼理論與方法，就成為了本項目的基本出發(fā)點和立項依據(jù)。視頻編碼處理的核心環(huán)節(jié)要對視頻中包含的視覺信息進行高效的表達和準確的重建，其本質是視覺信息的基本結構和有效表示問題。為此，我們需要探討以下關鍵科學問題：（1）視頻編碼可以借鑒的視覺信息處

3、理機理是什么？作為長期進化的結果，人類視覺信息處理系統(tǒng)是至為精致的生物系統(tǒng)之一。但遺憾的是，其基本神經(jīng)機制、知覺和認知機理目前尚不完全清晰。本項目將從多學科交叉的角度出發(fā)，探索視覺信息處理的基本神經(jīng)機制和認知機理，研究相應的理論和模型，對其進行實驗驗證與計算仿真，以期能夠用以指導建立更加有效的視覺計算模型。（2）視頻編碼可以利用的符合視覺信息處理機理的計算模型是什么？盡管人類視覺系統(tǒng)的信息處理機理尚不完全明了，但隨著技術手段的提高，腦科學、神經(jīng)科學和認知心理學專家已經(jīng)掌握了越來越多的規(guī)律并提出了很多假說和模型。如何基于這些發(fā)現(xiàn)構建相應的、可計算的視覺信息處理數(shù)學模型就成

4、為一個重要的基礎科學問題。其解決不僅可以有效促進視覺編碼技術的發(fā)展，還可以從計算模擬的角度反過來推動視覺基本機理的研究。（3）與人類視覺系統(tǒng)特性相吻合的視頻表示及編碼的理論是什么？44香農信息論雖然從理論上給出了編碼效率的上界和失真的關系，但并未考慮編碼的符號(事件)集，因而對視頻中高階相關缺乏有效的描述手段。視覺信息論試圖借鑒神經(jīng)生理學在不同感知階段對感知對象的抽象，建立對應的符號(事件)集，使之能夠方便地描述高階相關性，體現(xiàn)語義結構，從而豐富信息論理論。符號(事件)是借鑒稀疏編碼理論通過采用貝葉斯計算視覺感知的后驗概率建立的。這將為高效視頻編碼提供指導性的理論基礎。

5、上述三個關鍵科學問題緊緊圍繞視覺信息處理系統(tǒng)中最核心的表示與編碼問題，分別從生理/心理基本機理、視覺信息處理計算模型、視頻編碼基礎理論三個層面展開。其中，視覺基本機理既是基本出發(fā)點也是落腳點，計算模型是橋梁和紐帶，視覺信息論則是設計和實現(xiàn)下一代視頻編碼方法和技術的理論基礎。圍繞上述三個關鍵科學問題，我們提出的總體研究內容框架如圖2所示，以期建立解決這些問題的模型、理論和方法，構建相應的驗證平臺和原型系統(tǒng)。如圖所示，對應三個關鍵科學問題，本項目的主要研究內容自底向上分別建立在三個層面，即：機理與模型層，理論與方法層，關鍵技術與驗證層。下面我們分別從這三個層面對本項目的主要

6、研究內容進行闡述。2.1視覺基本機理與模型層該層面的研究內容面向的科學問題主要是前兩個：視覺信息處理的基本機理和符合這些基本機理的計算模型。不難理解，二者有天然的緊密聯(lián)系：一方面，視覺信息處理基本機理為視覺信息處理的計算仿真、計算模型建立等提供了良好的生理學和心理學參照系，對其基本規(guī)律的認識為計算模型的建立提供了良好的技術可能性和努力方向。另一方面，計算模型也為基本機理的正確性和模型的有效性提供了驗證機會，有利于推動視覺基本機理的研究。下面分別敘述本項目在視覺基本機理和計算模型方面擬開展的研究。2.1.1視覺信息處理基本機理研究在視知覺機理方面，將主要從生理、心理角度，

7、通過神經(jīng)電生理學、視覺行為學、藥物學等研究手段，在靈長類動物上采用包括微電極矩陣記錄方法、高時間分辨率的事件相關電位(ERP)、功能核磁共振(fMRI)等技術手段從初級視覺皮層V1神經(jīng)元群體反應特性入手，研究V1神經(jīng)元經(jīng)典和非經(jīng)典感受野與上級視覺皮層區(qū)域神經(jīng)元正向和反向聯(lián)系、V1神經(jīng)元之間的橫向聯(lián)系，以及視覺學習過程中神經(jīng)元群視覺編碼模式的變化特性，探索初級和44高級皮層中的神經(jīng)元群在視覺處理中對簡單和復雜視覺刺激的編碼模式以及動態(tài)反應模式，各級皮層神經(jīng)元群對不同視覺模式識別的貢獻，考察視覺注意和知覺組織之間相互影響和交互作用，以驗證或改