項(xiàng)目基于視覺特性的視頻編碼理論與方法研究

《項(xiàng)目基于視覺特性的視頻編碼理論與方法研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、項(xiàng)目名稱：基于視覺特性的視頻編碼理論與方法研究首席科學(xué)家：高文北京大學(xué)起止年限：2009.1至2013.8依托部門：教育部41一、研究內(nèi)容由于可以有效節(jié)省通信帶寬和存儲容量，高效率的視頻編碼技術(shù)已經(jīng)成為數(shù)字視頻廣播(廣播網(wǎng))、數(shù)字媒體存儲與網(wǎng)絡(luò)傳輸(計(jì)算機(jī)網(wǎng)絡(luò))、以及多媒體通訊(通信網(wǎng))等數(shù)字媒體產(chǎn)業(yè)的共性關(guān)鍵技術(shù)。特別是近年來，我國的數(shù)字媒體產(chǎn)業(yè)迅猛發(fā)展，年均產(chǎn)值已近萬億元，使得音視頻編解碼標(biāo)準(zhǔn)技術(shù)的地位越來越重要。經(jīng)過多年努力，2006年中國終于有了自己的視頻編碼國家標(biāo)準(zhǔn)AVS。但我們?nèi)孕栉从?/p>

2、綢繆，從模型、理論、方法和技術(shù)上為下一代視頻編碼國家標(biāo)準(zhǔn)和國際標(biāo)準(zhǔn)的制定早做準(zhǔn)備，確保在下一輪的標(biāo)準(zhǔn)競爭中立于不敗之地。從視頻編碼的需求角度看，編碼的主要動機(jī)是在盡量保證高質(zhì)量視覺效果的前提下最大限度地降低碼率，達(dá)到壓縮的目的。眾所周知，人類視覺系統(tǒng)的信息處理能力遠(yuǎn)遠(yuǎn)超過目前的視頻處理系統(tǒng)，因此，從方法論上借鑒人類視覺系統(tǒng)的視覺信息處理基本神經(jīng)機(jī)制和心理機(jī)理，構(gòu)建統(tǒng)一的圖像/視頻基本結(jié)構(gòu)與表示模型及其相應(yīng)的視覺計(jì)算方法，發(fā)展將香農(nóng)信息論與人類視覺系統(tǒng)信息處理原理相結(jié)合的高效視覺信息編碼理論與方法，

3、就成為了本項(xiàng)目的基本出發(fā)點(diǎn)和立項(xiàng)依據(jù)。視頻編碼處理的核心環(huán)節(jié)要對視頻中包含的視覺信息進(jìn)行高效的表達(dá)和準(zhǔn)確的重建，其本質(zhì)是視覺信息的基本結(jié)構(gòu)和有效表示問題。為此，我們需要探討以下關(guān)鍵科學(xué)問題：（1）視頻編碼可以借鑒的視覺信息處理機(jī)理是什么？作為長期進(jìn)化的結(jié)果，人類視覺信息處理系統(tǒng)是至為精致的生物系統(tǒng)之一。但遺憾的是，其基本神經(jīng)機(jī)制、知覺和認(rèn)知機(jī)理目前尚不完全清晰。本項(xiàng)目將從多學(xué)科交叉的角度出發(fā)，探索視覺信息處理的基本神經(jīng)機(jī)制和認(rèn)知機(jī)理，研究相應(yīng)的理論和模型，對其進(jìn)行實(shí)驗(yàn)驗(yàn)證與計(jì)算仿真，以期能夠用以指

4、導(dǎo)建立更加有效的視覺計(jì)算模型。（2）視頻編碼可以利用的符合視覺信息處理機(jī)理的計(jì)算模型是什么？盡管人類視覺系統(tǒng)的信息處理機(jī)理尚不完全明了，但隨著技術(shù)手段的提高，腦科學(xué)、神經(jīng)科學(xué)和認(rèn)知心理學(xué)專家已經(jīng)掌握了越來越多的規(guī)律并提出了很多假說和模型。如何基于這些發(fā)現(xiàn)構(gòu)建相應(yīng)的、可計(jì)算的視覺信息處理數(shù)學(xué)模型就成為一個(gè)重要的基礎(chǔ)科學(xué)問題。其解決不僅可以有效促進(jìn)視覺編碼技術(shù)的發(fā)展，還可以從計(jì)算模擬的角度反過來推動視覺基本機(jī)理的研究。（3）與人類視覺系統(tǒng)特性相吻合的視頻表示及編碼的理論是什么？41香農(nóng)信息論雖然從理論

5、上給出了編碼效率的上界和失真的關(guān)系，但并未考慮編碼的符號(事件)集，因而對視頻中高階相關(guān)缺乏有效的描述手段。視覺信息論試圖借鑒神經(jīng)生理學(xué)在不同感知階段對感知對象的抽象，建立對應(yīng)的符號(事件)集，使之能夠方便地描述高階相關(guān)性，體現(xiàn)語義結(jié)構(gòu)，從而豐富信息論理論。符號(事件)是借鑒稀疏編碼理論通過采用貝葉斯計(jì)算視覺感知的后驗(yàn)概率建立的。這將為高效視頻編碼提供指導(dǎo)性的理論基礎(chǔ)。上述三個(gè)關(guān)鍵科學(xué)問題緊緊圍繞視覺信息處理系統(tǒng)中最核心的表示與編碼問題，分別從生理/心理基本機(jī)理、視覺信息處理計(jì)算模型、視頻編碼基礎(chǔ)

6、理論三個(gè)層面展開。其中，視覺基本機(jī)理既是基本出發(fā)點(diǎn)也是落腳點(diǎn)，計(jì)算模型是橋梁和紐帶，視覺信息論則是設(shè)計(jì)和實(shí)現(xiàn)下一代視頻編碼方法和技術(shù)的理論基礎(chǔ)。圍繞上述三個(gè)關(guān)鍵科學(xué)問題，我們提出的總體研究內(nèi)容框架如圖2所示，以期建立解決這些問題的模型、理論和方法，構(gòu)建相應(yīng)的驗(yàn)證平臺和原型系統(tǒng)。如圖所示，對應(yīng)三個(gè)關(guān)鍵科學(xué)問題，本項(xiàng)目的主要研究內(nèi)容自底向上分別建立在三個(gè)層面，即：機(jī)理與模型層，理論與方法層，關(guān)鍵技術(shù)與驗(yàn)證層。下面我們分別從這三個(gè)層面對本項(xiàng)目的主要研究內(nèi)容進(jìn)行闡述。2.1視覺基本機(jī)理與模型層該層面的研究

7、內(nèi)容面向的科學(xué)問題主要是前兩個(gè)：視覺信息處理的基本機(jī)理和符合這些基本機(jī)理的計(jì)算模型。不難理解，二者有天然的緊密聯(lián)系：一方面，視覺信息處理基本機(jī)理為視覺信息處理的計(jì)算仿真、計(jì)算模型建立等提供了良好的生理學(xué)和心理學(xué)參照系，對其基本規(guī)律的認(rèn)識為計(jì)算模型的建立提供了良好的技術(shù)可能性和努力方向。另一方面，計(jì)算模型也為基本機(jī)理的正確性和模型的有效性提供了驗(yàn)證機(jī)會，有利于推動視覺基本機(jī)理的研究。下面分別敘述本項(xiàng)目在視覺基本機(jī)理和計(jì)算模型方面擬開展的研究。2.1.1視覺信息處理基本機(jī)理研究在視知覺機(jī)理方面，將主要

8、從生理、心理角度，通過神經(jīng)電生理學(xué)、視覺行為學(xué)、藥物學(xué)等研究手段，在靈長類動物上采用包括微電極矩陣記錄方法、高時(shí)間分辨率的事件相關(guān)電位(ERP)、功能核磁共振(fMRI)等技術(shù)手段從初級視覺皮層V1神經(jīng)元群體反應(yīng)特性入手，研究V1神經(jīng)元經(jīng)典和非經(jīng)典感受野與上級視覺皮層區(qū)域神經(jīng)元正向和反向聯(lián)系、V1神經(jīng)元之間的橫向聯(lián)系，以及視覺學(xué)習(xí)過程中神經(jīng)元群視覺編碼模式的變化特性，探索初級和41高級皮層中的神經(jīng)元群在視覺處理中對簡單和復(fù)雜視覺刺激的編碼模式以及動態(tài)反應(yīng)模式，各級皮層神經(jīng)元群對不同