圖像語義自動標(biāo)注介紹.ppt

《圖像語義自動標(biāo)注介紹.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、介紹人：李思輝圖像語義自動標(biāo)注課題介紹1問題提出背景隨著數(shù)字影像技術(shù)與互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)上有約數(shù)以百億記的圖像，如何快速的檢索到用戶需要的圖片成為一個關(guān)鍵問題。目前商業(yè)化的圖像搜索引擎如baidu、Google、Yahoo等都是以文本關(guān)鍵字的形式來查詢，其關(guān)鍵字主要依靠人工標(biāo)注及Web文本，工作量巨大，且缺乏一定的客觀性。2目前圖像檢索方式（1）基于文本的圖像檢索（Text-basedImageRetrieval——TBIR）通過關(guān)鍵字檢索，圖像庫中的關(guān)鍵字由人工標(biāo)注，現(xiàn)有互聯(lián)網(wǎng)搜索引擎主要使用此方式。優(yōu)

2、點：將圖的檢索問題轉(zhuǎn)為文本的檢索問題，效率高，技術(shù)成熟。缺點：需要人工給每幅圖片標(biāo)注對應(yīng)的若干個語義詞，工作量巨大。（2）基于內(nèi)容的圖像檢索（Content-basedImageRetrieval——CBIR）輸一幅圖像，通過計算圖像的可視特征（如顏色、紋理、形狀等）來實現(xiàn)圖像的匹配與檢索。優(yōu)點：無需人工標(biāo)注，由計算機(jī)自動計算特征并匹配。缺點：“語義鴻溝”使檢索出的結(jié)果不能完全反映檢索者的意圖?；趦?nèi)容的檢索結(jié)果1基于內(nèi)容的檢索結(jié)果2此概念于1992年由T.Kato在論文“QuerybyVisualExample-

3、ContentbasedImageRetrieval”中提出。最早應(yīng)用是IBM的QBIC系統(tǒng)，是為一個俄國博物館制作的繪畫作品查詢系統(tǒng)。目前基于內(nèi)容的圖像檢索系統(tǒng)，例如：谷歌搜圖、百度識圖等，因為“語義鴻溝”的原因，都不能很好的匹配用戶的檢索意圖。所謂“語義鴻溝”是指基于圖像底層可視特征（顏色、紋理、形狀等）的匹配，并不能完全反映用戶更高層次的語義查詢，例如：生命、呵護(hù)、沉思…圖像檢索問題的思考？（1）如何克服方式1中人工標(biāo)注的難題？（2）如何克服方式2中“語義鴻溝問題”？答案：讓機(jī)器代替人去做。答案：讓機(jī)器進(jìn)行多

4、示例學(xué)習(xí)。結(jié)論：讓機(jī)器通過多示例學(xué)習(xí)后自動完成圖像內(nèi)容語義的標(biāo)注，即圖像語義自動標(biāo)注。3什么是圖像語義自動標(biāo)注圖像自動標(biāo)注（AutomaticImageAnnotation，AIA）就是讓計算機(jī)自動地給圖像加上能夠反映其內(nèi)容的語義關(guān)鍵詞。自動標(biāo)注的使用可以有效改善目前的圖像檢索困境。使檢索在保留基于文本關(guān)鍵詞搜索的同時，免去了人工標(biāo)注的巨大工作量，也一定程度的跨越了“語義鴻溝”。它是圖像語義理解研究領(lǐng)域的一個熱點。由Mori等人在1999年提出。涉及技術(shù)：圖像處理（增強(qiáng)、去噪、分割等）、計算機(jī)視覺（特征提?。?、模式

5、識別（分類和理解）、機(jī)器學(xué)習(xí)（建立分類器）等。4自動標(biāo)注方法原理利用已標(biāo)注圖像集或其他可獲得的信息自動學(xué)習(xí)語義概念空間與視覺特征空間的關(guān)系模型，并用此模型標(biāo)注未知語義的圖像。即試圖在圖像的高層語義和低層視覺特征之間建立一種映射關(guān)系，一定程度上解決“語義鴻溝”問題。（1）基于整幅圖特征的語義映射；（自然場景、紋理、建筑，不區(qū)分前后景）（2）基于規(guī)則塊或同質(zhì)區(qū)域的語義映射；（比（1）多了位置區(qū)分）（3）基于圖中物體識別的語義詞射；（語義更準(zhǔn)確、更豐富）5用于標(biāo)注實驗的數(shù)據(jù)集目前較為公認(rèn)的圖像集是Corel-5k◆它由科

6、雷爾公司收集整理，分成三部分：（1）4000張像作為訓(xùn)練集；（2）500張作為驗證集用來估計模型參數(shù)；（3）500張作為測試集評價算法性能；◆5000張圖片按照每100張一個主題，共分為50個主題?！魣D像庫中的每張圖片被標(biāo)注3∽5個標(biāo)注詞，訓(xùn)練集中總共有374個標(biāo)注詞，在測試集中總共使用了263個標(biāo)注詞。6特征提取的主要方法（1）基于顏色的特征提取由于顏色特征具有對尺度、平移和旋轉(zhuǎn)等不變的特性，同時顏色特征是我們辨別物體的主要方法，所以基于顏色的特征提取是目前圖像特征提取的最常用方法。常用的顏色特征提取方法有：●顏

7、色直方圖法●顏色矩法●顏色聚合向量法●顏色相關(guān)圖法●顏色集法●……6特征提取的主要方法（2）基于紋理的特征提取紋理是物體表面固有的一種特性，它具有區(qū)域特性和旋轉(zhuǎn)不變性，反映了不同對象之間的區(qū)分。所以紋理也是圖像的主要提取特征。常用的紋理特征提取方法有：●局部二值模式法●灰度共生矩陣法●隨機(jī)場模型法法●基于小波變化法●基于Gabor濾波器法●自回歸紋理模型法●結(jié)構(gòu)法●……6特征提取的主要方法（3）基于形狀的特征提取形狀是刻畫物體的基本特征之一，用形狀區(qū)別物體非常直觀。通過形狀特征的提取可以識別圖像中所包含的事物或?qū)ο?/p>

8、，從而提取出其中感興趣的目標(biāo)。常用的形狀特征提取方法有：●邊界特征值法●幾何參數(shù)法●形狀不變矩法●傅里葉形狀描述法●……6特征提取的主要方法（4）基于空間關(guān)系的特征提取空間關(guān)系是指圖像中多個目標(biāo)之間的相互位置或方向關(guān)系。這些關(guān)系可分為連接、鄰接、交疊、包含等?？臻g關(guān)系加強(qiáng)了圖像內(nèi)容的描述和區(qū)分能力?？臻g關(guān)系特征提取方法：●基于圖像的規(guī)則子塊分割，建立子塊索引