基于中層語(yǔ)義表示的圖像場(chǎng)景分類(lèi)研究.pdf

1、隨著多媒體技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展,人們接觸到的圖像數(shù)據(jù)以前所未有的速度增長(zhǎng)。面對(duì)海量的圖像資源,如何有效地分析、組織和管理圖像數(shù)據(jù),實(shí)現(xiàn)基于內(nèi)容的圖像檢索成為多媒體技術(shù)的研究熱點(diǎn)。場(chǎng)景分類(lèi)(SceneClassification)任務(wù)就是在這種背景下產(chǎn)生的。場(chǎng)景分類(lèi)根據(jù)給定的一組語(yǔ)義類(lèi)別對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行自動(dòng)標(biāo)注,為指導(dǎo)目標(biāo)識(shí)別等更高層次的圖像理解提供了有效的上下文語(yǔ)義信息。其研究的難點(diǎn)在于如何使計(jì)算機(jī)能夠從人類(lèi)的認(rèn)知角度來(lái)理解圖像的

2、場(chǎng)景語(yǔ)義信息,有效辨別圖像場(chǎng)景類(lèi)內(nèi)差異性和場(chǎng)景類(lèi)間相似性。本文在場(chǎng)景的中層語(yǔ)義表示的基礎(chǔ)上,著重討論了如何從場(chǎng)景圖像中提出有效的視覺(jué)特征,彌合圖像低層特征和高層語(yǔ)義之間的語(yǔ)義鴻溝。圍繞該問(wèn)題,本文取得了以下研究成果:
　　 提出了一種構(gòu)建類(lèi)別視覺(jué)辭典的場(chǎng)景分類(lèi)算法,該算法使用互信息作為特征選擇方法來(lái)構(gòu)建類(lèi)別視覺(jué)辭典。根據(jù)視覺(jué)單詞對(duì)給定類(lèi)別的貢獻(xiàn)度,從全局視覺(jué)辭典中選擇對(duì)給定類(lèi)別貢獻(xiàn)度高的視覺(jué)單詞,組成該類(lèi)的類(lèi)別視覺(jué)辭典,進(jìn)而生成

3、類(lèi)別直方圖。最終的融合直方圖由基于全局視覺(jué)辭典的全局直方圖和基于類(lèi)別視覺(jué)辭典的類(lèi)別直方圖通過(guò)自適應(yīng)加權(quán)合并生成,這種加權(quán)合并方法可以使類(lèi)別直方圖和全局直方圖通過(guò)互相競(jìng)爭(zhēng)的方式來(lái)描述圖像。融合直方圖不僅可以保留全局直方圖的的區(qū)分能力,而且通過(guò)類(lèi)別直方圖加強(qiáng)了不同類(lèi)別的相似場(chǎng)景的區(qū)分能力,以克服不同場(chǎng)景類(lèi)別間的相似性問(wèn)題,提高分類(lèi)正確率。
　　 提出了一種基于不同特征粒度的多尺度多層次場(chǎng)景分類(lèi)模型(Multi-ScaleMulti—

4、Level Generative Model,MSML-pLSA)。該模型由兩部分組成:多尺度部分負(fù)責(zé)從不同尺度的場(chǎng)景圖像中提取視覺(jué)細(xì)節(jié),構(gòu)建多尺度直方圖；多層次部分將對(duì)應(yīng)不同數(shù)量語(yǔ)義主題的場(chǎng)景表示線(xiàn)性連接生成最終的場(chǎng)景表示一多尺度多層次直方圖。MSML-pLSA模型可以在一個(gè)統(tǒng)一的框架下整合了不同粒度的視覺(jué)信息和語(yǔ)義信息,從而得到更加完善的場(chǎng)景描述。
　　 提出了一種使用無(wú)監(jiān)督學(xué)習(xí)方法提取上下文信息的場(chǎng)景分類(lèi)算法,該算法將局部

5、視覺(jué)單詞擴(kuò)展到上下文視覺(jué)單詞。上下文視覺(jué)單詞不僅包含了當(dāng)前尺度下給定感興趣區(qū)域(Region Of Interest,ROI)的局部視覺(jué)信息,而且還包含了ROI相鄰區(qū)域和相鄰粗糙尺度下與ROI同中心的區(qū)域包含的視覺(jué)信息。通過(guò)引入ROI的上下文信息,上下文視覺(jué)單詞能夠更加有效地描述圖像場(chǎng)景的語(yǔ)義信息,從而減少了圖像場(chǎng)景語(yǔ)義的歧義性,進(jìn)而減少了場(chǎng)景分類(lèi)的錯(cuò)誤率。
　　 研究了基于詞包模型(Bag of Words,BoW)表示的特征

6、點(diǎn)的數(shù)量對(duì)分類(lèi)正確率的影響。在構(gòu)建詞包模型的過(guò)程中,如何選取特征點(diǎn),以便能更好地表征圖像的視覺(jué)信息是一個(gè)非常重要的工作。在場(chǎng)景分類(lèi)領(lǐng)域中有一個(gè)普遍認(rèn)同的觀(guān)點(diǎn),即較大數(shù)量的特征點(diǎn)可以獲得較高的分類(lèi)正確率,但是該觀(guān)點(diǎn)卻沒(méi)有被驗(yàn)證過(guò)。在詞包模型的框架下,本文做了大量的實(shí)驗(yàn)來(lái)驗(yàn)證這個(gè)觀(guān)點(diǎn),本文采用了四種特征選擇方法和三種不同的SIFT特征(Scale Invariant Feature Transform)來(lái)改變特征點(diǎn)的數(shù)量。實(shí)驗(yàn)結(jié)果證明特征點(diǎn)