基于語(yǔ)義主題模型的圖像場(chǎng)景分類研究.pdf

1、圖像場(chǎng)景分類(SceneClassification)是根據(jù)給定的一組語(yǔ)義類別對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行自動(dòng)標(biāo)注，它為指導(dǎo)目標(biāo)識(shí)別等更高層次的圖像理解提供了有效的上下文語(yǔ)義信息。本文從認(rèn)知心理學(xué)的角度出發(fā)，以“視覺詞包建模-語(yǔ)義主題建模-場(chǎng)景語(yǔ)義分類”為路線展開研究。研究的難點(diǎn)在于如何使計(jì)算機(jī)能夠從人的認(rèn)知角度理解圖像的語(yǔ)義信息，有效辨別圖像場(chǎng)景類自身變化及各場(chǎng)景類之間的相似。
　　 圍繞場(chǎng)景主題建模，最大程度地彌合圖像低層特征和高層語(yǔ)義

2、之間的語(yǔ)義鴻溝，本文取得以下研究成果：
　　 提出了一種基于類別約束的主題模型。該模型針對(duì)同類場(chǎng)景圖像中層語(yǔ)義內(nèi)容具有視覺相似的特點(diǎn)，建立類別約束學(xué)習(xí)機(jī)制捕獲場(chǎng)景類的特定語(yǔ)義。依據(jù)該模型中場(chǎng)景類主題空間構(gòu)建方法的不同，提出了場(chǎng)景類建模的兩種方案。其中，CTS-LDA(基于類主題空間的潛在狄里克雷分布)采用等維主題集構(gòu)建各類主題空間，便于擴(kuò)展應(yīng)用；ATS-LDA(自適應(yīng)主題數(shù)的潛在狄里克雷分布)采用不等維主題集構(gòu)建各場(chǎng)景類的主題空

3、間，體現(xiàn)各類場(chǎng)景語(yǔ)義內(nèi)容繁簡(jiǎn)變化程度。該模型通過比較各類模型下圖像邊緣分布，采用最大似然選擇實(shí)現(xiàn)場(chǎng)景類判別，擺脫了現(xiàn)有方法必須使用分類器進(jìn)行場(chǎng)景分類的限制。
　　 提出了一種學(xué)習(xí)和識(shí)別場(chǎng)景類別的主題模型。針對(duì)EM算法推導(dǎo)過程中可能存在的局部極值問題，根據(jù)狄雷克里參數(shù)的偽計(jì)數(shù)作用，采用兩次變分推導(dǎo)估計(jì)模型參數(shù)。首先，推導(dǎo)出符合訓(xùn)練樣本的通用主題先驗(yàn)分布，作為模型參數(shù)初值；然后對(duì)模型進(jìn)行再次變分推導(dǎo)，估計(jì)各場(chǎng)景類主題先驗(yàn)分布。該模型

4、的推導(dǎo)方式有利于實(shí)現(xiàn)增量學(xué)習(xí)。對(duì)于新增場(chǎng)景類，在原訓(xùn)練樣本的通用主題先驗(yàn)參數(shù)基礎(chǔ)上，該模型能夠以增量方式學(xué)習(xí)新增類的類主題先驗(yàn)分布，呈現(xiàn)出較高的泛化能力。
　　 提出了一種具備空間語(yǔ)義的主題模型，從中間語(yǔ)義描述的共性和個(gè)性角度捕獲視覺詞語(yǔ)的共現(xiàn)信息。首先在原有視覺詞包的基礎(chǔ)上，該模型通過建立空間金字塔來(lái)保留與特征點(diǎn)相關(guān)的空間信息，實(shí)現(xiàn)了圖像局部特征與全局特征的有效融合。然后從中間語(yǔ)義層次上聯(lián)合考查通用主題的一般性和類主題的特殊性