基于Hadoop平臺的圖像場景分類方法研究.pdf

1、近年來隨著互聯(lián)網(wǎng)用戶的不斷增加，用戶產(chǎn)生的信息呈現(xiàn)出指數(shù)級的增長，這些信息中的很大一部分都是以數(shù)字圖像的形式存儲的，面對海量的圖像數(shù)據(jù)，在充分識別圖像的基礎(chǔ)上既要對其準確的分類，又能做到速度較快，這個問題已經(jīng)越來越受到研究人員的關(guān)注。不同的圖像場景通常以一些具有代表性的圖像語義內(nèi)容來體現(xiàn)其語義信息，因此可以用一組語義類別來標注圖像數(shù)據(jù)。圖像場景分類不僅有利于圖像分類和檢索，同時諸如目標識別等更高層次的圖像理解，圖像場景分類也可以為其提供

2、準確的語義信息。然而圖像底層特征和高層語義之間是存在鴻溝的，為了能夠消除它們之間的鴻溝并提高準確率，將圖像的局部不變特征轉(zhuǎn)化為局部語義是目前解決該問題的一種重要方法。同時，Hadoop平臺的出現(xiàn)為大規(guī)模圖像處理提供了一個可靠、穩(wěn)定、高效的計算平臺。因此本文在Hadoop平臺下完成了基于局部語義的圖像場景分類，本文的主要工作有以下4個方面：
　　(1)由于Hadoop平臺不支持圖像數(shù)據(jù)處理，因此本文設(shè)計并實現(xiàn)了基于MapReduce

3、的圖像并行化處理平臺，使得單幅圖像成為MapReduce的處理單元，解決了Hadoop不能夠并行處理圖像數(shù)據(jù)的問題。
　　(2)由于圖像處理算法通常使用 C、C++和MATLAB等編寫，而 Hadoop平臺是由Java編寫，因此，針對二者源碼沖突的問題，本文借助JavaCV來調(diào)用底層的OpenCV庫，同時在Hadoop集群的每個節(jié)點安裝OpenCV庫，實現(xiàn)了OpenCV跨平臺、分布式提取圖像底層特征。
　　(3)BoF模型借

4、鑒了文本處理領(lǐng)域中BoW模型的思想，將圖像看作由視覺單詞組成的文檔，通過計算圖像中不同的視覺單詞出現(xiàn)的次數(shù)，得出圖像視覺單詞詞頻向量。由于該方法能夠較好地將圖像的SIFT特征轉(zhuǎn)化為圖像局部語義，因此本文利用MapReduce實現(xiàn)了BoF模型，能夠快速地將大量圖像SIFT特征轉(zhuǎn)化為圖像局部語義。
　　(4)LDA算法最初用于文本分類，而正是因為圖像語義的出現(xiàn)，所以隨后LDA被應(yīng)用到圖像場景分類領(lǐng)域中。因此本文研究了LDA算法的并行化