云環(huán)境下基于個性化模型的探索式搜索技術研究與實現(xiàn).pdf

1、隨著信息產(chǎn)業(yè)特別是互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)產(chǎn)業(yè)的快速發(fā)展,網(wǎng)絡上的信息量呈現(xiàn)幾何級的增長,信息匱乏的年代已經(jīng)遠去。從某種程度上說,人們所需要的任何相關信息都可以從互聯(lián)網(wǎng)上搜索得到。但面對如此浩如煙海且雜亂的信息資源,尤其是應用最為廣泛的文本資源,人們迫切需要一種有效的方式從紛繁復雜的海量信息中搜索、選擇感興趣的信息和知識。那么如何支持用戶、特別是移動用戶有效地搜索、甄別并快速的定位自己感興趣的內(nèi)容;如何使用戶獲取信息的過程呈現(xiàn)出個性化的趨勢,

2、讓用戶參與其中,并盡量減少無關信息的煩擾,提高用戶的體驗水平;依然是一個特別需要但仍然沒有解決好的問題。
　　本文在對傳統(tǒng)搜索引擎技術研究的基礎上,針對用戶獲取信息的個性化程度不夠、信息獲取過程中用戶(特別是移動用戶)體驗不夠好等問題。在云環(huán)境下,研究海量信息的分類、聚類與相似語義鏈網(wǎng)絡的生成技術;研究元搜索技術、個性化用戶建模技術、支持可視化的探索式搜索技術;結合當前移動平臺普遍使用的觸屏作為用戶與系統(tǒng)交互的界面。實現(xiàn)了一個基于

3、用戶個體化特征的、支持用戶參與的新型的可視化探索式搜索原型及其示范應用系統(tǒng)。具體的說,本文的研究內(nèi)容主要包括如下幾個方面:
　　(1)系統(tǒng)剖析現(xiàn)有各種搜索引擎的優(yōu)缺點。開發(fā)并實現(xiàn)一個元搜索引擎,實時整合通用搜索引擎(如谷歌、百度等)、新浪微博和騰訊微博開發(fā)接口,與基于開源爬蟲軟件WebCrawler、Solr等為基礎開發(fā)的搜索引擎一起實現(xiàn)對信息的抓取。
　　(2)研究正文抽取、網(wǎng)頁去重、中文切詞等技術與方法,確認文本主題信息

4、;利用改進 K-means算法計算文本間的相似性,對所獲取的信息進行分類和聚類,根據(jù)相似度計算生成相似語義鏈網(wǎng)絡。通過語義上的去粗取精,把相似的信息源聚集起來,減少信息的規(guī)模,構建更加簡練可靠的相似語義鏈網(wǎng)絡。為個性化的探索搜索打下基礎。
　　(3)針對現(xiàn)有搜索技術在滿足用戶(特別是移動用戶)個性化要求上的不足,在生成的相似語義鏈網(wǎng)絡的基礎上,進一步提出并設計基于個性化的用戶模型及算法。基于該模型對生成的相似語義鏈網(wǎng)絡進行進一步的

5、分割和定位,將搜索的結果與用戶的個性化信息結合起來,以滿足用戶個性化搜索的需要。
　　(4)基于搜索信息的分類與聚類、相似語義鏈網(wǎng)絡、個性化用戶建模技術;跟蹤和記憶用戶在搜索過程中的參與與互動過程,強調(diào)搜索過程中的人機交互性;研究并提出了一種新的RF(相關反饋)機制,實現(xiàn)支持探索與發(fā)現(xiàn)相結合的探索式搜索技術及其原型系統(tǒng)。
　　(5)基于Hadoop和HBase搭建一個云平臺,通過分布式文件系統(tǒng)支持海量信息的存儲,基于Map/