基于Nutch的維文與哈文搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著Internet的迅猛發(fā)展，Internet上的資源越來越豐富，基于Internet的各類信息檢索服務(wù)獲得了迅速的發(fā)展。雖然常用的搜索引擎可以滿足大部分用戶的需要，但是主流的搜索引擎并沒有解決少數(shù)民族語言文字方面的關(guān)鍵問題，并不能完全滿足少數(shù)民族語種的網(wǎng)絡(luò)信息檢索需求。為了能夠方便用戶快速檢索維語和哈薩克語等少數(shù)民族語言的網(wǎng)頁，開發(fā)一個(gè)支持的維文與哈文搜索的搜索引擎是新疆少數(shù)民族面臨的一個(gè)急待解決的重要問題。所以，本論文著重討論了用

2、開源的nutch為平臺，在此基礎(chǔ)上開發(fā)并實(shí)現(xiàn)-款支持維文與哈文的搜索引擎應(yīng)用。
　　 論文的主要工作包括：
　　 首先，論文介紹了搜索引擎的定義、歷史、種類與發(fā)展趨勢等等內(nèi)容，并對傳統(tǒng)搜索引擎的基本原理進(jìn)行了解釋，對其關(guān)鍵組成模塊，如爬蟲系統(tǒng)、索引器系統(tǒng)、查詢分析系統(tǒng)、網(wǎng)頁打分機(jī)制等進(jìn)行了簡單的分析。
　　 其次，論文對開源的搜索引擎nutch進(jìn)行了詳細(xì)的介紹，如：nutch的組成、nutch的工作流程、map-

3、reduce技術(shù)、hadoop分布式文件系統(tǒng)、nutch插件系統(tǒng)等，并進(jìn)一步對nutch的安裝，開發(fā)環(huán)境搭建等做了介紹。
　　 第三，在對開發(fā)基礎(chǔ)平臺nutch做了詳細(xì)介紹，并搭建了開發(fā)環(huán)境之后，論文從設(shè)計(jì)角度對系統(tǒng)的總體架構(gòu)、數(shù)據(jù)收集模塊、分詞模塊、索引模塊、查詢模塊進(jìn)行了介紹。
　　 第四，從實(shí)際開發(fā)角度入手，論文介紹了怎樣去開發(fā)并實(shí)現(xiàn)一個(gè)基于nutch的維文與哈文搜索引擎，涉及到了開發(fā)環(huán)境的搭建、開發(fā)方法及思路、修

4、改nutch源碼、改進(jìn)hadoop算法、編寫插件、錯(cuò)誤處理等與實(shí)際開發(fā)相關(guān)的問題。論文最后對已經(jīng)實(shí)現(xiàn)的維文與哈文搜索引擎應(yīng)用進(jìn)行了測試，并給出了相關(guān)結(jié)論。
　　 搜索引擎是一個(gè)龐大且復(fù)雜的數(shù)據(jù)檢索系統(tǒng)，開發(fā)維文與哈文搜索引擎具有很大的現(xiàn)實(shí)意義，但是實(shí)現(xiàn)起來比較困難。基于開源的搜索引擎應(yīng)用nutch作為開發(fā)平臺，在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)支持維吾爾、哈薩克語言文字的搜索引擎的確是一個(gè)切實(shí)可行的方案。論文從搜索引擎基礎(chǔ)入手，詳細(xì)介紹了nu