電子信息垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，網(wǎng)絡(luò)信息呈指數(shù)增長，搜索引擎在互聯(lián)網(wǎng)的應(yīng)用中一直占據(jù)著主要的地位。但是通用搜索引擎給人們帶來便利的同時(shí)，也給人們帶來了檢索上的煩勞。具體表現(xiàn)為：檢索返回的信息量十分龐大，用戶需要花大量的時(shí)間在這些繁雜的信息中尋找到自己感興趣的信息；通用搜索引擎并沒有考慮到用戶專業(yè)知識需求，無差別的返回檢索結(jié)果，將造成檢索過程的不便。
　　垂直搜索引擎作為未來搜索引擎的一個(gè)發(fā)展趨勢，專注于某一個(gè)領(lǐng)域的搜索，在現(xiàn)代行業(yè)分工以及

2、社會分工的逐漸細(xì)化的情況下，發(fā)揮著重要作用。用戶對某一個(gè)專業(yè)信息有著很強(qiáng)的需求，垂直搜索引擎就是為了解決某（這）類專業(yè)信息檢索的問題，其主要通過主題爬蟲技術(shù)等，使得垂直搜索引擎在解決某些專業(yè)問題的時(shí)候比通用搜索引擎更加實(shí)用。
　　本文在介紹了搜索引擎和垂直搜索引擎的基礎(chǔ)上，重點(diǎn)分析研究了heritrix網(wǎng)絡(luò)爬蟲，通過定制heritrix爬蟲達(dá)到了主題網(wǎng)絡(luò)信息的抓取、通過引入ELFHash算法，使得heritrix能夠多線程抓取網(wǎng)頁

3、、通過消除對robots.txt的限制加快heritrix的抓取速率。
　　本文采用lucene來建立索引和檢索，在分析研究lucene基本框架結(jié)構(gòu)的基礎(chǔ)上，對lucene自帶的中分分詞和排序做了修改。在針對電子信息搜索引擎需求下，設(shè)計(jì)出基于電子信息專業(yè)詞典和統(tǒng)計(jì)結(jié)合的中文分詞算法和修改了lucene的自帶排序算法，使得檢索的結(jié)果更加符合用戶的需求。除此文章還對下載的網(wǎng)頁信息做了內(nèi)容的分析處理，以便lucene能夠建立索引。