基于深度網頁爬蟲搜索引擎原型的研究和實現(xiàn).pdf

1、隨著Internet的迅速發(fā)展，簡易、可擴展、平臺無關的Web技術逐漸盛行，Web動態(tài)頁面也正在逐步取代靜態(tài)頁面?；赪eb動態(tài)頁面的一些特性，深度網頁（亦稱Deep Web或深網）的出現(xiàn)也就成了必然的趨勢。搜索引擎的出現(xiàn)在一定程度上為用戶搜集、獲取網絡信息提供了有效的途徑。傳統(tǒng)的搜索引擎呈現(xiàn)給用戶的主要是類似純文本的非結構化數(shù)據(jù)，但深度網頁數(shù)據(jù)作為一種結構化數(shù)據(jù)，顯然無法通過傳統(tǒng)搜索引擎被獲取到。隨著對深度網頁技術研究的不斷深入，通過

2、搜索引擎獲取深度網頁數(shù)據(jù)已經成為深度網頁研究領域的一項新課題。
　　 本文主要是基于深度網頁爬蟲并結合Lucene搜索引擎構架中的核心索引類和核心查詢類構建了一種基于深度網頁爬蟲的搜索引擎原型。在整個原型系統(tǒng)的實現(xiàn)過程中，主要從深度網頁站點信息搜集、深度網頁查詢接口判定、深度網頁表面預處理以及關聯(lián)表單查詢模板輸入值等四個方面對深度網頁爬蟲的研究和實現(xiàn)進行了分析和探討。本文在查詢接口判定方面，主要是根據(jù)DOM樹的原理，對網頁數(shù)據(jù)進

3、行了特征分析和識別。
　　 在對深度網頁進行表面預處理方面，本文提出了關聯(lián)表單查詢模板的選擇算法。這種算法是在對網頁表單輸入值進行建模的基礎上，通過對表單頁面的查詢處理過程進行分析和研究所提出的。另外，在表單查詢模板輸入值的選擇方面，本文采用了一種迭代探索的算法，結合加權分析技術，對后臺表單數(shù)據(jù)庫通過查詢獲取到深度網頁中的數(shù)據(jù)。
　　 在搜索引擎構架方面，本文利用了Lucene開源搜索引擎框架提供的兩個核心類，即核心索引