基于查詢擴(kuò)展的主題爬蟲研究.pdf

1、隨著信息多元化的增長，通用搜索引擎已經(jīng)不能滿足人們對個性化信息檢索服務(wù)日益增長的需要，用戶對信息的需求更多的是針對受限領(lǐng)域和面向特定主題的。應(yīng)對這種需求，需要分類精確、數(shù)據(jù)全面、更新及時的面向主題的搜索，主題爬蟲就是主題搜索引擎的基礎(chǔ)與核心。其基本思想是在爬行過程中按預(yù)先定義好的主題有選擇的收集相關(guān)網(wǎng)頁，即先確定搜索范圍，再找到最相關(guān)的鏈接，避免下載不相關(guān)的網(wǎng)頁。因而如何為領(lǐng)域、主題相關(guān)性的判定制定準(zhǔn)確的規(guī)則；如何利用豐富的上下文，理解

2、用戶的輸入語義，并能返回準(zhǔn)確的信息，成為主題爬蟲系統(tǒng)的研究重點。 本文的研究內(nèi)容主要包括： 首先，在分析現(xiàn)有主題爬蟲搜索策略的優(yōu)缺點的基礎(chǔ)上，改進(jìn)了主題爬蟲系統(tǒng)的框架，并給出工作原理。 然后，建立基于詞語共現(xiàn)的查詢擴(kuò)展算法，設(shè)計具有語義理解能力的主題爬蟲。 接下來，改進(jìn)現(xiàn)有的PageRank算法，將主題相關(guān)度的分析與排序算法結(jié)合起來，提出了主題敏感的FDC-PageRank算法計算網(wǎng)頁優(yōu)先級，實現(xiàn)從語義上