網(wǎng)絡(luò)蜘蛛垂直搜索算法的改進(jìn)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)蜘蛛在垂直搜索引擎中占據(jù)著重要的地位，它的搜索算法是垂直搜索引擎的核心技術(shù)，基于何種策略的搜索算法才能得到更高的搜索回報(bào)率是近幾年網(wǎng)絡(luò)蜘蛛研究的熱點(diǎn)問題。本文對(duì)網(wǎng)絡(luò)蜘蛛垂直搜索算法進(jìn)行了改進(jìn)與實(shí)現(xiàn)。 本文研究了網(wǎng)絡(luò)蜘蛛的通用搜索算法和幾種垂直搜索策略，分析了現(xiàn)有啟發(fā)式搜索算法的優(yōu)缺點(diǎn)，改進(jìn)了垂直搜索算法，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于改進(jìn)后的算法的網(wǎng)絡(luò)蜘蛛，對(duì)手機(jī)行業(yè)網(wǎng)站作了垂直搜索實(shí)踐。對(duì)算法的改進(jìn)主要體現(xiàn)在以下三個(gè)方面。第一，通過

2、對(duì)大量網(wǎng)頁(yè)源文件的分析給出了一個(gè)新的鏈接價(jià)值估計(jì)的方法，并給出了一個(gè)經(jīng)驗(yàn)公式。第二，把閾值的估計(jì)和ε—貪婪策略結(jié)合起來，使鏈接的選擇序列優(yōu)化，從而得到更高的搜索回報(bào)率。第三，巧用MD5算法把url映射成兩個(gè)數(shù)，使判斷任意兩個(gè)url是否相同的比較次數(shù)小于等于2。對(duì)基于改進(jìn)后的搜索算法的網(wǎng)絡(luò)蜘蛛進(jìn)行用例設(shè)計(jì)和類設(shè)計(jì)，然后闡述了網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn)細(xì)節(jié)。實(shí)現(xiàn)部分的說明包括三個(gè)部分，分別是程序的初始化，抓取網(wǎng)頁(yè)和程序結(jié)束。通過對(duì)手機(jī)行業(yè)網(wǎng)站的垂直搜索