Web信息獲取技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的普及與發(fā)展，信息獲取已經(jīng)從通過手工獲取信息、通過計(jì)算機(jī)獲取信息，發(fā)展到通過網(wǎng)絡(luò)獲取信息。如今的網(wǎng)頁數(shù)以億計(jì)，要在浩如煙海的網(wǎng)絡(luò)世界尋找需要的信息，作為現(xiàn)代信息獲取技術(shù)的主要應(yīng)用—搜索引擎是必不可少的。論文研究的目的是希望通過對(duì)基于超鏈分析的采集策略進(jìn)行研究，探索提高搜索引擎中網(wǎng)頁采集器采集性能的方法。 網(wǎng)頁采集器是一種能夠自動(dòng)從互聯(lián)網(wǎng)上采集網(wǎng)頁的軟件，它決定著搜索引擎的數(shù)據(jù)是否豐富，信息是否能夠得到及時(shí)更新。論文系統(tǒng)

2、地介紹了搜索引擎中網(wǎng)頁采集器的工作原理。Robot主要由HTTP下載模塊、爬行策略控制器和URL解析器三個(gè)部分組成。在Robot系統(tǒng)實(shí)現(xiàn)中采用了非遞歸的構(gòu)造方式，給出了隊(duì)列狀態(tài)轉(zhuǎn)換關(guān)系、Robot的典型流程圖和詳細(xì)的算法思想，運(yùn)用了數(shù)據(jù)庫和多線程編程技術(shù)。 Robot軟件的采集策略是指當(dāng)Robot搜索到一個(gè)文檔后，下一步應(yīng)該轉(zhuǎn)移到哪一個(gè)文檔的方法問題，它決定著Robot軟件的采集性能。論文討論了IP地址采集策略、深度優(yōu)先采集策略

3、、廣度優(yōu)先采集策略、深度-廣度結(jié)合采集策略四種基于有向圖的遍歷算法并分析了各自的優(yōu)缺點(diǎn)。Web上的超鏈結(jié)構(gòu)是一個(gè)非常豐富和重要的資源，它獨(dú)立于網(wǎng)頁的語言和內(nèi)容。論文研究了基于超鏈分析的算法中的BackLink算法、HITS算法和PageRank算法的原理、實(shí)現(xiàn)和存在的問題，并提出了一種對(duì)PageRank的改進(jìn)算法。基于超鏈分析的算法能夠有效地提高Robot的采集性能，減少獲取網(wǎng)頁的重復(fù)性，并對(duì)垃圾網(wǎng)頁有較好的過濾性。對(duì)分別采用BackL