一個(gè)增量更新的Web信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Internet的飛速發(fā)展，使網(wǎng)絡(luò)成為人們發(fā)布、傳輸和獲取信息的重要途徑，為人們生活、工作提供了豐富的信息和資源。Web信息采集作為獲取網(wǎng)絡(luò)信息的重要方法，得到了迅速發(fā)展，被應(yīng)用于多種服務(wù)和研究中。然而，由于Web信息資源的動(dòng)態(tài)性，造成了已采集信息的失效，傳統(tǒng)的更新采集方式需要很大時(shí)空開(kāi)銷。為了提高更新采集的效率，本文主要針對(duì)增量更新的Web信息采集進(jìn)行了研究。 Web網(wǎng)頁(yè)變化有兩個(gè)屬性：內(nèi)容屬性和時(shí)間屬性。根據(jù)這兩方面，本文研

2、究了基于MD5算法和基于人工神經(jīng)網(wǎng)絡(luò)的增量更新策略。前者應(yīng)用MD5算法對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行信息摘要生成MD5值，通過(guò)比較MD5值來(lái)判斷網(wǎng)頁(yè)變化與否，實(shí)現(xiàn)增量更新；后者通過(guò)人工神經(jīng)網(wǎng)絡(luò)對(duì)網(wǎng)頁(yè)變化的時(shí)間間隔建立網(wǎng)絡(luò)模型，采用BP算法來(lái)訓(xùn)練學(xué)習(xí)，得到一個(gè)預(yù)測(cè)模型，以此來(lái)預(yù)測(cè)出各網(wǎng)頁(yè)的變化時(shí)間間隔，通過(guò)與實(shí)際采集的時(shí)間間隔相比較判斷網(wǎng)頁(yè)是否發(fā)生變化，實(shí)現(xiàn)增量更新。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于這兩種增量更新策略相結(jié)合的Web信息采集系統(tǒng)：先通過(guò)比較時(shí)間間隔

3、，判斷發(fā)生變化的網(wǎng)頁(yè)，再對(duì)這些網(wǎng)頁(yè)內(nèi)容進(jìn)行信息摘要生成MD5值，與以前的相比較，驗(yàn)證網(wǎng)頁(yè)是否確實(shí)發(fā)生了變化。對(duì)于變化的網(wǎng)頁(yè)進(jìn)行下載更新，沒(méi)有變化的網(wǎng)頁(yè)不予處理。 實(shí)驗(yàn)表明，基于人工神經(jīng)網(wǎng)絡(luò)和MD5相結(jié)合的增量更新策略在判斷網(wǎng)頁(yè)是否變化是有效的，網(wǎng)頁(yè)變化時(shí)間間隔的人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型能夠在不下載網(wǎng)頁(yè)內(nèi)容的情況下，根據(jù)以前采集的歷史記錄預(yù)測(cè)出網(wǎng)頁(yè)變化時(shí)間間隔，而MD5能夠?yàn)V掉預(yù)測(cè)模型預(yù)測(cè)出的發(fā)生變化但實(shí)際沒(méi)有發(fā)生變化的網(wǎng)頁(yè)，從而減少