Web信息挖掘服務(wù)平臺(tái)及數(shù)據(jù)備份技術(shù)研究.pdf

1、隨著Internet的快速發(fā)展,互聯(lián)網(wǎng)上的信息越來(lái)越豐富,面對(duì)爆炸性增長(zhǎng)的信息,我們需要采取新的技術(shù)手段來(lái)管理和挖掘互聯(lián)網(wǎng)信息。一個(gè)好的系統(tǒng)平臺(tái)是提供優(yōu)良的信息挖掘服務(wù)的基礎(chǔ),為此我們的研究集中在以下幾個(gè)方面:
　　(1)Web信息挖掘服務(wù)平臺(tái)的架構(gòu)設(shè)計(jì);
　　(2)信息挖掘服務(wù)的功能點(diǎn)設(shè)計(jì);
　　(3)平臺(tái)關(guān)鍵數(shù)據(jù)的容災(zāi)功能。
　　基于上述3點(diǎn),本文所做的工作描述如下:
　　(1)提出了應(yīng)用于Web信息挖

2、掘服務(wù)平臺(tái)的架構(gòu)設(shè)計(jì)。本文基于J2EE輕量級(jí)框架設(shè)計(jì)的思想,使用軟件工程中的MVC分層模型,對(duì)系統(tǒng)的各個(gè)模塊進(jìn)行劃分,實(shí)現(xiàn)了以Solr為基礎(chǔ)的高效Web信息挖掘系統(tǒng)。該系統(tǒng)為信息挖掘服務(wù)提供了一個(gè)良好的運(yùn)行環(huán)境,在服務(wù)穩(wěn)定性、響應(yīng)速度和吞吐率方面都能很好地滿足實(shí)際應(yīng)用需求。同時(shí),在二次開(kāi)發(fā)中系統(tǒng)具有很高的可擴(kuò)展性。
　　(2)針對(duì)Web信息挖掘的實(shí)際需要,研究了基于元信息判別的網(wǎng)頁(yè)自動(dòng)分類方法,該算法充分利用網(wǎng)頁(yè)的元信息,結(jié)合傳統(tǒng)

3、的分類算法,快速準(zhǔn)確的對(duì)網(wǎng)頁(yè)進(jìn)行分類;提出了一種基于元信息加權(quán)的相似度計(jì)算方法,實(shí)現(xiàn)精確的相關(guān)網(wǎng)頁(yè)推薦服務(wù);采用基于相關(guān)詞典的查詢擴(kuò)展技術(shù),達(dá)到向用戶進(jìn)行信息推送的效果。有關(guān)實(shí)驗(yàn)表明,本文提出的方法在實(shí)現(xiàn)Web信息挖掘服務(wù)方面均達(dá)到了實(shí)際可用的效果。
　　(3)研究典型的數(shù)據(jù)備份及恢復(fù)技術(shù),針對(duì)實(shí)際需求,為了保證整個(gè)系統(tǒng)數(shù)據(jù)的完整性和可用性,本文使用了冗余備份技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)容災(zāi),其中,采用基于增量異步復(fù)制技術(shù)實(shí)現(xiàn)全文索引庫(kù)備份;采