基于XML和SVM的Web文本挖掘系統(tǒng)研究.pdf

1、在數(shù)據(jù)集商業(yè)智能分析廣泛使用飛速增長的環(huán)境下,傳統(tǒng)的數(shù)據(jù)倉庫解決方案變得笨重和昂貴。得益于谷歌的開放算法,Hadoop成為一個流行的開源MapReduce實現(xiàn)。如雅虎,臉譜,Rackspace公司都在用其來存儲和處理大量的商業(yè)數(shù)據(jù)集。但是MapReduce編程模型仍然是在一個很低的水平,需要開發(fā)者編寫客戶端應(yīng)用程序。
　　論文提出了Web文本挖掘技術(shù)以及基于Hadoop的數(shù)據(jù)倉庫解決優(yōu)化的方法Zoot,以解決這個困難。論文依照We

2、b文本挖掘的過程對Web文本挖掘進行了詳細的研究,構(gòu)建了一個基于可擴展標記語言(XML)和支持向量機(SVM)的Web文本挖掘模型。論文著重對Web文本預(yù)處理的過程和方法進行研究,論文提出用XML技術(shù)將Web頁面上的信息進行結(jié)構(gòu)化,進而再將這些Web文本表示成計算機能夠處理的形式,提取出對文本挖掘有用的信息,縮減數(shù)據(jù)量,形成一個文本特征庫來做為Web文本挖掘的基礎(chǔ)。Web文本預(yù)處理的結(jié)果對Web文本挖掘的質(zhì)量和效率有著很重要的影響,因此

3、,Web文本預(yù)處理階段是至關(guān)重要的,需要進行詳細而完善的研究。論文還構(gòu)建了一個Web文本挖掘模型,這個基于XML和SVM的Web文本挖掘的模型主要包含了Web文本預(yù)處理和Web文本挖掘的功能,它的優(yōu)點在于它利用權(quán)威頁面的確定、XML技術(shù)以及特征提取逐步地縮小了數(shù)據(jù)量,同時得到了能夠準確表達文本內(nèi)容的特征詞條集合,用支持向量機的方法降低高維數(shù)據(jù)的維數(shù),使文本挖掘處理的數(shù)據(jù)更加精煉。Zoot支持類似于SQL查詢語言語句:HiveQL,此查詢