基于鏈接分析的Web社區(qū)發(fā)現(xiàn)技術(shù)研究.pdf

1、WWW已經(jīng)成為一個巨大的、分布廣泛的全球信息服務中心，且以驚人的速度在不斷擴大。目前Web上數(shù)據(jù)具有海量和無組織等特征，如何快速、有效地利用Web上的數(shù)據(jù)成為研究熱點。Web中存在大量的社區(qū)，這些社區(qū)是Web組織中非常重要的信息。社區(qū)可以為用戶提供有價值的、及時的信息。社區(qū)反映了Web中普遍存在的復雜聚團關(guān)系和層次關(guān)系，對社區(qū)的深入研究可以了解Web中知識信息及其組織結(jié)構(gòu)的發(fā)展狀況。可將Web社區(qū)發(fā)現(xiàn)算法應用于搜索引擎有助于提高Web信

2、息搜索的精確度，進而實現(xiàn)垂直搜索引擎。
　　Web頁面間的鏈接關(guān)系為Web社區(qū)發(fā)現(xiàn)研究提供了極其豐富的信息線索。鏈接分析是Web社區(qū)發(fā)現(xiàn)主要技術(shù)之一。
　　本文在分析當前Web及其數(shù)據(jù)特征、Web社區(qū)的定義、鏈接分析技術(shù)、Web拓撲結(jié)構(gòu)模型等理論基礎(chǔ)上，對基于鏈接分析的Web社區(qū)發(fā)現(xiàn)技術(shù)：基于重要度分析的PageRank算法、基于共引用與共耦合關(guān)系的HITS算法、基于有向二分圖的Trawling算法、基于流量的算法進行了詳細

3、的分析。并重點研究了基于共引用與共耦合關(guān)系的HITS算法實現(xiàn)過程及其在社區(qū)發(fā)現(xiàn)中存在的問題針對HITS算法本身只考慮Web頁面間超鏈接而忽略Web頁面內(nèi)容信息，對鏈接不加區(qū)分，對所有的鏈接賦予相等權(quán)重，結(jié)果常常把與主題無關(guān)的頁面賦予較高的權(quán)重，導致了社區(qū)結(jié)果網(wǎng)頁出現(xiàn)了主題漂移現(xiàn)象。本文提出了基于鏈接價值度和頁面語義主題相似度的改進HITS算法，該算法將鏈接權(quán)威度和頁面語義主題相似度這兩個不同角度的屬性融合到鏈接權(quán)重分配中，突出了鏈接的差