基于Web日志挖掘系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速普及和廣泛應(yīng)用，Web上產(chǎn)生的信息也隨之飛速增長，如何從浩瀚的資料中挖掘出有價值的信息，受到各方面的關(guān)注。WWW網(wǎng)無論是在訪問量、規(guī)模上還是在網(wǎng)站設(shè)計的復雜度上都以驚人的速度增長著。像Web站點設(shè)計、Web服務(wù)設(shè)計和一些通過Web網(wǎng)站進行簡單的導航模式設(shè)計也都增大了設(shè)計的難度。為了更好地設(shè)計Web服務(wù)器，一個更好的方式就是分析原來的網(wǎng)站是如何被利用的。日志數(shù)據(jù)的分析可以通過統(tǒng)計數(shù)據(jù)的形式，像統(tǒng)計經(jīng)常被訪問的頁面集、統(tǒng)計經(jīng)

2、常需要分析的重要的表格數(shù)據(jù)、通過網(wǎng)站分析找出一般的訪問路徑模式等。Web日志挖掘就是運用數(shù)據(jù)挖掘的思想來對服務(wù)器日志進行分析處理，從而解決上面提出的各種問題。本研究在簡述了Web日志挖掘的概念、研究內(nèi)容、關(guān)鍵技術(shù)和目前的國內(nèi)外研究狀況的基礎(chǔ)上，針對某區(qū)政府門戶網(wǎng)站的訪問日志，采用數(shù)據(jù)挖掘技術(shù)進行數(shù)據(jù)分析，從而找出用戶訪問規(guī)律和內(nèi)容喜好，為改進網(wǎng)站結(jié)構(gòu)和內(nèi)容提供了決策支持。論文所做的主要工作是： (1)對Web日志的預(yù)處理進行了研

3、究，給出了預(yù)處理的流程并分析了其中的難點；包括數(shù)據(jù)凈化、會話識別、用戶識別、路徑補充，并描述了預(yù)處理模型及其算法流程 (2)對其經(jīng)典Apriori算法進行了剖析，提出了改進算法M-Apriori算法，并通過縮減數(shù)據(jù)項集的辦法來提高Apriori算法的執(zhí)行效率； (3)對路徑遍歷模式挖掘進行了研究，例如最大向前路徑生成算法，頻繁遍歷路徑挖掘算法，最大頻繁遍歷挖掘算法，并嘗試將其用到某區(qū)政府網(wǎng)站的挖掘之中； (4)根