數(shù)據(jù)流環(huán)境中關聯(lián)規(guī)則挖掘技術的研究.pdf

1、在當今信息社會里，各行各業(yè)需要處理的數(shù)據(jù)規(guī)模越來越大，然而數(shù)據(jù)分析技術嚴重缺乏，無法在海量的數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)之間隱藏的聯(lián)系，出現(xiàn)了“數(shù)據(jù)多，知識少”的現(xiàn)象，數(shù)據(jù)挖掘技術應運而生。數(shù)據(jù)挖掘是從數(shù)據(jù)庫中抽取隱含的、未知的、具有潛在使用價值信息的過程，其中關聯(lián)規(guī)則挖掘是該領域的一個重要研究課題，它是發(fā)現(xiàn)大量數(shù)據(jù)中的項目集之間的隱含的相關性信息的過程。各種關聯(lián)規(guī)則挖掘算法雖然思想各不相同，但是大致過程都由挖掘頻繁項集和發(fā)現(xiàn)關聯(lián)規(guī)則兩個步驟組成。如

2、何提高挖掘頻繁項集算法的效率和發(fā)現(xiàn)關聯(lián)規(guī)則結果的準確性是研究關聯(lián)規(guī)則挖掘算法的兩個核心問題。
　　在過去幾年，隨著關聯(lián)規(guī)則挖掘技術研究的不斷深入，頻繁模式挖掘技術已經(jīng)逐漸成熟，形成了很多經(jīng)典算法。然而隨著信息的爆炸式增長，實際應用中的數(shù)據(jù)往往以數(shù)據(jù)流的模式存在，數(shù)據(jù)流的的新特點給傳統(tǒng)的數(shù)據(jù)挖掘技術帶來挑戰(zhàn)。應用于數(shù)據(jù)流環(huán)境中的頻繁項集挖掘算法需要能以增量式的方式獲取數(shù)據(jù)并進行分析以避免重復重建知識庫。FP-Stream是一個經(jīng)典的

3、數(shù)據(jù)流挖掘算法，實現(xiàn)了多時間粒度存儲和高效的動態(tài)更新滿足用戶的興趣度查詢，利用特定數(shù)據(jù)結構實現(xiàn)了大量數(shù)據(jù)的快速挖掘和挖掘結果的高效存儲。但是該算法對需進入內(nèi)存進行分析的數(shù)據(jù)流本身并未進行壓縮，如果出現(xiàn)高速事務流，即單位時間內(nèi)到達的數(shù)據(jù)量很大，由于內(nèi)存空間有限，算法無法準確處理。另一方面，該算法引入的傾斜時間框架技術耗費內(nèi)存巨大?？梢奆P-Stream算法仍然存在有限內(nèi)存與高速海量數(shù)據(jù)之間的矛盾。本文對FP-Stream算法進行改進，將垂

4、直格式Dif-bits壓縮算法的思想融入FP-Stream算法，對原始事務流數(shù)據(jù)進行垂直壓縮處理，以減少算法對內(nèi)存的需求，依靠壓縮算法較高的壓縮率使改進算法甚至可以處理數(shù)據(jù)量超出內(nèi)存限制的情況。同時對傾斜時間框架進行二進制位圖和填充變換，進一步節(jié)省存儲空間，提高空間性能，最大限度的提高算法處理的數(shù)據(jù)量和處理速度。在關聯(lián)規(guī)則的發(fā)現(xiàn)階段，改善傳統(tǒng)的最小支持度.置信度框架，引入提升度、余弦和興趣度來擴充已有框架，分析關聯(lián)規(guī)則的相關性，以避免傳