基于區(qū)分矩陣的粗糙集屬性約簡算法在數(shù)據(jù)挖掘中的應(yīng)用研究.pdf

1、隨著信息時代的來臨，人類在各種領(lǐng)域中面臨著越來越多的數(shù)據(jù)信息。與此同時，這些數(shù)據(jù)還在以驚人的速度不斷增長。因此，為了提高工作效率和生活質(zhì)量，人們必須獲取蘊藏在其中的有價值的信息。為了達到這個目的，人們開始致力于從數(shù)據(jù)庫中發(fā)現(xiàn)知識的研究。然而，眾所周知，數(shù)據(jù)庫中往往存在冗余數(shù)據(jù)(Redundant data)、缺失數(shù)據(jù)(Missing data)、不確定的數(shù)據(jù)(Incertain data)和不一致的數(shù)據(jù)(Inconsistent dat

2、a)等諸多情況，這些數(shù)據(jù)成了發(fā)現(xiàn)知識的一大障礙。因此，在從數(shù)據(jù)庫中發(fā)現(xiàn)知識之前必須對數(shù)據(jù)進行預(yù)處理。本論文著重研究數(shù)據(jù)挖掘中的數(shù)據(jù)的預(yù)處理，尤其是屬性約簡。 粗糙集(Rough sets)理論是由Z．Pawlak教授于20世紀80年代初提出的一種用于處理不確定性和含糊性屬性的數(shù)學工具。它的基本思想是在保持分類能力不變的前提下，通過屬性約簡，導(dǎo)出概念的分類規(guī)則，它無需提供相關(guān)數(shù)據(jù)集合以外的任何先驗信息，適合發(fā)現(xiàn)數(shù)據(jù)庫中隱含的、潛

3、在有用的規(guī)律，即屬性，找出其內(nèi)部數(shù)據(jù)的關(guān)聯(lián)關(guān)系和特征。近年來，粗糙集理論和應(yīng)用取得了很大的成就，已成為軟計算方法的重要分支，其涉及的領(lǐng)域包括模式識別、機器學習、決策分析和決策支持、屬性獲取、屬性發(fā)現(xiàn)等。 本文主要研究基于區(qū)分矩陣的粗糙集屬性約簡算法在數(shù)據(jù)挖掘中的應(yīng)用。首先，闡述了數(shù)據(jù)挖掘與粗糙集理論的基本知識，在分析和總結(jié)基于粗糙集理論的數(shù)據(jù)挖掘算法的基礎(chǔ)上，針對HORAFA算法進行了詳細的分析。HORAFA算法是基于區(qū)分矩陣

4、的啟發(fā)式屬性約簡算法，為了改善該算法的完備性、提高它的屬性約簡效率和減少算法運行時間，因此，本文對HORAFA算法進行了改進，提出了基于區(qū)分矩陣的HORAFA-AFVDM(HORAFA base onAttribute frequency value of discernibility matrix)算法。該算法以核為基礎(chǔ)，加入屬性重要性最大的屬性，計算屬性頻率函數(shù)，即等于區(qū)分矩陣中刪除當前屬性所在的元素之后，屬性出現(xiàn)的頻率。具體表示為

5、：f(a)=f(a)+|A|/|c’|，對于每個a∈c，其中|A|是信息系統(tǒng)總的條件屬性個數(shù)， |c’|為區(qū)分函數(shù)項中刪除加入到核中的屬性之后還剩的屬性個數(shù)。為了能夠找到信息系統(tǒng)的最優(yōu)約簡，在此基礎(chǔ)上增加一個反向消除過程，從已得到的核中刪除可以刪除的屬性，直到不能再刪為止，從而保證算法的完備性。文中通過一個實例完整說明了本方法。其后，對算法進行具體的實現(xiàn)。為了在MATLAB環(huán)境下完成實驗，對屬性進行約簡之前，首先要對被約簡的數(shù)據(jù)集進行數(shù)