基于決策樹(shù)和粗糙集的分類(lèi)方法研究.pdf

1、數(shù)據(jù)挖掘是利用分析工具從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取出隱含在其中、事先未知、潛在有用的信息和知識(shí)的過(guò)程，建立數(shù)據(jù)間關(guān)系模型，用其做出預(yù)測(cè)，從而為決策者 提供輔助。決策樹(shù)是一種常用的分類(lèi)模型，并以其能直接體現(xiàn)數(shù)據(jù)特點(diǎn)，分類(lèi)效率高、速度快、理解性好等特點(diǎn)在數(shù)據(jù)挖掘及其它領(lǐng)域中被廣泛使用：粗糙集理論是一種處理不精確、不確定和不完備信息的有效方法，隨著其在各領(lǐng)域中的成功應(yīng)用，引起各國(guó)廣大學(xué)者的關(guān)注。 本文圍繞

2、決策樹(shù)和粗糙集理論進(jìn)行了相關(guān)的研究和創(chuàng)新，主要內(nèi)容包括： 首先，對(duì)決策樹(shù)、粗糙集理論和粗糙集中信息熵的表現(xiàn)形式進(jìn)行了系統(tǒng)的研究，分析了信息熵與粗糙集理論中上、下近似之間的關(guān)系。考慮到經(jīng)典的ID3算法用求熵的方法選擇節(jié)點(diǎn)分裂屬性時(shí)沒(méi)有考慮到噪聲的影響，對(duì)噪聲比較敏感，而可變精度粗糙集理論對(duì)噪聲有很好的抑制作用，所以，結(jié)合可變精度的思想對(duì)ID3算法進(jìn)行了改進(jìn)，使其更能適應(yīng)噪聲比例較大的數(shù)據(jù)集，更加符合實(shí)際要求。 其次，粗糙集

3、理論中的屬性約簡(jiǎn)方法可以在不影響分類(lèi)能力的前提下對(duì)數(shù)據(jù)集進(jìn)行簡(jiǎn)化，為此，提出了一種基于屬性重要性概念的啟發(fā)式的屬性約簡(jiǎn)算法。 而后，用提出的基于屬性重要性的屬性約簡(jiǎn)方法對(duì)數(shù)據(jù)集進(jìn)行簡(jiǎn)化，以改進(jìn)后的ID3算法為建樹(shù)算法，根據(jù)建樹(shù)算法的特點(diǎn)選擇了基于期望誤分率的后剪枝算法為樹(shù)的剪枝算法，設(shè)計(jì)了一個(gè)分類(lèi)器：之后，用UCI數(shù)據(jù)庫(kù)中的多個(gè)數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了模擬實(shí)驗(yàn)，實(shí)驗(yàn) 結(jié)果表明，這種改進(jìn)后的決策樹(shù)生成算法在抑制噪聲方面要優(yōu)于改進(jìn)