基于數(shù)據(jù)流的分類算法研究.pdf

1、通信、計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展將人類帶入信息社會，大量的數(shù)據(jù)可以用來衡量人們生活的方方面面。這些數(shù)據(jù)在給人們帶來方便的同時(shí)也使人類陷入數(shù)據(jù)的海洋中。數(shù)據(jù)挖掘就是人們用來從大量的隨機(jī)應(yīng)用數(shù)據(jù)中，提取隱含的信息和知識的技術(shù)。近年來出現(xiàn)了許多新型應(yīng)用，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)無法很好的處理這些應(yīng)用數(shù)據(jù)，比如傳感器網(wǎng)絡(luò)、互聯(lián)網(wǎng)點(diǎn)擊流、金融數(shù)據(jù)和在線監(jiān)控事務(wù)日志等，這種新型數(shù)據(jù)形式稱為數(shù)據(jù)流。如何在有限存儲空間下，對這些數(shù)據(jù)流進(jìn)行快速處理，為數(shù)據(jù)挖掘

2、的應(yīng)用和研究帶來了新的機(jī)遇和挑戰(zhàn)。 為應(yīng)對這些挑戰(zhàn)，本文提出了一種新的分類算法EVFDT，并將此算法運(yùn)用到一個(gè)多分類器系統(tǒng)框架下，最后通過實(shí)驗(yàn)驗(yàn)證了EVFDT算法的效率和準(zhǔn)確率，以及多分類器系統(tǒng)對概念漂移的數(shù)據(jù)流的良好性能。本文的主要工作如下所示： (1)在VFDT算法基礎(chǔ)上提出了EVFDT算法，該算法引入一種非均勻間隔剪枝的方法處理連續(xù)屬性，將算法擴(kuò)展到包含連續(xù)屬性的數(shù)據(jù)流挖掘領(lǐng)域，并具有較高效率。 (2)使用

3、樸素貝葉斯處理決策樹的葉節(jié)點(diǎn)和內(nèi)部節(jié)點(diǎn)，縮小了訓(xùn)練需要的樣本空間，提高了決策樹的訓(xùn)練效率。 (3)提出一個(gè)綜合分類框架，并將EVFDT算法和其它一些經(jīng)典的算法構(gòu)成一個(gè)系綜分類器，并提出一個(gè)檢測概念漂移的方法，以分類概念漂移的數(shù)據(jù)流。 (4)根據(jù)局部性原理提出基于準(zhǔn)確率的賦權(quán)方法，以及使用基于權(quán)值的剪枝方法最系綜中的分類器剪枝，使系綜方法的準(zhǔn)確率和時(shí)間效率得以提高。 (5)通過實(shí)驗(yàn)驗(yàn)證了EVFDT算法和集成了該算法