基于數(shù)據流的概念漂移檢測及集成分類研究.pdf

1、大數(shù)據引領了信息時代的重要變革，影響了經濟、科技和社會等各個層面，大數(shù)據的其中一種形式以海量實時數(shù)據流的方式呈現(xiàn)。這些海量的實時數(shù)據中隱藏著巨大的價值，如何更好的挖掘處理這些實時數(shù)據流已經成為了國內外數(shù)據挖掘領域的研究重點和熱點。
　　數(shù)據流具有有序性、實時性、高速性、動態(tài)性、潛在無限性等特點，對數(shù)據流的處理包含存儲、處理、分析和應用等。概要結構是用于解決數(shù)據流潛在無限性問題的處理技術，但現(xiàn)有的概要結構算法存在著重構數(shù)據流與原數(shù)據

2、流相對重構誤差較大和參數(shù)難以調整的缺點。概念漂移檢測技術用于解決數(shù)據流的動態(tài)性問題，數(shù)據流集成分類具有較高的分類準確率和概念漂移適應能力而被廣泛地應用到數(shù)據流分類中。但概念漂移檢測和集成分類處理通常基于數(shù)據流標簽及時可用的假設，在實際應用中這一假設很難成立。針對這些問題，本文做了以下三方面的工作:
　　(1)實現(xiàn)了基于simHash的數(shù)據流分層遺忘概要結構（SH-HAS）。該結構采用simHash算法獲取概要信息，并動態(tài)調整SH-

3、HAS結構，解決了重構數(shù)據集與原數(shù)據集誤差較大的問題。實驗證明，SH-HAS結構具有更小的相對重構誤差。
　　(2)改進FKNNModel概念漂移檢測算法，提出了MFKNNModel概念漂移檢測算法。MFKNNModel利用數(shù)據的空間分布的改變來檢測數(shù)據流概念漂移，并利用Spark Streaming高效并行計算來提升算法的運行效率，解決了FKNNModel算法中的人工干預及計算效率問題。實驗效果表明，在缺乏人工干預的情況下，MF

4、KNNModel具有良好的概念漂移檢測能力和較高的運行效率。
　　(3)提出了基于概念漂移的數(shù)據流集成分類模型(Ensemble Classifier Based onConcept-Drifting Data Stream，ECCDDS)。采用水平集成的方式生成基分類器，通過加權投票的方法對基分類器的分類結果進行投票，生成集成分類器的分類結果;ECCDDS算法首先形成數(shù)據流的概要結構，然后引入概念漂移檢測算法MFKNNModel