流數(shù)據(jù)管理關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、近年來，隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，各種高速、大容量的實時流數(shù)據(jù)處理已遍布各種應(yīng)用領(lǐng)域，如網(wǎng)絡(luò)監(jiān)控、金融分析、網(wǎng)絡(luò)入侵檢測、傳感網(wǎng)絡(luò)、Web日志以及點擊流等，這些應(yīng)用領(lǐng)域產(chǎn)生的數(shù)據(jù)以流的形式出現(xiàn)，具有快速、無限、連續(xù)、速率不斷變化、實時的特點，使得傳統(tǒng)的數(shù)據(jù)庫技術(shù)在處理這種新型的數(shù)據(jù)模型時面臨了諸多嚴(yán)峻的挑戰(zhàn)。
　　 本文分析了目前流數(shù)據(jù)管理研究領(lǐng)域的各種技術(shù)的優(yōu)勢和存在的問題，重點對分布式異構(gòu)流數(shù)據(jù)集成、流數(shù)據(jù)存儲以及流數(shù)據(jù)頻繁

2、項挖掘的降載問題這三個方面開展了研究，最后設(shè)計并實現(xiàn)了面向高速網(wǎng)絡(luò)的綜合網(wǎng)絡(luò)安全實時監(jiān)測系統(tǒng)。
　　 首先，各種分布式異構(gòu)流數(shù)據(jù)集成問題。在許多分布式監(jiān)控應(yīng)用中，需要集中處理網(wǎng)絡(luò)上各個節(jié)點的數(shù)據(jù)，這些數(shù)據(jù)存在格式、規(guī)范以及標(biāo)準(zhǔn)的不統(tǒng)一，需要進(jìn)一步轉(zhuǎn)換和集成，以便處理系統(tǒng)能夠綜合處理各種異構(gòu)的數(shù)據(jù)?；诂F(xiàn)有的數(shù)據(jù)集成轉(zhuǎn)換技術(shù)和流數(shù)據(jù)處理技術(shù)，本文提出一種基于流數(shù)據(jù)管理系統(tǒng)的分布式異構(gòu)流數(shù)據(jù)集成方法。通過系統(tǒng)實現(xiàn)和實驗分析，證明該方

3、法能夠較好的解決網(wǎng)絡(luò)安全實時監(jiān)測系統(tǒng)的數(shù)據(jù)集成問題。
　　 其次，存儲空間問題。需要處理的流數(shù)據(jù)是無限的，不可能完全存儲起來后再處理。因此，本文結(jié)合網(wǎng)絡(luò)安全監(jiān)測應(yīng)用領(lǐng)域和流數(shù)據(jù)特點，提出了一種基于時間多粒度的存儲策略。實驗證明，該策略能夠較好的降低存儲空間，同時保證了數(shù)據(jù)的完整性。
　　 再次，流數(shù)據(jù)處理過程中的過載問題。在有限資源下實現(xiàn)對無限流的實時處理是一個難題。本文針對流數(shù)據(jù)頻繁項挖掘過程中出現(xiàn)的過載問題，提出了一