基于云計算與集成學習的網(wǎng)絡流量分類方法研究.pdf

1、網(wǎng)絡流量分類是網(wǎng)絡管理、服務質(zhì)量保障、網(wǎng)絡安全等領域的關鍵技術之一。高效地網(wǎng)絡流量分類有助于進行網(wǎng)絡態(tài)勢分析和動態(tài)訪問控制，是實現(xiàn)網(wǎng)絡管理、流量控制以及安全檢測的重要環(huán)節(jié)。
　　隨著網(wǎng)絡規(guī)模和網(wǎng)絡速度的不斷增長，導致海量增長的網(wǎng)絡流量數(shù)據(jù)與傳統(tǒng)單節(jié)點系統(tǒng)存儲和處理數(shù)據(jù)能力之間的矛盾日益加深，嚴重影響網(wǎng)絡流量特征選擇及分類方面的性能。云計算技術具有分布式、可擴展的特點，其并行計算模式能夠有效地處理海量數(shù)據(jù)，將其應用于網(wǎng)絡流量特征選擇

2、及分類過程中，對于執(zhí)行高效、精確的流量分類具有現(xiàn)實意義。針對海量網(wǎng)絡流量數(shù)據(jù)特征選擇及分類所面臨的問題，從提高網(wǎng)絡流量分類的效率和準確率出發(fā)，論文的創(chuàng)新性工作有：
　　針對傳統(tǒng)的特征選擇方法只適用于小規(guī)模數(shù)據(jù)集、運行效率低的缺陷，結(jié)合過濾式方法與封裝式方法的特點，提出基于多層 MapReduce的混合網(wǎng)絡流量特征選擇方法。該方法先通過Fisher Score對數(shù)據(jù)進行預處理，剔除部分無關特征，實現(xiàn)高維數(shù)據(jù)的降維；后采用序列前向搜索

3、的搜索策略，通過多層 MapReduce實現(xiàn)分類能力較強的特征的選取。相關實驗表明，該方法在保持較高的分類精度的同時，有效地減少了特征選擇時間，實現(xiàn)較好的加速比，顯著提高了網(wǎng)絡流量分類的執(zhí)行效率。
　　針對傳統(tǒng)單一節(jié)點在處理海量網(wǎng)絡流量數(shù)據(jù)時，存在計算復雜度和時間效率成倍增加的問題，提出一種并行的網(wǎng)絡流量分類方法。該方法先基于 MapReduce進行特征選擇去除樣本集中的相關性和冗余性特征，然后將預處理之后訓練集劃分為多個訓練子集