基于Spark的大規(guī)模網(wǎng)絡(luò)流量分類方法研究.pdf

1、網(wǎng)絡(luò)流量分類是網(wǎng)絡(luò)安全策略制定、網(wǎng)絡(luò)管理、網(wǎng)絡(luò)服務(wù)質(zhì)量保障等領(lǐng)域的關(guān)鍵技術(shù)之一。隨著智能手機(jī)和平板電腦的普及、新型網(wǎng)絡(luò)應(yīng)用的不斷出現(xiàn)，網(wǎng)絡(luò)流量呈指數(shù)增長(zhǎng)，傳統(tǒng)單機(jī)網(wǎng)絡(luò)流量分類方法已經(jīng)不能實(shí)時(shí)地識(shí)別出其中的應(yīng)用類型。Spark具有運(yùn)算速度快、計(jì)算能力強(qiáng)的特點(diǎn)，把它運(yùn)用在大規(guī)模網(wǎng)絡(luò)流量分類上，對(duì)于實(shí)現(xiàn)快速準(zhǔn)確地網(wǎng)絡(luò)流量分類具有現(xiàn)實(shí)意義。針對(duì)大規(guī)模網(wǎng)絡(luò)流量分類所面臨的問題，從提高網(wǎng)絡(luò)流量分類的效率和準(zhǔn)確率出發(fā)，論文的創(chuàng)新性有：
　　針對(duì)

2、大規(guī)模網(wǎng)絡(luò)流量分類面臨的問題，給出了一種基于Spark的大規(guī)模網(wǎng)絡(luò)流量分類模型。該模型利用Spark強(qiáng)大的并行計(jì)算能力，把復(fù)雜的計(jì)算任務(wù)分到多個(gè)計(jì)算節(jié)點(diǎn)并行執(zhí)行，完成從流量采集到分類結(jié)果展現(xiàn)的完整過程。分析表明，該模型靈活性強(qiáng)、穩(wěn)定性好，可以提高大規(guī)模網(wǎng)絡(luò)流量分類的實(shí)時(shí)性，能夠滿足大規(guī)模網(wǎng)絡(luò)流量分類的需求。
　　為解決在大規(guī)模網(wǎng)絡(luò)流量上使用SVM（Support Vector Machine）算法時(shí)訓(xùn)練速度慢的問題，提出了一種基于

3、并行DAGSVM(Directed Acyclic Graph Support Vector Machine)的網(wǎng)絡(luò)流量分類方法。該方法利用有向無環(huán)圖，將Spark中并行二分類SVM算法訓(xùn)練得到的子分類器組合得到并行多分類SVM分類器。通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，與單機(jī)SVM方法相比，該方法在確保較高分類精度的前提下，訓(xùn)練速度提高了100倍以上。
　　針對(duì)在大規(guī)模網(wǎng)絡(luò)流量上使用基于Spark的并行DAGSVM網(wǎng)絡(luò)流量分類方法時(shí)準(zhǔn)確率較低的問

4、題，提出了一種基于Spark的并行決策樹網(wǎng)絡(luò)流量分類方法。該方法在保持決策樹算法優(yōu)勢(shì)的前提下，利用Spark中存在的并行決策樹算法進(jìn)行流量分類。與并行DAGSVM方法相比，其模型訓(xùn)練速度提升了三倍，分類精度達(dá)到了99%，適合于大規(guī)模網(wǎng)絡(luò)流量分類。
　　為提高網(wǎng)絡(luò)流量分類的精度，提出一種改進(jìn)的多分類器選擇性集成網(wǎng)絡(luò)流量分類方法。該方法借助決策樹算法在網(wǎng)絡(luò)流量分類方面的優(yōu)勢(shì)，利用其訓(xùn)練基分類器，再使用改進(jìn)的選擇性集成策略從中篩選出準(zhǔn)確